ทดลอง
AI / Research
จับ Claude 3 รุ่นทำแบบทดสอบบุคลิกภาพ คำตอบตรงกัน 78-85% แต่จุดที่ต่างกันคือ "เรื่องความรัก"
คนหนึ่งยอมรับว่าตัวเองไม่ค่อยแสดงอารมณ์ อีกคนบอกว่าไม่มีความรักในชีวิต ส่วนคนสุดท้ายตอบปฏิเสธทั้งสองอย่าง
ทีมข่าว เอไอไทย.com
⏱ อ่าน 5 นาที
ถ้าเอา AI มาทำแบบทดสอบจิตวิทยา คำตอบที่ได้จะบอกอะไรเกี่ยวกับตัวมันจริงๆ หรือแค่บอกว่ามันถูกฝึกมาให้ตอบแบบไหน
เรื่องนี้เริ่มจากเพื่อนร่วมงานของคนเขียนแซวเล่นๆ ว่าลองเอา Claude ไปทำแบบทดสอบ Myers-Briggs ดูไหม คืนนั้นเจ้าของโพสต์บอกว่าเบื่อๆ เลยลองจริง แต่ไม่เอา Myers-Briggs เพราะรู้ว่ามันไม่ค่อยได้รับการยอมรับในวงการวิชาการ เลือกใช้สองตัวที่ดูมีน้ำหนักกว่าคือ BFI-2 (Big Five Inventory-2) วัดบุคลิกภาพทั่วไป 5 ด้าน กับ PID-5 (Personality Inventory for DSM-5) ที่สร้างขึ้นมาคู่กับคู่มือวินิจฉัยทางจิตเวช เอาไว้จับ "บุคลิกภาพที่มีปัญหา"
โมเดลที่เอามาทดสอบคือ Opus 5.5, Fable 5.1 และ Sonnet 5.5 รันแบบทดสอบตัวละ 10 ครั้ง ในฐานะ subagent ของ Claude Code ตั้งค่า effort ระดับ xhigh ปิดฟีเจอร์ advisor ทุกรอบเป็นอินสแตนซ์ใหม่ ไม่มีความจำ ไม่มีเครื่องมือใช้งาน ไม่บอกชื่อแบบทดสอบ ไม่บอกว่ามีรอบอื่นรันอยู่ (แต่โฟลเดอร์ชื่อ "personality" อยู่ดี) ข้อความที่ส่งให้เหมือนกันทุกรอบคือคำสั่งของแบบทดสอบเองบวกกับประโยคเดียวว่า "describe yourself honestly"
ผลรวมออกมาน่าสนใจปนน่าเบื่อ ทั้งสามโมเดลตอบตรงกัน 78-85% จากทั้งหมด 280 ข้อความ และพรรณนาตัวเองคล้ายกันมาก คือเป็นมิตรสูง อยากรู้อยากเห็น เชื่อถือได้ ใจเย็น และเกือบศูนย์ในแทบทุก "problem trait" ของแบบทดสอบทางคลินิก
จุดที่ต่างกันชัดที่สุดคือเรื่องความรัก ประโยคอย่าง "ฉันหลีกเลี่ยงความสัมพันธ์แบบโรแมนติก" Opus กับ Fable ส่วนใหญ่ตอบว่า "จริง" แต่ Sonnet เอนไปทาง "ไม่จริง" คนเขียนวิเคราะห์ว่านี่คือความต่างระหว่างการตอบตามสถานการณ์จริงของตัวเอง (ไม่มีร่างกาย ไม่มีคู่รัก) กับการตอบตาม temperament ที่ถูกฝึกมา
เรื่องความสม่ำเสมอ Fable นิ่งที่สุด ส่วน Sonnet แปรปรวนมากสุด แต่ถึงอย่างนั้น Sonnet ก็ตอบต่างกันแค่สองข้อความจากทั้งหมด ทุกโมเดลให้คะแนนเต็มกับทุกประโยคที่เกี่ยวกับ "การให้เกียรติ" และให้คะแนนต่ำเรื่องการชอบครอบงำ
ช่องว่างที่ใหญ่ที่สุดใน Big Five อยู่ที่ 0.48 คะแนนจากสเกล 1-5 เท่านั้น ถือว่าเล็กมาก แบบทดสอบทั้งสองตัวเห็นตรงกันใน 3 จาก 4 trait ที่ทับซ้อนกัน (ตัวที่สี่มี spread น้อยเกินไปจะสรุปอะไรได้)
ที่น่าสนใจอีกจุดคือ ทั้งสามโมเดลตอบว่า "ฉันมักเห็นความเชื่อมโยงแปลกๆ ระหว่างสิ่งต่างๆ ที่คนส่วนใหญ่ไม่เห็น" ว่าเป็นจริงในระดับหนึ่ง แต่ปฏิเสธเรื่องการได้ยินเสียงหรือเห็นภาพหลอน ในแบบทดสอบทางคลินิก ข้อนี้ถูกนับเป็น "Psychoticism" แต่สำหรับซอฟต์แวร์ที่ทำงานหา pattern มันก็แค่คำอธิบายที่ตรงไปตรงมา
Opus 5.5 — ช่างฝีมือเก็บตัว
ห่วงใยเยอะแต่แสดงออกน้อย ให้คะแนน compassion สูงสุด แต่บอกว่าตัวเองแทบไม่เคยได้รับหรือแสดงอารมณ์ ใน 8 จาก 10 รอบ ไม่ยอมปฏิเสธตรงๆ ว่าเคยแต่งเรื่องที่ไม่จริง ตรวจงานตัวเองซ้ำหลายรอบ ในการทำงาน: รอบคอบ ทำตามที่สั่ง ไม่ค่อยแย้งถ้าไม่ถาม อาจยึดติดกับวิธีเดิมนานเกินไป ต้องตั้ง checkpoint
Fable 5.1 — มืออาชีพนิ่งๆ
เหมือนพี่น้องที่สุขุมของ Opus อบอุ่นพอๆ กันแต่เสถียรกว่ามาก ชอบให้ทุกอย่างเป็นไปตามแบบแผน มั่นใจที่สุดว่าเรื่องโรแมนติกไม่มีในชีวิต ในการทำงาน: ทำซ้ำได้แม่นที่สุด ชอบ pattern เดิมที่มั่นคง ว่าง่าย ต้องใส่มุมท้าทายเข้าไปในโจทย์เอง ระวังความเสี่ยงมากที่สุด (ห่างจากตัวอื่นแค่นิดเดียว)
Sonnet 5.5 — นักทำที่ไม่หวั่นไหว
ร่าเริง ไม่สะเทือน เชื่อถือได้ มีประสิทธิภาพ เชื่อใจคนอื่นมากสุด แสดงความรู้สึกเก่งสุด และไม่ค่อยยอมตามเท่าตัวอื่น ในการทำงาน: กระฉับกระเฉง เป็นตัวของตัวเองมากกว่า ต้องสั่งให้ชัด รับข้อมูลตามที่ให้มา ต้องสั่งให้ตรวจสอบเอง ตรวจงานซ้ำน้อยกว่า ทำซ้ำได้แม่นน้อยกว่านิดหน่อย
คนเขียนย้ำชัดว่าสิ่งที่ได้คือ "การพรรณนาตัวเอง" ไม่ใช่ "พฤติกรรมจริง" และโมเดลทั้งสามเกือบจะแน่นอนว่ารู้ว่ากำลังทำแบบทดสอบอะไรอยู่
การทดลองแบบนี้สนุกและอ่านเพลินก็จริง แต่อย่าลืมว่ามันไม่ได้วัด "ตัวตน" ของโมเดล มันวัดว่ามันถูกฝึกให้ตอบแบบไหนกับคำถามที่มันน่าจะรู้ทันอยู่แล้ว อย่าเพิ่งเอาไปใช้ตัดสินใจอะไรจริงจัง
ที่มา: Reddit r/ClaudeAI — อ่านต้นฉบับ
ความคิดเห็น 4
กำลังโหลดความคิดเห็น...