เจาะประเด็น
AI / Benchmarks
พอ benchmark อิ่มตัว คนเลยสั่ง AI วาดตัวนิ่มใส่ถุงน่องเดินข้ามถนนบนดาวอังคาร
เมื่อทุกโมเดลทำโจทย์มาตรฐานได้หมดเกลี้ยง คนเลยต้องหาวิธีใหม่ในการแยกแยะว่าใครเก่งกว่าใคร
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
พอทุกโมเดลทำโจทย์เดิมได้หมด คำถามไม่ใช่ "ใครเก่งกว่า" อีกต่อไป แต่คือ "จะเชื่อ benchmark ที่อิ่มตัวแล้วได้ยังไง"
เเมื่อไม่กี่วันก่อน Simon Willison นักพัฒนาและบล็อกเกอร์สาย AI ที่หลายคนตามอ่านเป็นประจำ โพสต์บันทึกสั้นๆ เกี่ยวกับ Mistral Large 4 ลงบล็อกของตัวเอง แต่แทนที่จะเป็นการรีวิวแบบปกติ เขากลับยกคอมเมนต์จาก Hacker News ที่คุณ wren6991 เขียนไว้ขึ้นมา แล้วคอมเมนต์นั้นก็กลายเป็นประเด็นที่คนพูดถึงมากกว่าตัวโมเดลเสียอีก
คอมเมนต์ต้นทางพูดสั้นๆ ตรงๆ ว่า benchmark มันอิ่มตัวแล้ว โมเดลระดับแนวหน้าเนี่ย ทดสอบด้วยโจทย์ยากสุดขั้วแบบ "ตัวนิ่มใส่ถุงน่องตาข่ายเดินข้ามถนนบนดาวอังคาร" ไปแล้ว ฟังดูเหมือนมุกตลก แต่จริงๆ มันคือคำวิจารณ์ที่คมมาก
Simon ไม่ปล่อยให้เป็นแค่มุก เขาลองของจริงเลย สั่ง llm CLI ที่ตัวเองพัฒนา (เครื่องมือ command line สำหรับเรียกโมเดลต่างๆ) ให้สร้างไฟล์ SVG ของ "ตัวนิ่มใส่ถุงน่องตาข่ายเดินข้ามถนนบนดาวอังคาร" จากสี่โมเดลด้วยกัน คือ claude-opus-5.5, gpt-6.1-sol, gemini-3.8-flash และ mistral/mistral-large-4 โดยใช้ระดับ reasoning default ของแต่ละตัว
ที่เจ๋งคือคำสั่ง llm -m ตามด้วยชื่อโมเดล แล้วตามด้วย prompt เดียวกันเป๊ะๆ ทุกตัว นี่คือการทดสอบแบบ controlled experiment แบบบ้านๆ ที่ใครก็ทำได้ ไม่ต้องมี lab ใหญ่ ไม่ต้องมีทีมวิจัย แค่มีเครื่องมือที่ใช้สะดวก
ปัญหาของ benchmark ในวงการ AI ตอนนี้คือ "อิ่มตัว" จริงๆ นั่นแหละ ไม่ว่าจะ MMLU, HumanEval, GSM8K หรืออะไรก็ตาม โมเดลระดับท็อปทำคะแนนได้ใกล้เคียงกันหมด จนแทบแยกไม่ออกว่าใครดีกว่าใคร พอคะแนนมันชนเพดานหมดแล้ว มันก็ไม่ต่างอะไรกับการสอบที่ทุกคนได้ 100 เต็ม แล้วคุณจะรู้ได้ยังไงว่าใครเข้าใจจริง
คำถามคือ แล้วจะวัดยังไงต่อ คำตอบที่คนในวงการเริ่มเห็นตรงกันคือ ต้องหางานที่ "ไม่มีคำตอบมาตรฐาน" ให้โมเดลทำ งานที่ต้องใช้ทั้งความเข้าใจบริบท จินตนาการ และการตีความ prompt ที่กำกวม อย่างการวาดตัวนิ่มใส่ถุงน่องบนดาวอังคารเนี่ย มันคือโจทย์ที่ไม่มีอยู่ใน training set แน่ๆ และมันบังคับให้โมเดลต้อง "จินตนาการ" สิ่งที่ไม่เคยเห็น
จริงๆ แล้วนี่ไม่ใช่ครั้งแรกที่มีคนใช้ prompt แปลกๆ ทดสอบโมเดล จำได้ว่าช่วงที่ GPT-4 ออกใหม่ๆ คนก็แห่กันสั่งให้วาด "pelican บน bicycle" กันจนกลายเป็น meme ไปเลย แต่สิ่งที่ต่างออกไปในครั้งนี้คือ มันถูกทำในบริบทของ "benchmark อิ่มตัว" ไม่ใช่แค่ความสนุก
Simon แนบลิงก์ไปที่เครื่องมือ markdown-svg-renderer ของเขาเอง ที่ให้คนเข้าไปดูผลลัพธ์ SVG ที่แต่ละโมเดลสร้างได้ ซึ่งนี่คือส่วนที่คนอ่านต้องไปดูเอง เพราะเขาตั้งใจให้เป็นการเปรียบเทียบด้วยตาว่าคำสั่งเดียวกัน โมเดลต่างค่ายตีความยังไง ใครวาดตัวนิ่มออกมาเป็นตัวนิ่ม ใครได้ถุงน่อง ใครจำดาวอังคารได้ และใครทำได้ครบทุกองค์ประกอบ
มุมที่น่าสนใจคือ prompt เดียวกันนี้มันทดสอบหลายอย่างพร้อมกัน ทั้งความสามารถในการเข้าใจคำสั่งที่ซับซ้อน (ตัวนิ่ม + ถุงน่องตาข่าย + เดินข้ามถนน + ดาวอังคาร สี่องค์ประกอบในประโยคเดียว) ความสามารถในการ generate โค้ด SVG ที่ถูกต้อง และความสามารถในการ "ตีความ" สิ่งที่ไม่มีอยู่จริงในโลก
เรื่องนี้สอนอะไรได้เยอะกว่าที่คิด เมื่อ benchmark มาตรฐานอิ่มตัวหมด การทดสอบแบบ ad-hoc ที่ดูเหมือนเล่นๆ อย่างการวาดตัวนิ่มใส่ถุงน่อง อาจกลายเป็นเครื่องมือแยกแยะโมเดลที่มีประสิทธิภาพกว่าตัวเลขคะแนนซะอีก และมันบอกอะไรบางอย่างด้วยว่า ยุคที่ทุกโมเดลทำโจทย์เดิมได้หมด คำถามที่แท้จริงไม่ใช่ "ใครได้คะแนนสูงสุด" แต่คือ "ใครเข้าใจสิ่งที่ไม่มีในตำราได้ดีกว่า"
ที่มา: Simon Willison's Weblog — อ่านต้นฉบับ
ความคิดเห็น 5
กำลังโหลดความคิดเห็น...