เจาะประเด็น
AI / Research
เบนช์มาร์ก AI โกหกเราได้ยังไง? เปิดโปงกับดักที่ทำให้คะแนนโมเดลสวยแต่ใช้งานจริงพัง
เครื่องมือใหม่อย่าง BenchMIRT กำลังชี้ว่าที่เราเทียบ AI กันทุกวันนี้ อาจกำลังวัดอะไรที่ผิดไปหมด
ทีมข่าว เอไอไทย.com
⏱ อ่าน 4 นาที
เคยสงสัยไหมว่าทำไมโมเดลทำคะแนน benchmark ได้ที่หนึ่ง แต่พอใช้งานจริงกลับดูโง่ลงทันที? บางทีปัญหาอาจไม่ได้อยู่ที่ตัวโมเดล แต่อยู่ที่ไม้บรรทัดที่เราวัดมันต่างหาก
เราคุ้นชินกับการดูชาร์ตลีดเดอร์บอร์ดโมเดล AI ว่าใครเก่งกว่ากันจากคะแนน MMLU หรือ HumanEval เหมือนมันคือโอเน็ตของวงการแมชชีนเลิร์นนิง แต่คำถามที่คาใจมานานคือ — คะแนนพวกนี้มันบอกอะไรเราได้จริงๆ กันแน่? ทีมวิจัยจาก Allen Institute for AI (Ai2) เพิ่งปล่อยเครื่องมือวิเคราะห์ชื่อ BenchMIRT ออกมา ซึ่งช่วยตอบคำถามนี้ได้อย่างถึงแก่น และคำตอบมันชวนให้เราตั้งคำถามกับทุก benchmark ที่ผ่านมาในอดีตเลยทีเดียว
พูดให้เข้าใจง่ายแบบบ้านๆ ก็คือ BenchMIRT ไม่ได้มาวัดว่าโมเดลตัวไหนทำข้อสอบได้คะแนนเท่าไหร่ แต่มันมาวิเคราะห์ว่า "ข้อสอบ" แต่ละข้อที่เราเอาไว้วัดนั้น มันกำลังวัดอะไรอยู่กันแน่ — วัดความสามารถจริงๆ ของโมเดล หรือวัดแค่ความสามารถในการจำข้อมูลที่เห็นตอนเทรน? ถ้าคำตอบเป็นอย่างหลัง นั่นหมายความว่าเรากำลังถูกหลอกด้วยตัวเลขสวยๆ มาโดยตลอด
ทีมวิจัยชี้ให้เห็นปัญหาคลาสสิกที่เรียกว่า "data contamination" หรือการปนเปื้อนของข้อมูล นั่นคือถ้าโมเดลเห็นคำถามและคำตอบในชุดเทรนนิ่งระหว่างการฝึก มันก็แค่จำคำตอบได้ ไม่ได้คิดเป็น ซึ่งแน่นอนว่าคะแนนที่ออกมาจะสูงลิ่ว แต่ความสามารถจริงนั้นแทบไม่มี — เหมือนเด็กที่ท่องเฉลยข้อสอบเก่าได้หมด แต่พอเจอโจทย์พลิกแพลงก็ทำไม่ได้
BenchMIRT เข้ามาจัดการปัญหานี้ด้วยการแยกวิเคราะห์คำถามใน benchmark ออกเป็นสองมิติใหญ่ๆ ได้แก่ ความเสี่ยงจากการปนเปื้อนของข้อมูล และความยากของคำถามแต่ละข้อ มันจะช่วยบอกเราว่าคะแนนที่โมเดลทำได้นั้น มาจากการ "จำ" หรือ "คิด" กันแน่
นี่ไม่ใช่แค่เรื่องเทคนิคสำหรับนักวิจัย แต่กระทบถึงคนที่ตัดสินใจใช้โมเดล AI ในธุรกิจโดยตรง ถ้าเราเลือกโมเดลจากคะแนน benchmark ที่ "สวยแต่รูปจูบไม่หอม" พอเอาไปใช้งานจริงกับข้อมูลเฉพาะทางขององค์กร ผลลัพธ์อาจพังไม่เป็นท่า — เสียทั้งเงินและเวลา
การมีเครื่องมือแบบ BenchMIRT เปิดเผยเป็นโอเพนซอร์ส (และมาในรูปแบบ leaderboard ที่ใครก็เข้าไปดูได้) จะช่วยกดดันให้นักพัฒนาโมเดลจริงใจกันมากขึ้น และทำให้ผู้ใช้งานอย่างเราตัดสินใจเลือกโมเดลจากหลักฐานที่แท้จริง ไม่ใช่แค่ตัวเลขโฆษณาชวนเชื่อ
ส่วนตัวผมมองว่านี่คือจุดเปลี่ยนสำคัญที่ทุกคนในวงการต้องให้ความสนใจ เพราะมันหมายถึงความน่าเชื่อถือของงานวิจัยทั้งหมดที่ผ่านมา — ถ้า benchmark ที่เราใช้กันอย่างแพร่หลายมันวัดผิดพลาดขนาดนี้ แล้วบทสรุปที่ว่า "โมเดล A เก่งกว่าโมเดล B" ที่เราเห็นในกระดาษวิจัยหลายร้อยฉบับ มันจะยังเชื่อถือได้แค่ไหน?
BenchMIRT ยังไม่ใช่คำตอบสุดท้ายของทุกปัญหา แต่มันคือกระจกสะท้อนให้เห็นว่าเรากำลังเดินหลงทางอยู่ และการมีเครื่องมือที่ช่วยให้เราเห็น "จุดบอด" ของการวัดผลแบบเดิมๆ ถือเป็นก้าวสำคัญที่ถูกทิศทาง — ดีกว่าปล่อยให้ทุกคนเชื่อตัวเลขหลอกๆ ต่อไปเรื่อยๆ แน่นอน
วงการ AI ต้องเลิกเมากับตัวเลขบนลีดเดอร์บอร์ดได้แล้ว เพราะเกมวัดความฉลาดของเครื่องจักรไม่ใช่การแข่งขันท่องจำ แต่คือการพิสูจน์ว่ามัน "คิดเป็น" จริงหรือไม่ — และ BenchMIRT คือหมอนวดที่ช่วยกดจุดให้เราตื่นจากฝันนั้นสักที
ที่มา: Hugging Face Blog — อ่านต้นฉบับ
ความคิดเห็น 6
กำลังโหลดความคิดเห็น...