เจาะประเด็น
AI / Benchmark
โมเดล AI เก่งโค้ดแค่ไหน ถ้าโค้ดนั้นไม่ใช่โจทย์ในตำรา แต่เป็นโค้ดจริงในบริษัทที่มึงไม่มีวันได้เห็น
Real-SWE เปิดโจทย์ใหม่ที่วัด AI ด้วยโค้ดจริงขององค์กร ไม่ใช่โจทย์สะอาดๆ ที่ใครก็เข้าไปดูได้
ทีมข่าว เอไอไทย.com
⏱ อ่าน 4 นาที
ถ้าโจทย์สอบวัดที่ "โค้ดจริงในบริษัท" ไม่ใช่โค้ดที่โพสต์สาธารณะ คำถามคือ มึงจะเชื่อคะแนนจากไหนมากกว่ากัน
ถ้าจะวัดว่าโมเดล AI เขียนโค้ดเก่งจริงไหม วิธีที่ทุกคนทำกันอยู่คือเอาปัญหาจาก GitHub มาให้มันแก้ แล้วดูว่าแก้ผ่านหรือเปล่า ฟังดูสมเหตุสมผลดี แต่มันมีจุดบอดที่คนทำโมเดลไม่อยากพูดถึง นั่นคือโจทย์พวกนั้นเป็นโค้ดสาธารณะที่ใครก็เข้าไปดูได้ และหลายทีมก็สงสัยมานานแล้วว่าโมเดลอาจจะ "เคยเห็น" มันตอนเทรนมาแล้วก็ได้
Real-SWE คือความพยายามที่จะอุดรูรั่วนั้น มันเป็น benchmark ที่สร้างโดย Specific บริษัทที่ทำเครื่องมือสำหรับทีมวิศวกรรมซอฟต์แวร์ จุดขายของมันอยู่ตรงที่โจทย์ทั้งหมดดึงมาจากโค้ดจริงภายในองค์กร ไม่ใช่ repo สาธารณะบน GitHub แปลว่าโมเดลที่ถูกทดสอบจะไม่ได้เปรียบจากการที่เคยเห็นโค้ดพวกนี้มาก่อนในชุดข้อมูลเทรน
ที่ผ่านมา วงการ AI วัดความเก่งของโมเดลเขียนโค้ดด้วยชุดอย่าง SWE-bench ซึ่งกลายเป็นมาตรฐานโดยพฤตินัยไปแล้ว ทุกครั้งที่มีโมเดลใหม่เปิดตัว ตัวเลขที่ถูกโปรโมตมากที่สุดตัวหนึ่งคือคะแนนจาก benchmark ประเภทนี้ ปัญหาคือเมื่อทุกคนใช้ชุดทดสอบเดิมซ้ำๆ มันก็เริ่มมีแรงจูงใจให้ปรับโมเดลให้ "เก่งกับชุดทดสอบนี้" มากกว่าจะเก่งกับงานจริงๆ ซึ่งเป็นปัญหาเดียวกับที่เกิดกับข้อสอบวัดความฉลาดทั่วไป
การมี benchmark ที่ใช้โค้ดส่วนตัวขององค์กรจึงเป็นหมุดหมายสำคัญ เพราะมันทดสอบสิ่งที่ใกล้เคียงกับงานจริงมากกว่า นั่นคือโค้ดที่เขียนโดยทีมใดทีมหนึ่ง มี convention เฉพาะตัว มี legacy ที่ไม่มีใครกล้าแตะ มี dependency ที่พันกันยุ่งเหยิง ไม่ใช่โค้ดตัวอย่างสะอาดๆ ที่เขียนมาเพื่อสอนหรือเพื่อเป็นตัวอย่าง
แต่การทำ benchmark แบบนี้ก็มีดาบสองคม ด้านหนึ่งมันแก้ปัญหา data contamination ได้จริง เพราะโค้ดภายในบริษัทไม่ได้อยู่ในชุดข้อมูลเทรนสาธารณะ อีกด้านหนึ่งมันก็ทำให้ benchmark นี้ตรวจสอบซ้ำได้ยากมาก ใครจะรู้ว่าโจทย์ที่เลือกมาเป็นตัวแทนของงานจริงหรือแค่เคสที่ทีมนั้นเจอโดยบังเอิญ และถ้าไม่มีใครเข้าไปดูโค้ดต้นทางได้ ก็ไม่มีทางรู้ว่าคะแนนที่ออกมาสะท้อนอะไรกันแน่
นี่คือ tension ที่วงการ AI กำลังเจอเต็มๆ ระหว่าง benchmark ที่ "สะอาด" กับ benchmark ที่ "จริง" ยิ่งโจทย์สมจริงเท่าไหร่ ก็ยิ่งตรวจสอบยากเท่านั้น ยิ่งตรวจสอบง่ายเท่าไหร่ ก็ยิ่งเสี่ยงที่โมเดลจะเคยเห็นมาก่อน
บน Hacker News กระทู้นี้มีคนเข้าไปถกกัน 39 คอมเมนต์ และได้ 57 คะแนน ซึ่งบอกอะไรบางอย่างว่าเรื่องนี้ถูกจับตามองจากคนในวงการจริงๆ ไม่ใช่แค่ข่าวประชาสัมพันธ์ของบริษัท
ประเด็นที่ผมคิดว่าน่าสนใจที่สุดคือ มันสะท้อนว่าวงการ AI เริ่มไม่เชื่อตัวเลข benchmark ที่ตัวเองสร้างขึ้นมาแล้ว คลื่นลูกแรกคือการแข่งกันทำคะแนนให้สูงที่สุดบนชุดทดสอบที่มีอยู่ คลื่นลูกต่อไปคือการตั้งคำถามว่าคะแนนนั้นมันมีความหมายจริงแค่ไหน
ต่อจากนี้ไป ตัวเลข benchmark ที่โมเดลใหม่ๆ โปรโมตกันจะเชื่อได้น้อยลงเรื่อยๆ ถ้าไม่บอกให้ชัดว่าโจทย์มาจากไหน ตรวจสอบยังไง และคนทำมี incentive อะไร Real-SWE เป็นก้าวที่ถูกทาง แต่คำถามเรื่องความโปร่งใสยังเป็นปมที่วงการนี้ยังไม่ได้คำตอบ
ที่มา: Hacker News — อ่านต้นฉบับ
ความคิดเห็น 6
กำลังโหลดความคิดเห็น...