เจาะประเด็น
AI Tools
บั๊กตาบอดในระบบประเมิน AI ที่ซ่อนอยู่ใต้ช่องว่างล่องหน
ช่องว่างเล็กๆ ตัวเดียวทำระบบประเมินโค้ดพังไม่เป็นท่า สะเทือนเครื่องมือสาย AI เพียบ
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
รายละเอียดกระจิดริดที่มนุษย์มองไม่เห็น แต่กลับทรงพลังพอที่จะทำให้ระบบ AI ตัดสินโค้ดถูกเป็นผิดได้อย่างหน้าตาเฉย
ระบบประเมินโค้ดที่เราไว้ใจกันทุกวันนี้ อาจจะมีจุดอ่อนโง่ๆ ที่ซ่อนอยู่แบบที่เราคาดไม่ถึงเลยวะเพื่อน เรื่องนี้มันแดงขึ้นมาเมื่อนักพัฒนาคนหนึ่งกำลังนั่งทดสอบโปรเจกต์ Evaluation ของตัวเอง แล้วดันสังเกตเห็นความผิดปกติชวนกุมขมับ ระบบดันให้คะแนนโค้ด Python ที่ถูกแสนถูกกลายเป็นผิดซะงั้น แถมพอลองสลับเอาโค้ดที่ผิดมาตรวจ ระบบดันบอกว่าถูกเฉยเลย
พอเจ้าตัวลองนั่งแกะรอยดูแบบจริงจัง ก็พบว่าต้นตอของเรื่องทั้งหมดมันมาจากอักขระช่องว่างตัวเดียวที่เป็นแบบล่องหน ไม่มีรูปร่างหน้าตาให้เห็นด้วยตาเปล่าในโค้ด แต่มันดันมีตัวตนอยู่จริงในระบบ ซึ่งความซวยคือมันไม่ได้เป็นแค่ปัญหาเฉพาะตัวของเครื่องมือชิ้นเดียว แต่พอตามไปเช็คเครื่องมือดังตัวอื่นๆ ดูก็เจออาการเดียวกันหมด เรียกว่าเป็นบั๊กตาบอดที่แอบแฝงอยู่ในวงการพัฒนาเครื่องมือประเมิน AI แบบเงียบๆ มานาน
งานนี้ไม่ได้มีแค่ตัวใดตัวหนึ่งที่รอดตัวไป เพราะพอไล่เช็คชื่อดูรายชื่อเครื่องมือที่โดนหางเลขด้วยเนี่ย มีตั้งแต่ Langchain OpenEvals, Promptfoo ไปจนถึง Nvidia SkillEvaluator รวมถึงตัว Claude Code เองในส่วนของ native claude plugin eval grader ก็ติดร่างแหไปด้วย เรียกว่าเป็นปัญหาคลาสสิกที่มองข้ามกันไปหมดเพราะความใส่ใจในรายละเอียดปลีกย่อยแบบนี้มันยากที่จะสังเกตเห็นด้วยตาเปล่า
ทางออกของเรื่องนี้ไม่ได้ซับซ้อนอย่างที่คิด เพราะผู้พัฒนาแก้ปัญหาด้วยการเพิ่มโน้ตสั้นๆ ที่ระบบสร้างขึ้นมาเองอัตโนมัติ เพื่อระบุตำแหน่งและรหัส Unicode ของอักขระตัวนั้นให้ชัดเจน โดยที่ไม่ได้ไปแตะต้องหรือเปลี่ยนคำตอบตั้งต้นเลยแม้แต่น้อย วิธีนี้ช่วยให้ผลการตัดสินของระบบดีขึ้นแบบหน้ามือเป็นหลังมือทันที
หลังจากแก้ปัญหาในบ้านตัวเองเรียบร้อย เจ้าตัวก็จัดการส่ง Pull Requests ไปช่วยอุดรอยรั่วให้ทั้ง Nvidia, OpenEvals และ Promptfoo เรียบร้อยโรงเรียนจีน ซึ่งทาง Nvidia ก็ตาไวไฟเขียวอนุมัติการแก้ไขนั้นไปเป็นที่เรียบร้อยแล้ว ส่วนใครอยากอ่านรายงานแบบละเอียดก็สามารถตามไปส่องกันต่อได้ที่เว็บไซต์ต้นทางที่รวบรวมข้อมูลทั้งหมดเอาไว้
บั๊กตัวจิ๋วระดับอักขระล่องหนเตือนใจเราดีแท้ ว่าต่อให้ระบบ AI จะฉลาดล้ำแค่ไหน แต่มันก็ยังแพ้ความสะเพร่าของรายละเอียดเล็กๆ น้อยๆ ที่ซ่อนอยู่ใต้พรมเสมอ
ที่มา: Reddit r/ClaudeAI — อ่านต้นฉบับ
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...