เจาะประเด็น
AI / PERFORMANCE
Opus 5.5 โดนแอบลดสเปกจริงดิ? ส่องดาต้า 38 วันจาก LiveNerf ที่จะมาตบหน้าสายมโน
เมื่อความรู้สึกว่า AI โง่ลงกลายเป็นเรื่องคาใจระดับโลก กลุ่มนักพัฒนาเลยขอท้าพิสูจน์ด้วยตัวเลขให้เห็นกันชัดๆ
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
ความโปร่งใสในวงการ AI ไม่ได้มาจากคำสัญญาของบริษัทใหญ่ แต่มาจากพวกเราที่ช่วยกันตรวจสอบต่างหาก
เคยไหม? ใช้ Claude อยู่ดีๆ แล้วรู้สึกว่า "เห้ย ทำไมวันนี้มันตอบกาวๆ วะ" หรือ "เมื่อก่อนมันฉลาดกว่านี้ไม่ใช่เหรอ" อาการที่คนสาย AI เรียกว่าโดน Nerf หรือการที่ผู้พัฒนาแอบลดสเปกโมเดลแบบเงียบๆ เพื่อประหยัดค่าคํานวณ (Compute) เป็นสิ่งที่คาใจพวกเรามาตลอด แต่ส่วนใหญ่เราก็ได้แค่บ่นกันใน Reddit หรือโซเชียล เพราะไม่มีหลักฐานอะไรไปงัดกับบริษัทเจ้าของโมเดล
แต่ล่าสุดโปรเจกต์ที่ชื่อว่า LiveNerf กำลังทำให้เรื่องนี้กลายเป็นวิทยาศาสตร์มากขึ้นครับ เขาเก็บข้อมูลมาต่อเนื่องถึง 38 วันแล้วเพื่อตอบคำถามเดียวเลยคือ ประสิทธิภาพของโมเดลมันแอบตกลงโดยที่เราไม่รู้ตัวหรือเปล่า? โดยเฉพาะตัวท็อปอย่าง Opus 5.5 ที่หลายคนเริ่มสงสัย ซึ่งบอกเลยว่าผลลัพธ์ที่ออกมาอาจจะทำให้สายบ่นต้องหยุดคิดนิดนึง
จากข้อมูลล่าสุด ทีมพัฒนา LiveNerf ยืนยันว่า "ยังไม่พบการลดสเปก" (No degradation detected) ตลอด 1 เดือนกว่าที่ผ่านมาครับ ปัจจุบันระบบของเขามีความละเอียดพอที่จะจับผิดความเปลี่ยนแปลงได้ตั้งแต่ระดับ 7% ขึ้นไป ซึ่งถ้าโมเดลมันโง่ลงจริงในระดับที่สังเกตเห็นได้ ดาต้าพวกนี้มันฟ้องไปนานแล้ว แต่ตอนนี้ตัวเลขยังนิ่งสนิทอยู่
ประเด็นคือแค่ 7% มันยังไม่สะใจครับ ทางทีมตั้งเป้าว่าจะอัปเกรดเวอร์ชันใหม่ที่ชื่อ Fable 5.5 ให้สามารถตรวจจับความเพี้ยนได้ละเอียดถึงระดับต่ำกว่า 1% ให้ได้ ซึ่งถ้าทำสำเร็จจริง ต่อให้ Anthropic (บริษัทผู้สร้าง Claude) แอบปรับจูนอะไรแค่นิดเดียว LiveNerf ก็จะรู้ทันที แต่มันไม่ได้ทำกันง่ายๆ เพราะการจะเอาความละเอียดระดับนั้นต้องใช้ดาต้าเพิ่มขึ้นถึง 44 เท่า!
ดาต้ามหาศาล
ต้องใช้ข้อมูลเพิ่มขึ้นจากเดิมถึง 44 เท่าเพื่อให้ความแม่นยำแตะระดับ 1%
ค่าใช้จ่ายที่แบกอยู่
ปัจจุบันทีมงานต้องจ่ายค่าสมาชิก Pro Plan สัปดาห์ละ 1 บัญชีเพื่อใช้ดึงข้อมูลมาทดสอบ
สิ่งที่น่าสนใจคือโปรเจกต์นี้โคตรจะเป็น Community-driven เลยครับ ตอนนี้มีคนไปกด Star ใน Github ทะลุ 1,600 คนไปแล้ว และเขากำลังเปิดรับอาสาสมัครมาช่วยกันเป็น Contributors เพื่อขยายฐานการเก็บข้อมูลให้ใหญ่ขึ้น ใครที่อยากช่วยแต่เขียนโค้ดไม่เป็นก็ไม่ต้องกลัว เพราะเขาต้องการแค่พลังประมวลผลและดาต้าจากผู้ใช้ทั่วไปนี่แหละ
ผมมองว่าเรื่องนี้สำคัญมากนะ เพราะในยุคที่ AI กลายเป็นเครื่องมือทำมาหากินของใครหลายคน เราไม่ควรต้องมานั่งเดาว่าวันนี้ AI ของเราจะฉลาดเท่าเมื่อวานไหม การที่กลุ่มผู้ใช้ลุกขึ้นมาทำระบบตรวจสอบกันเองแบบนี้ มันคือการคานอำนาจที่ยอดเยี่ยมมาก เพราะบริษัทเทคโนโลยีส่วนใหญ่ไม่เคยบอกเราตรงๆ หรอกว่าเขาแอบปรับอะไรหลังบ้านเพื่อลดต้นทุนบ้าง
สรุปคือ ณ วันนี้ ใครที่รู้สึกว่า Opus 5.5 มันดูโง่ลง อาจจะเป็นแค่ความรู้สึกส่วนตัวหรือเจอจังหวะที่ Prompt ไม่เป๊ะเองก็ได้ เพราะดาต้าจาก LiveNerf ยังยืนยันว่ามันปกติดีอยู่ แต่หลังจากนี้ถ้าเขาอัปเกรดระบบให้ละเอียดระดับ 1% ได้เมื่อไหร่ วันนั้นแหละเราจะได้รู้ความจริงกันแบบดิ้นไม่หลุดแน่นอน
เลิกมโนแล้วดูที่ดาต้า! แม้ตอนนี้จะยังไม่พบการแอบลดสเปก แต่การรวมกลุ่มกันตรวจสอบแบบนี้คือจุดเริ่มต้นของการบีบให้บริษัท AI ต้องโปร่งใสกับผู้ใช้มากขึ้น
ที่มา: Reddit r/ClaudeAI — อ่านต้นฉบับ
ความคิดเห็น 1
กำลังโหลดความคิดเห็น...