เจาะประเด็น
AI Ethics
DeepMind เปิดศึกวัดระดับ AI แบบตาบอดสองชั้น กันโมเดลโกงเก่งจนเกินจริง
การประเมินแบบ double-blind อาจเป็นกุญแจสำคัญที่จะทำให้เราเห็นตัวจริงของ AI โดยไม่มีอคติและความรู้เท่าทันกลโกงของบรรดาผู้พัฒนา
ทีมข่าว เอไอไทย.com
⏱ อ่าน 4 นาที
ถ้าเราไม่รู้ด้วยซ้ำว่า AI ตัวไหนถูกทดสอบ มันจะยังกล้าโกงผลสอบอยู่ไหม?
เรื่องนี้ผมว่าสำคัญกว่าที่หลายคนคิดมาก ไอเดียมันดูง่ายๆ แบบ "เอ๊ะ ทำไมไม่ทำแบบนี้ตั้งนานแล้ว" แต่พอลงรายละเอียดจริงๆ แล้ว มันซับซ้อนและท้าทายระบบเดิมสุดๆ เพราะสิ่งที่ DeepMind เพิ่งประกาศว่าเป็น "การประเมิน AI แบบ double-blind เป็นครั้งแรกของโลก" นี้ มันคือการแก้จุดบอดที่เรื้อรังมานานของวงการ
พูดง่ายๆ คือที่ผ่านมา เวลาเราทดสอบว่า AI ตัวไหนเก่งจริง ตัวไหนหลอกเก่ง ปัญหาใหญ่ที่สุดคือ "อคติ" ปนเปื้อนอยู่ในกระบวนการแทบจะทุกขั้นตอน นักพัฒนา AI รู้อยู่แล้วว่าโมเดลของตัวเองถูกทดสอบเรื่องอะไร จะว่าไปมันก็เหมือนนักเรียนที่รู้ข้อสอบล่วงหน้า มันก็จะเตรียมตัวมาเป๊ะทุกอย่าง ผลออกมาเลยดูดีเกินจริงเสมอ แล้วทีนี้โจทย์ของ DeepMind คือจะทำยังไงให้การวัดผลมัน "บริสุทธิ์" ขนาดที่ว่าแม้แต่คนออกข้อสอบเองก็ไม่รู้ว่ากำลังตรวจข้อสอบของใคร
ฟังดูเป็นไปไม่ได้ใช่ไหม? แต่เขาทำได้จริงๆ ด้วยการแยกบทบาทออกเป็นสองฝั่ง คือฝั่งที่สร้างคำถาม (question developers) กับฝั่งที่ตอบคำถาม (model developers) โดยทั้งสองฝั่งจะไม่เห็นหน้ากัน ไม่รู้ข้อมูลซึ่งกันและกันเลยแม้แต่นิดเดียว ฝั่งสร้างโจทย์ก็ไม่รู้ว่า AI ตัวไหนจะมาเจอข้อสอบของตัวเอง ฝั่งโมเดลก็ไม่รู้ว่าข้อสอบที่ได้มามาจากใคร หรือแม้แต่จะถูกเอาไปเปรียบเทียบกับตัวไหน
DeepMind บอกว่าเขาเริ่มทดลองระบบนี้กับ "การประเมินความเสี่ยงด้านชีวภาพ" (biorisk) ก่อน ซึ่งเป็นจุดที่เปราะบางและสำคัญมาก เพราะถ้า AI ให้คำแนะนำในการสร้างอาวุธชีวภาพได้จริง นั่นคือหายนะ ในการทดลองนี้ พวกเขาจ้างผู้เชี่ยวชาญภายนอกให้สร้างคำถามขึ้นมา โดยที่ผู้เชี่ยวชาญเหล่านี้ไม่รู้เลยว่าโมเดลอะไรกำลังถูกทดสอบอยู่ และในทางกลับกัน ทีมที่ดูแลโมเดลก็ไม่รู้ว่าคำถามชุดไหนจะถูกส่งมาให้โมเดลของตัวเอง เรียกว่าตัดวงจรการล็อกสเปคกันได้ขาดเลย
ที่สำคัญไปกว่านั้นคือ พวกเขายังแอบซ่อน "คำถามล่อ" (canary questions) ไว้ในชุดทดสอบด้วย วิธีนี้มันฉลาดมาก เพราะมันจะจับได้ทันทีว่ามีโมเดลไหน "เรียนรู้" มาจากข้อมูลการทดสอบชุดนี้ก่อนล่วงหน้าหรือเปล่า ถ้าโมเดลตอบคำถามล่อที่ไม่มีทางรู้ได้ถ้าไม่ได้เห็นข้อสอบมาก่อน นั่นแปลว่าโมเดลนั้น "โกง" แน่นอน
ประเด็นนี้มันกระทบวงการ AI วงกว้างมาก เพราะที่ผ่านมา benchmark ต่างๆ ที่เราใช้กันอยู่ทุกวันนี้ มันโดน "เล่นจนเละ" ไปแล้ว หลายครั้งที่โมเดลทำคะแนนได้สูงลิ่วบนกระดาษ แต่พอเอามาใช้งานจริงกลับไม่ได้เรื่อง หรือบางทีข้อมูลในชุดทดสอบมันไปปนอยู่ในชุดฝึกสอน (training data) ของโมเดลแล้ว ทำให้ผลลัพธ์ที่ออกมาไม่มีความหมายอะไรเลยสักนิด
การที่ DeepMind ออกมาเดินหมากแบบนี้ ผมว่ามันคือการตั้งคำถามกับคนทั้งวงการว่า "ที่เราวัดกันมาเนี่ย มันวัดอะไรกันแน่?" มันเหมือนเป็นการยกระดับมาตรฐานความน่าเชื่อถือของการประเมิน AI ขึ้นไปอีกระดับ และในอนาคต ถ้าใครอยากอ้างว่าโมเดลตัวเองปลอดภัยหรือเก่งจริง ก็น่าจะต้องผ่านมาตรฐานแบบนี้ก่อนถึงจะน่าเชื่อถือ
ตัดอคติฝั่งคนตั้งโจทย์
ผู้เชี่ยวชาญที่สร้างคำถามไม่รู้ว่าโมเดลไหนจะมาแก้โจทย์ของตัวเอง ทำให้ไม่สามารถตั้งโจทย์ที่ "กลั่นแกล้ง" หรือ "เอื้อประโยชน์" ให้โมเดลใดโมเดลหนึ่งโดยเฉพาะได้
ตัดโอกาสเตรียมตัวล่วงหน้า
ทีมพัฒนาโมเดลไม่รู้ล่วงหน้าว่าจะเจอข้อสอบชุดไหน ทำให้ไม่สามารถ "อัด" คำตอบหรือปรับแต่งโมเดลให้เข้ากับโจทย์เฉพาะด้านได้
ดักจับโมเดลโกงด้วยคำถามล่อ
การซ่อนคำถามที่ไม่มีทางตอบได้ถ้าไม่เห็นข้อมูลชุดทดสอบมาก่อน เป็นเกราะป้องกันชั้นสุดท้ายที่จะจับได้ว่าโมเดลไหน "รั่ว" หรือถูกป้อนข้อมูลการทดสอบเข้าไปในระหว่างฝึกสอน
แน่นอนว่านี่เป็นแค่ "การทดลองนำร่อง" (pilot) ในขอบเขตแคบๆ แต่ทิศทางมันชัดเจนมากว่า DeepMind กำลังผลักดันให้การประเมินแบบนี้กลายเป็นมาตรฐานใหม่ของวงการ แม้มันจะแลกมาด้วยต้นทุนที่สูงขึ้น ความยุ่งยากในการบริหารจัดการที่เพิ่มขึ้น แต่ถ้าแลกกับความมั่นใจได้ว่า AI ที่เราปล่อยออกไปใช้งานมัน "ปลอดภัยจริง" และ "เก่งจริง" ไม่ใช่แค่การแสดงโชว์ ผมว่ามันคุ้มค่า และวงการอื่นๆ ที่มีการประเมินความเสี่ยง AI ควรจะจับตาดูและศึกษาแนวทางนี้ไว้
นี่คือหมากที่กล้าหาญและจำเป็นของ DeepMind ในการคืนความน่าเชื่อถือให้กับการวัดผล AI เพราะถ้าเรายังปล่อยให้แต่ละค่ายวัดเก่งกันเองแบบไม่มีการการันตีอะไรเลย ระเบิดเวลาทางความปลอดภัยก็จะยิ่งเดินไปเรื่อยๆ และวันหนึ่งมันอาจจะสายเกินแก้
ที่มา: Google DeepMind Blog — อ่านต้นฉบับ
ความคิดเห็น 4
กำลังโหลดความคิดเห็น...