เจาะประเด็น
AI Agents
AI Agent ตายตอนเดโม่สวยๆ แต่ใช้จริงเจ๊ง — ทางรอดคือ "จำลองผู้ใช้" ก่อนปล่อยของ
โจว หยู ชี้ชัดว่า AI Agent ส่วนใหญ่ไม่ได้แย่ที่ตัวโมเดล แต่ไปตายที่การเทสต์ไม่ตรงโลกความจริง แล้ววิธีแก้ที่เขาว่าคืออะไร ไปอ่านกัน
ทีมข่าว เอไอไทย.com
⏱ อ่าน 4 นาที
ถ้าคุณยังเชื่อว่า AI Agent ที่เดโม่เก่งๆ จะทำงานจริงได้เหมือนในสไลด์ บทความนี้จะทำให้คุณคิดอีกที
เราคงเคยเห็นภาพนี้กันบ่อย—คนบนเวทีเปิดเดโม่ AI Agent ที่คุยกับผู้ใช้ได้อย่างลื่นไหล ตอบคำถามได้หมด ทำธุระได้เสร็จสรรพ ดูเป็นอนาคตที่ควรค่าแก่การลงทุนจริง แต่พอเอามาใช้กับระบบ production จริงๆ กลับพังไม่เป็นท่า ตอบผิดๆ ถูกๆ ทำตามคำสั่งไม่ครบ หรือแย่กว่านั้นคือทำอะไรที่ไม่ได้สั่งแล้วสร้างความเสียหาย
โจว หยู (Zhou Yu) จากมหาวิทยาลัยโคลัมเบียและ Arklex AI พูดถึงปัญหานี้ไว้ตรงมากในงานประชุมสายเทค เขาบอกว่าปัญหาไม่ได้อยู่ที่ตัวโมเดลฉลาดไม่พอ แต่อยู่ที่วิธีการเทสต์ของเรามันผิดมาตั้งแต่ต้น—เราเทสต์ในสภาพแวดล้อมที่ "ปลอดภัย" เกินไป ไม่ได้จำลองความอลหม่านของผู้ใช้จริงๆ ที่ถามคำถามกำกวม เปลี่ยนใจกลางคัน หรือพิมพ์ผิดๆ ถูกๆ
ลองคิดดูง่ายๆ—ตอนเราสอนคนทำงานใหม่ เราก็ไม่ให้ไปเจอลูกค้าตัวจริงวันแรกใช่ไหม? เราต้องให้ฝึกกับสถานการณ์จำลองก่อน แต่กับ AI Agent หลายทีมกลับข้ามขั้นตอนนี้ไปเลย พอ dev เทสต์เองในห้องแล็บที่ทุกอย่างเป็นระเบียบ ฟีเจอร์ครบ ระบบลื่น ก็ปล่อยขึ้น production ทันที โดยลืมไปว่าโลกความจริงมันไม่ได้เรียงสวยแบบนั้น
โจวบอกว่าผลลัพธ์ที่ตามมาคือปัญหาเรื่อง compliance และความน่าเชื่อถือ (reliability) ซึ่งเป็นเหตุผลหลักที่ทำให้หลายองค์กรยังไม่กล้าเอา AI Agent เข้าไปแทนที่ workflow จริงๆ เพราะไม่รู้ว่ามันจะพลาดเมื่อไหร่ และพลาดแล้วจะรับผิดชอบยังไง
หัวใจของแนวทางที่โจวเสนอคือ "การเทสต์ด้วยการจำลอง" (simulation-driven testing) ซึ่งไม่ได้แค่สุ่มคำถามมาถาม แต่สร้าง "ตัวตนผู้ใช้จำลอง" (synthetic user personas) ที่มีพฤติกรรม พื้นหลัง และวิธีพูดที่หลากหลายเหมือนคนจริงๆ แล้วให้ AI Agent ของเราไปคุยกับพวกมันก่อนปล่อยของจริง
ที่น่าสนใจกว่านั้นคือเขาใช้แนวคิดที่เรียกว่า "trajectory entropy" ในการวัด—พูดง่ายๆ คือดูว่าเส้นทางการสนทนาของ Agent มัน "กระจาย" แค่ไหน ถ้า Agent ตอบแบบเดิมเป๊ะๆ ไม่ว่าจะเจอผู้ใช้แบบไหน นั่นคือสัญญาณอันตราย แต่ถ้าเส้นทางมันหลากหลายเกินไปจนคาดเดาไม่ได้ นั่นก็เสี่ยงอีกเหมือนกัน—ต้องหาสมดุลให้เจอ
และเพื่อให้กระบวนการนี้ไม่ใช่แค่เทสต์ครั้งเดียวจบ เขายังเสนอให้ฝังการทดสอบนี้เข้าไปใน CI/CD pipeline แบบ automated—แปลว่าทุกครั้งที่มีการอัปเดตโค้ด ระบบจะวิ่งเทสต์เองอัตโนมัติ จับจุดผิดพลาด (edge cases) ได้ก่อนที่มันจะไประเบิดใส่ผู้ใช้จริง
ฟังดูเหมือนเป็นเรื่องเทคนิคที่ไกลตัว แต่จริงๆ แล้วมันคือปัญหาที่ทุกคนที่กำลังสร้าง AI Agent ต้องเจอ—ไม่ว่าจะเป็นแชทบอตบริการลูกค้า หรือผู้ช่วยภายในองค์กร ถ้าคุณยังเทสต์ด้วยการถามเอง 5-10 คำถามแล้วรู้สึกว่า "ผ่าน" ขอบอกตรงๆ ว่านั่นคือกับดักที่ทำให้ของพังตอน production แน่นอน
การที่โคลัมเบียและ Arklex AI เปิดเผยวิธีคิดนี้ถือเป็นเรื่องดี เพราะมันช่วยยกระดับวาทกรรมจาก "โมเดลไหนเก่งกว่า" ไปสู่คำถามที่สำคัญกว่า—"เราจะรู้ได้ยังไงว่า Agent พร้อมทำงานจริง" ซึ่งเป็นโจทย์ที่ทุกองค์กรต้องตอบให้ได้ก่อนฝากงานสำคัญๆ ไว้กับมัน
ประเด็นที่ควรจับตา
การเทสต์ด้วยผู้ใช้จำลองจะกลายเป็นมาตรฐานใหม่ของวงการพัฒนา AI Agent หรือไม่? ถ้าใช่ ทีมเล็กๆ ที่ไม่มีทรัพยากรจะตามทันได้ยังไง
บทเรียนสำคัญจากงานนี้คือ—AI Agent ไม่ได้ตายเพราะโมเดลไม่ฉลาด แต่มันตายเพราะเราไม่เคยเทสต์มันในโลกที่เละเทะพอ ถ้าอยากพามันออกจากเดโม่สู่ production จริงๆ จงเลิกเทสต์ในห้องสะอาด แล้วเริ่มสร้าง "โลกจำลองที่อลหม่าน" ให้มันเจอซะก่อน
ที่มา: InfoQ AI/ML — อ่านต้นฉบับ
ความคิดเห็น 5
กำลังโหลดความคิดเห็น...