“โมเดลเก่งแค่ไหนก็ไร้ค่า ถ้าคุณไม่รู้ว่ามันพังตอนไหน”
เพิ่งได้ยินเรื่องนี้มาแล้วรู้สึกสะดุดมาก คือแบบว่าเออ เรานั่งทำ agent กันอยู่ทุกวัน แต่ไม่เคยคิดจริงจังเรื่องการวัดผลเลย พอได้ยินว่า Elastic เค้าถึงขั้นรื้อระบบ eval ใหม่ทั้งบริษัท ก็แบบว่าเฮ้ย มันเป็นปัญหาที่ใหญ่กว่าที่เราคิดอีกนะ
เรื่องมันมีอยู่ว่า Susan Chang จาก Elastic เค้าออกมาเล่าในงานนำเสนอว่า แต่ก่อนแต่ละทีมในบริษัททำ eval แบบต่างคนต่างทำ ไม่มีมาตรฐานกลางเลย ใครอยากวัดยังไงก็วัด พอระบบมันเริ่มซับซ้อนขึ้น มี RAG มี workload ด้าน cybersecurity มีหลายขั้นตอนเข้ามา วิธีประเมินแบบเดิมๆ มันเลยใช้ไม่ได้อีกต่อไป เค้าก็เลยตัดสินใจสร้างกรอบประเมินระดับโปรดักชันที่ใช้ร่วมกันทั้งบริษัท โดยผสาน LLM-as-a-judge เข้ากับกฎตายตัวที่เขียนไว้ชัดเจน
คือส่วนตัวเราว่ามันเจ็บแต่มันจริงนะ การที่แต่ละทีมทำ eval แบบไม่มีมาตรฐาน มันเหมือนเราสร้างบ้านแล้วไม่มีใครตรวจงานเลย ช่างแต่ละคนก็บอกว่าบ้านเสร็จแล้ว แต่พอเข้าอยู่จริงกลับมีปัญหาทุกจุด แล้วการเอา LLM มาเป็น judge เนี่ยมันก็ช่วยได้ในหลายเคส แต่เราก็ยังกังวลอยู่ดีว่า LLM มันจะ bias กับ output ที่มันชอบหรือเปล่า หรือบางทีมันอาจจะตัดสินผิดในเคสที่ซับซ้อนมากๆ การผสมกับกฎตายตัวเลยเป็นทางออกที่ฟังดูสมเหตุสมผล แต่ก็ต้องแลกมาด้วยการที่ต้องเขียนกฎเยอะขึ้น ดูแลยากขึ้น
ที่เราคิดว่าสำคัญคือคำถามที่ว่า "แล้วเราจะรู้ได้ยังไงว่า eval ที่เราสร้างมันดีพอ" เพราะถ้า eval เองก็ยังไม่น่าเชื่อถือ เราก็แค่ย้ายปัญหาไปที่อื่นเฉยๆ อ่ะ
เลยอยากถามเพื่อนๆ ว่า ใครเคยทำ eval ให้ agent จริงจังบ้าง แล้วใช้วิธีไหน แบบ LLM-as-a-judge ล้วนๆ หรือผสมกฎตายตัว หรือใครเคยเจอเคสที่ eval ตัวเองโกหกตัวเองบ้าง มาแชร์กันหน่อย
เพิ่งได้ยินเรื่องนี้มาแล้วรู้สึกสะดุดมาก คือแบบว่าเออ เรานั่งทำ agent กันอยู่ทุกวัน แต่ไม่เคยคิดจริงจังเรื่องการวัดผลเลย พอได้ยินว่า Elastic เค้าถึงขั้นรื้อระบบ eval ใหม่ทั้งบริษัท ก็แบบว่าเฮ้ย มันเป็นปัญหาที่ใหญ่กว่าที่เราคิดอีกนะ
เรื่องมันมีอยู่ว่า Susan Chang จาก Elastic เค้าออกมาเล่าในงานนำเสนอว่า แต่ก่อนแต่ละทีมในบริษัททำ eval แบบต่างคนต่างทำ ไม่มีมาตรฐานกลางเลย ใครอยากวัดยังไงก็วัด พอระบบมันเริ่มซับซ้อนขึ้น มี RAG มี workload ด้าน cybersecurity มีหลายขั้นตอนเข้ามา วิธีประเมินแบบเดิมๆ มันเลยใช้ไม่ได้อีกต่อไป เค้าก็เลยตัดสินใจสร้างกรอบประเมินระดับโปรดักชันที่ใช้ร่วมกันทั้งบริษัท โดยผสาน LLM-as-a-judge เข้ากับกฎตายตัวที่เขียนไว้ชัดเจน
คือส่วนตัวเราว่ามันเจ็บแต่มันจริงนะ การที่แต่ละทีมทำ eval แบบไม่มีมาตรฐาน มันเหมือนเราสร้างบ้านแล้วไม่มีใครตรวจงานเลย ช่างแต่ละคนก็บอกว่าบ้านเสร็จแล้ว แต่พอเข้าอยู่จริงกลับมีปัญหาทุกจุด แล้วการเอา LLM มาเป็น judge เนี่ยมันก็ช่วยได้ในหลายเคส แต่เราก็ยังกังวลอยู่ดีว่า LLM มันจะ bias กับ output ที่มันชอบหรือเปล่า หรือบางทีมันอาจจะตัดสินผิดในเคสที่ซับซ้อนมากๆ การผสมกับกฎตายตัวเลยเป็นทางออกที่ฟังดูสมเหตุสมผล แต่ก็ต้องแลกมาด้วยการที่ต้องเขียนกฎเยอะขึ้น ดูแลยากขึ้น
ที่เราคิดว่าสำคัญคือคำถามที่ว่า "แล้วเราจะรู้ได้ยังไงว่า eval ที่เราสร้างมันดีพอ" เพราะถ้า eval เองก็ยังไม่น่าเชื่อถือ เราก็แค่ย้ายปัญหาไปที่อื่นเฉยๆ อ่ะ
เลยอยากถามเพื่อนๆ ว่า ใครเคยทำ eval ให้ agent จริงจังบ้าง แล้วใช้วิธีไหน แบบ LLM-as-a-judge ล้วนๆ หรือผสมกฎตายตัว หรือใครเคยเจอเคสที่ eval ตัวเองโกหกตัวเองบ้าง มาแชร์กันหน่อย
ความคิดเห็น 1
กำลังโหลดความคิดเห็น...