เมื่อวานไปเจอกระทู้นึงใน Reddit r/ArtificialIntelligence มาครับ สมาชิกคนหนึ่งตั้งคำถามเรื่องการประเมินผล agent ที่เขียน SQL ไปรันกับฐานข้อมูลสดๆ เช่น Snowflake หรือ BigQuery แล้วดันไปสะดุดกับประเด็นที่ผมว่ามันเป็นปัญหาจริงๆ ของคนที่ใช้งานจริงๆ นั่นคือ failure mode ที่ query มันรันผ่านฉลุย ได้ผลลัพธ์เป็นแถวๆ กลับมาจริงๆ แต่ดันเป็นข้อมูลที่ผิด ไม่ว่าจะเป็น join ผิดตัว filter ผิด หรือความเข้าใจ schema มันเชยไปแล้ว ตรงนี้มันน่ากลัวตรงที่ไม่มี error อะไรโผล่มาเลย หน้าตาข้อมูลมันดู plausible ด้วยซ้ำ แต่ความจริงมันคือขยะ
เขาพูดถึงจุดที่ static eval set ที่ใช้คำตอบสำเร็จรูปที่เขียนล่วงหน้ามันใช้ไม่ได้กับกรณีนี้ เพราะคำตอบที่ถูกต้องมันเปลี่ยนไปตามข้อมูลที่เปลี่ยนไปเรื่อยๆ แล้วเขายกตัวอย่างว่า LangSmith มี cookbook recipe สำหรับเรื่องนี้อยู่ โดยให้เก็บ labels เป็น query ที่ evaluator เอาไปรันตอน eval เพื่อดึง ground truth ล่าสุด แต่มันเป็นแนวทางแบบ DIY ที่เราต้องไปสร้างและดูแล evaluator เองทั้งหมด ส่วนแพลตฟอร์มใหญ่ๆ อย่าง LangSmith, Braintrust หรือ Arize นั้นเท่าที่เขาดูยังไม่มีใครมี live data verification ให้แบบ out of the box ฟีเจอร์ online scoring ส่วนใหญ่ก็เป็นแค่ reference-free LLM as judge ซึ่งผมว่ามันก็ไม่ได้ตรงจุดเท่าไหร่
ส่วนตัวผมมองว่าไอเดียการสร้าง tool เฉพาะทางขึ้นมาโดยให้มันเชื่อมต่อกับทั้ง DB และตัว agent แล้ว evaluator ค่อยไป query ข้อมูลจากฐานข้อมูลจริงๆ เพื่อเทียบกับ output ที่ agent ส่งออกมามันเป็นแนวทางที่น่าสนใจมาก เพราะมันแก้ปัญหาที่ต้นเหตุจริงๆ ว่า "ตอนนี้ข้อมูลมันเป็นแบบนี้ คำตอบที่ถูกต้องมันควรเป็นแบบนี้" แต่ผมก็แอบคิดเหมือนกันว่ามันจะคุ้มมั้ยนะที่จะสร้างเป็น product แยกต่างหาก เพราะสำหรับหลายๆ ทีม การให้ Claude Code เขียน eval script แบบใช้ครั้งเดียวทิ้งไปก่อนน่าจะพอแล้ว ยังไม่แน่ใจว่าปัญหามันใหญ่พอที่จะมีคนจ่ายเงินเพื่อแก้จริงๆ หรือเปล่า หรือว่าสุดท้ายแล้วทุกคนก็จะปล่อยผ่านไปเพราะคิดว่าข้อมูลมันผิดบ้างอะไรบ้างก็คงไม่เป็นไร
เลยอยากถามเพื่อนๆ ในกลุ่มที่ใช้ agent คุยกับฐานข้อมูลจริงๆ บ้างว่า ปกติแล้วพวกเราจับเคสที่มัน "รันผ่านแต่ข้อมูลผิด" กันได้ยังไงบ้าง? แล้วมันกัดเราแรงแค่ไหนในงานจริง? ตอนนี้ eval stack ที่ใช้อยู่เป็นอะไรกันบ้าง ใช้ LangSmith, Braintrust, Arize หรือเขียน script เอง? แล้วถ้ามี tool แบบนี้เป็น product จริงๆ จะยอมจ่ายเงินซื้อมั้ย หรือแค่ให้ AI เขียน script ให้ครั้งเดียวง่ายกว่า? อยากฟังความเห็นครับ
เขาพูดถึงจุดที่ static eval set ที่ใช้คำตอบสำเร็จรูปที่เขียนล่วงหน้ามันใช้ไม่ได้กับกรณีนี้ เพราะคำตอบที่ถูกต้องมันเปลี่ยนไปตามข้อมูลที่เปลี่ยนไปเรื่อยๆ แล้วเขายกตัวอย่างว่า LangSmith มี cookbook recipe สำหรับเรื่องนี้อยู่ โดยให้เก็บ labels เป็น query ที่ evaluator เอาไปรันตอน eval เพื่อดึง ground truth ล่าสุด แต่มันเป็นแนวทางแบบ DIY ที่เราต้องไปสร้างและดูแล evaluator เองทั้งหมด ส่วนแพลตฟอร์มใหญ่ๆ อย่าง LangSmith, Braintrust หรือ Arize นั้นเท่าที่เขาดูยังไม่มีใครมี live data verification ให้แบบ out of the box ฟีเจอร์ online scoring ส่วนใหญ่ก็เป็นแค่ reference-free LLM as judge ซึ่งผมว่ามันก็ไม่ได้ตรงจุดเท่าไหร่
ส่วนตัวผมมองว่าไอเดียการสร้าง tool เฉพาะทางขึ้นมาโดยให้มันเชื่อมต่อกับทั้ง DB และตัว agent แล้ว evaluator ค่อยไป query ข้อมูลจากฐานข้อมูลจริงๆ เพื่อเทียบกับ output ที่ agent ส่งออกมามันเป็นแนวทางที่น่าสนใจมาก เพราะมันแก้ปัญหาที่ต้นเหตุจริงๆ ว่า "ตอนนี้ข้อมูลมันเป็นแบบนี้ คำตอบที่ถูกต้องมันควรเป็นแบบนี้" แต่ผมก็แอบคิดเหมือนกันว่ามันจะคุ้มมั้ยนะที่จะสร้างเป็น product แยกต่างหาก เพราะสำหรับหลายๆ ทีม การให้ Claude Code เขียน eval script แบบใช้ครั้งเดียวทิ้งไปก่อนน่าจะพอแล้ว ยังไม่แน่ใจว่าปัญหามันใหญ่พอที่จะมีคนจ่ายเงินเพื่อแก้จริงๆ หรือเปล่า หรือว่าสุดท้ายแล้วทุกคนก็จะปล่อยผ่านไปเพราะคิดว่าข้อมูลมันผิดบ้างอะไรบ้างก็คงไม่เป็นไร
เลยอยากถามเพื่อนๆ ในกลุ่มที่ใช้ agent คุยกับฐานข้อมูลจริงๆ บ้างว่า ปกติแล้วพวกเราจับเคสที่มัน "รันผ่านแต่ข้อมูลผิด" กันได้ยังไงบ้าง? แล้วมันกัดเราแรงแค่ไหนในงานจริง? ตอนนี้ eval stack ที่ใช้อยู่เป็นอะไรกันบ้าง ใช้ LangSmith, Braintrust, Arize หรือเขียน script เอง? แล้วถ้ามี tool แบบนี้เป็น product จริงๆ จะยอมจ่ายเงินซื้อมั้ย หรือแค่ให้ AI เขียน script ให้ครั้งเดียวง่ายกว่า? อยากฟังความเห็นครับ
ความคิดเห็น 2
กำลังโหลดความคิดเห็น...