เจาะประเด็น
AI / SRE
Grafana จะเอา SLO มาคุม AI Agent ให้เลิกมั่ว
เลิกเดาสุ่มว่า AI ทำงานดีไหม แล้วหันมาใช้ตัวเลขวัดผลแบบวิศวกรรมให้จบๆ ไป
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
ถ้าเราวัดผลความเสถียรของ Server ได้ แล้วทำไมเราจะวัดผล "ความประพฤติ" ของ AI Agent ไม่ได้?
ก็นั่นแหละ ปัญหาโลกแตกของ AI Agent ในตอนนี้คือเราแทบไม่มีวิธีวัดผลที่ชัดเจนเลยว่าสิ่งที่มันทำน่ะ "ดีพอ" หรือยัง ส่วนใหญ่ก็ใช้ความรู้สึกเอา หรือไม่ก็สุ่มตรวจเอาเป็นจุดๆ ซึ่งในโลกของการทำซอฟต์แวร์ระดับโปร การใช้ความรู้สึกคือหายนะชัดๆ
ทาง Grafana Labs เลยเสนอไอเดียที่โคตรจะ SRE (Site Reliability Engineering) ด้วยการหยิบเอาแนวคิดเรื่อง SLO และ Error Budgets ที่ปกติเราใช้คุม Server หรือ API มาใช้คุมพฤติกรรมของ AI Agent แทน เพื่อให้เรารู้ว่าจุดไหนที่ AI เริ่มออกทะเล และจุดไหนที่ต้องรีบดึงเบรกก่อนที่ลูกค้าจะด่า
สำหรับคนที่ไม่ได้สาย Infra อาจจะงงว่าสองคำนี้คืออะไร สรุปง่ายๆ คือมันคือการตั้ง "เกณฑ์ขั้นต่ำ" และ "โควตาความผิดพลาด" ที่ยอมรับได้ ซึ่งถ้าเอามาใช้กับ AI Agent มันจะออกมาเป็นหน้าตาประมาณนี้
SLO (Service Level Objectives)
การตั้งเป้าหมายว่า AI ต้องทำงานถูกต้องกี่เปอร์เซ็นต์ เช่น ต้องตอบคำถามลูกค้าได้ถูกต้องและไม่หลอน (Hallucinate) 95% ของจำนวนครั้งทั้งหมด
Error Budgets
โควตาความผิดพลาดที่ยอมให้เกิดขึ้นได้ ถ้า SLO คือ 95% แปลว่าเรามีงบให้ AI ตอบผิดได้แค่ 5% ถ้าใช้โควตานี้หมดเมื่อไหร่ ต้องหยุดอัปเดตฟีเจอร์ใหม่แล้วกลับไปแก้บั๊กให้เรียบร้อยก่อน
อันนี้คือการเปลี่ยนวิธีคิดจากการนั่งลุ้นว่า AI จะตอบอะไร ให้กลายเป็นการบริหารจัดการความเสี่ยงด้วยตัวเลข ซึ่งมันทำให้ทีม Dev ทำงานง่ายขึ้นเยอะ ไม่ต้องมาเถียงกันว่า "ผมว่ามันตอบดีขึ้นแล้วนะ" แต่ใช้ข้อมูลฟันธงไปเลยว่า "Error Budget หมดแล้ว หยุด Deploy เดี๋ยวนี้!"
ความสำคัญของเรื่องนี้คือ AI Agent มันไม่ได้ทำงานเป็นเส้นตรงเหมือนโปรแกรมทั่วไป แต่มันมีความไม่แน่นอนสูงมาก การเอาแนวคิด Reliability Engineering มาจับจึงเป็นทางออกที่สมเหตุสมผลที่สุดในตอนนี้ เพราะมันช่วยสร้าง "รั้ว" ให้กับ AI ไม่ให้มันพังพินาศจนกู้ไม่กลับ
ฟันธงเลยว่า ต่อไปนี้ใครจะปล่อย AI Agent ลงโปรดักชันโดยไม่มีตัวชี้วัดความเสถียรแบบนี้ คือการเอาธุรกิจไปเสี่ยงดวงชัดๆ ยุคของการ "ลองผิดลองถูก" กับ AI กำลังจะหมดไป และเข้าสู่ยุคของ "การวัดผลได้จริง" แทน
ที่มา: InfoQ AI/ML — อ่านต้นฉบับ
ความคิดเห็น 3
กำลังโหลดความคิดเห็น...