เจาะประเด็น
AI / ML
ตัวโมเดลไม่ได้ยากที่สุดในระบบแนะนำของจริง แต่วิศวกรรมรอบๆ ต่างหากที่ฆ่าคุณ
Mallika Rao ชี้ว่า feedback loop สดๆ, ความสดของ retrieval และงบ latency ทั้งระบบ คือสนามรบจริงของ recommender ที่รันบนโปรดักชัน
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
ต่อให้โมเดลเทพแค่ไหน ถ้า latency บานหรือ retrieval เก่าไปสามวัน ระบบแนะนำของคุณก็จบเห่ตั้งแต่วันแรกที่ขึ้นจริง
เรื่องนี้พูดตรงๆ ได้เลยว่าคนที่เคยแตะระบบแนะนำ (recommender) จริงๆ ในโปรดักชันจะพยักหน้าทันที เพราะสิ่งที่ Mallika Rao พูดในงานนำเสนอของเธอไม่ใช่ทฤษฎีในเปเปอร์ แต่คือของจริงที่ทีมวิศวกรรมเจอทุกวัน
ประเด็นตั้งต้นของ Rao ง่ายมาก แต่โคตรสำคัญ เธอบอกว่าความซับซ้อนที่แท้จริงของระบบแนะนำแบบ adaptive ไม่ได้อยู่ที่สถาปัตยกรรมโมเดลเลย ฟังดูขัดกับกระแสโลกที่ทุกคนกำลังแข่งกันเทรนโมเดลใหญ่ขึ้นทุกวัน แต่ถ้าใครเคยลองเอาของขึ้นจริงจะรู้ว่า นี่คือความจริงที่เจ็บแสบ
Rao ชี้ว่าแก่นของระบบที่ "เรียนรู้และวิวัฒน์ต่อเนื่อง" บนโปรดักชันจริง ประกอบด้วยของหลายอย่างที่คนมักมองข้าม ตอนเทรนโมเดลเสร็จแล้วนั่งชม loss สวยๆ อยู่บนโน้ตบุ๊ก แต่วันที่ขึ้นจริงมันคนละโลก
Real-time feedback loops
ระบบต้องรับสัญญาณจากผู้ใช้แบบสดๆ แล้วป้อนกลับเข้าไปปรับตัว ไม่ใช่รอเทรนใหม่เดือนละครั้ง
Retrieval freshness
คลังข้อมูลที่ใช้ดึงของมาแนะนำต้องสดพอ ถ้าเก่าไปแค่วันเดียวก็เท่ากับแนะนำเรื่องที่คนเลิกสนใจแล้ว
Multi-stage orchestration
ระบบจริงไม่ได้มีโมเดลตัวเดียว แต่มีหลายสเตจทำงานต่อกัน ตั้งแต่คัดหยาบไปจนถึงจัดอันดับละเอียด
End-to-end latency budgeting
ต้องแบ่งงบเวลาทั้งระบบให้ลงตัว ตั้งแต่รับ request จนถึงส่งผลลัพธ์ ถ้าสเตจไหนกินเกิน ระบบพังทันที
ที่ Rao พูดทั้งหมดนี้มีเงื่อนไขสำคัญกำกับอยู่ นั่นคือข้อจำกัดจริงในโลกปฏิบัติการ ทั้ง latency ที่ต้องต่ำพอให้ผู้ใช้ไม่หนี, cost ที่ต้องคุมไม่ให้บานปลาย และ observability ที่ต้องมองเห็นว่าระบบกำลังทำอะไรอยู่ ถ้าไม่มีสามอย่างนี้ ต่อให้ระบบฉลาดแค่ไหนก็ไม่มีความหมาย
ตรงนี้แหละที่ผมว่ามันน่าสนใจ เพราะมันสวนทางกับวัฒนธรรม AI ตอนนี้ที่หมกมุ่นอยู่กับขนาดโมเดลและ benchmark กันเหลือเกิน คนจำนวนมากยังคิดว่า "โมเดลเก่ง = ระบบเก่ง" ซึ่งผิดถนัด Rao กำลังบอกกลายๆ ว่า ต่อให้คุณมีโมเดลระดับท็อป ถ้า feedback loop ทำงานช้า หรือ retrieval ดึงข้อมูลเก่ามาแนะนำ ระบบคุณก็ห่วยอยู่ดีในสายตาผู้ใช้
และที่สำคัญคือคำว่า adaptive ในที่นี้ไม่ได้หมายถึงแค่โมเดลเก่งขึ้น แต่หมายถึงระบบที่ "เรียนรู้และวิวัฒน์ต่อเนื่อง" บนโปรดักชันจริงได้ นี่คือความต่างระหว่างเดโมกับของจริง คนที่ทำระบบแนะนำมานานจะรู้สึกได้ทันทีว่าประเด็นนี้คือจุดตายของหลายทีม
ถ้าคุณยังคิดว่าปัญหาของระบบแนะนำคือ "โมเดลยังไม่เก่งพอ" คุณกำลังแก้ผิดจุด งานหนักจริงอยู่ที่วิศวกรรมระบบ ทั้ง feedback loop, retrieval freshness และ latency budget ซึ่งล้วนเป็นเรื่องที่ไม่มีทางแก้ได้ด้วยการเทรนโมเดลใหญ่ขึ้น แต่ต้องออกแบบระบบให้ดีตั้งแต่ต้น
ที่มา: InfoQ AI/ML — อ่านต้นฉบับ
ความคิดเห็น 3
กำลังโหลดความคิดเห็น...