คือไปเจอกระทู้ใน Reddit มา เขาเล่าประสบการณ์ทำ AI feature ลง production แล้วผู้ใช้จริงทำตัวเป็นเครื่องพ่นไฟเผา token จนค่าคลาวด์เดือนนั้นแทบช็อต ฟังแล้วโคตรอิน เพราะตอนแรกใน staging ทุกอย่างดูเนียนมาก แค่ให้ summarize หรือ draft สั้นๆ context แค่ 2k ก็พอ แต่พอ user จริงเข้ามา มันกลายเป็นคนละเรื่องเลย มีคนวางคำถาม 14 ย่อหน้า เอา CRM ครึ่งบริษัทวางใส่กล่อง แล้วถามต่อเนื่องไม่เคย reset บริษัทเขาก็เจอปัญหา retrieval layer ดึง snippet เดิมๆ ซ้ำๆ มาสามชุด เพราะคิดว่า policy เก่าอันเดียวมันไม่พอ
ที่ตลกคือตอนแรกคิดว่ายิ่ง context เยอะยิ่งแม่น ก็เลยยัด prompt ให้อ้วนขึ้นเรื่อยๆ พอ latency เริ่มห่วยก็ตัดออก คุณภาพตกก็ใส่กลับ วนลูปอยู่อย่างงั้น จนสุดท้ายมาสังเกตว่าทุกเทิร์นเราส่งทั้ง retrieval chunks ที่ซ้ำกัน แถม system prompt โตๆ บวก conversation history ทั้งหมด เขาบอกว่าบัดเจ็ตมีทิงครั้งนั้นคือฝันร้าย จะไปอธิบายยังไงว่าผู้ใช้แค่ถามคำถามยาวๆ แปลกๆ หนึ่งคำถามแพงกว่า demo flow ทั้งเส้น
คือผมว่าปัญหามันไม่ใช่แค่ลด token ตรงๆ แต่มันต้อง redesign ทั้งระบบ ทั้ง chunking ให้ฉลาดขึ้น dedupe ข้อความที่ดึงมา จำกัด history ทดสอบการตัด context และที่สำคัญคือต้องตัดสินใจให้ได้ว่าอาทิตย์นี้จะให้ใครบ่น อ่ะระหว่าง latency กับ accuracy เลือกเอาอันไหนก่อน แล้วพวกคุณมีวิธีควบคุม token spend ยังไงบ้างตอนที่ผู้ใช้ทั่วไปเริ่มทำตัวป่วนๆ แบบนี้?
ที่ตลกคือตอนแรกคิดว่ายิ่ง context เยอะยิ่งแม่น ก็เลยยัด prompt ให้อ้วนขึ้นเรื่อยๆ พอ latency เริ่มห่วยก็ตัดออก คุณภาพตกก็ใส่กลับ วนลูปอยู่อย่างงั้น จนสุดท้ายมาสังเกตว่าทุกเทิร์นเราส่งทั้ง retrieval chunks ที่ซ้ำกัน แถม system prompt โตๆ บวก conversation history ทั้งหมด เขาบอกว่าบัดเจ็ตมีทิงครั้งนั้นคือฝันร้าย จะไปอธิบายยังไงว่าผู้ใช้แค่ถามคำถามยาวๆ แปลกๆ หนึ่งคำถามแพงกว่า demo flow ทั้งเส้น
คือผมว่าปัญหามันไม่ใช่แค่ลด token ตรงๆ แต่มันต้อง redesign ทั้งระบบ ทั้ง chunking ให้ฉลาดขึ้น dedupe ข้อความที่ดึงมา จำกัด history ทดสอบการตัด context และที่สำคัญคือต้องตัดสินใจให้ได้ว่าอาทิตย์นี้จะให้ใครบ่น อ่ะระหว่าง latency กับ accuracy เลือกเอาอันไหนก่อน แล้วพวกคุณมีวิธีควบคุม token spend ยังไงบ้างตอนที่ผู้ใช้ทั่วไปเริ่มทำตัวป่วนๆ แบบนี้?
ความคิดเห็น 1
กำลังโหลดความคิดเห็น...