ตัดงบ AI ยังไงให้ของยังเต็มที่? เห็นต่างประเทศเขาถกกันเรื่องนี้เดือดมาก เลยอยากรู้วิธีเพื่อนๆ ใช้กันบ้าง

เมื่อวานไปเจอกระทู้ใน Reddit มาครับ เขาถามกันว่าบริษัทจะลดค่าใช้จ่าย AI ยังไงโดยที่ไม่ต้องลดการใช้งานลง คือตอนนี้หลายที่เริ่มติดกับดักว่าใช้ AI เยอะจนค่าใช้จ่ายบานปลาย แต่จะให้เลิกใช้ก็ไม่ได้เพราะมันช่วยงานจริงๆ ในกระทู้นั้นเขาคุยกันหลายวิธีเลย ทั้งการเลือกใช้โมเดลเล็กๆ ทำงานง่ายๆ แทนที่จะจิ้มแต่ตัวใหญ่ตลอดเวลา อีกทั้งยังมีการทำ prompt ให้สั้นลงเพื่อลด token ที่กินไป หรือแม้แต่การทำ caching เพื่อไม่ให้เสียเงินซ้ำกับคำถามเดิมๆ

ส่วนตัวผมว่าวิธีที่เวิร์คสุดน่าจะเป็นการแยกงานให้ชัดเจนว่าอันไหนต้องใช้โมเดลแพง อันไหนใช้ถูกๆ ก็พอ เพราะหลายครั้งทีมเราเผลอใช้ ChatGPT ตัวเก่งไปตอบคำถามง่ายๆ ซึ่งมันแพงเกินจำเป็น อีกอย่างที่รู้สึกว่าคนมองข้ามคือการเทรนโมเดลเล็กๆ ของตัวเองเฉพาะงาน เช่น ใช้แค่ summarize หรือ classify ข้อมูล ซึ่งต้นทุนระยะยาวถูกกว่ามาก แต่ก็แลกกับเวลาที่ต้องลงทุนตอนแรก

อยากรู้ว่าเพื่อนๆ ในนี้มีวิธีจัดการยังไงบ้างครับ? โดยเฉพาะคนที่ใช้งาน API เป็นประจำ หรือมีทีมที่ใช้ AI เยอะๆ จนค่าใช้จ่ายหลักหมื่นหลักแสนต่อเดือน มีทริคอะไรที่ช่วยประหยัดได้จริงโดยที่งานไม่ด้อยคุณภาพลง มาแชร์กันหน่อยครับ จะได้เก็บไปลองปรับใช้กับทีมตัวเองบ้าง