เรากำลังเสียเงินเปล่ากับโมเดลแพงๆ กันอยู่หรือเปล่า? ยุค "ของฟรี" กำลังกลับมาแล้วนะ

“เงินเดือนครึ่งหนึ่งหายไปกับ API ที่เราไม่เคยใช้ความสามารถเต็มๆ สักครั้ง แล้วเราจะยอมจ่ายเพื่ออะไร?”

เมื่อกี้เพิ่งอ่านบล็อกของ Simon Willison จบ ถึงกับต้องวางกาแฟลงแล้วมานั่งคิดทบทวนชีวิตการเป็น developer ของตัวเองเลยครับ คือมีคนชื่อ Drew Breunig ออกมาเล่าประสบการณ์ตรงๆ ว่าเรากำลังสิ้นเปลืองกับโมเดลแพงๆ กันอยู่หรือเปล่า มันเป็นประเด็นที่หลายคนเริ่มจับได้ แต่ยังไม่มีใครกล้าพูดตรงๆ สักที จนเขาออกมาโพสต์แล้วทำให้ผมสะดุดมาก

เรื่องมันประมาณนี้ครับ ก่อนที่ Fable จะเปิดตัว ชีวิตนักพัฒนามันง่ายมาก แค่เลือกโมเดลที่แรงที่สุดที่มีอยู่ แล้วปล่อยให้มันจัดการทุกอย่าง ต่อให้เขียน prompt ห่วยๆ หรือไม่ได้ปรับ context strategy อะไรเลยก็ไม่เป็นไร เพราะโมเดลใหม่ๆ มันฉลาดพอที่จะเดาใจเราได้เอง แต่มันก็แลกมาด้วยค่าใช้จ่ายที่บานปลายขึ้นทุกเดือน ผมจำได้ว่าตอนใช้ GPT-4 ตอนแรกๆ ค่า API เดือนนึงหลายพันบาทมาก แถมยังต้องมานั่งปรับ parameter เพื่อให้มันไม่ตอบเกินความจำเป็นอีก

ประเด็นที่ Drew สะท้อนคือเราควรถามตัวเองก่อนเสมอว่างานที่ทำอยู่ต้องการ "ความฉลาด" ระดับไหนกันแน่ เพราะหลายครั้งแค่โมเดลกลางๆ หรือแม้แต่โมเดลฟรีอย่าง Llama หรือ Gemma ที่รันบนเครื่องตัวเองก็ทำงานเสร็จได้เหมือนกัน แค่ต้องยอมเสียเวลาจัดการ prompt และ context ให้ดีขึ้นหน่อย มันคือการแลกกันระหว่างเงินกับเวลา ซึ่งส่วนตัวผมว่าโจทย์นี้มันไม่ได้มีคำตอบตายตัว แต่ที่แน่ๆ คือยุคที่เราจะสุ่มยิงโมเดลแพงๆ ทิ้งๆ ขว้างๆ โดยไม่คิดเงินในกระเป๋ามันกำลังจะจบลงแล้วล่ะ

ผมว่ามุมนี้มันน่าสนใจตรงที่มันชี้ให้เห็นว่า "ของฟรี" ที่ว่ามันไม่ฟรีจริงๆ หรอก มันคือการย้ายต้นทุนจากค่า API ไปเป็นต้นทุนแรงงานและเวลาในการปรับแต่งของเราเอง แต่มันก็เป็นทางเลือกที่ดีกว่าสำหรับสตาร์ทอัพหรือคนทำโปรเจกต์ส่วนตัวที่งบน้อย แต่ถ้าเป็นงานระดับ enterprise ที่พลาดไม่ได้จริงๆ ผมว่าการจ่ายแพงเพื่อความอุ่นใจก็ยังคุ้มอยู่นะ ทีนี้เลยอยากถามเพื่อนๆ ในกลุ่มดูว่า ตอนนี้ใครยังใช้แต่โมเดลแพงๆ อยู่บ้าง แล้วเคยลอง switch ไปใช้ตัวเล็ก/ตัวฟรีแล้วประเมินผลงานดูไหมครับ? หรือใครมีเทคนิคจัดการ context ยังไงให้โมเดลถูกๆ ทำงานได้เทียบเท่าตัวแพงๆ บ้าง มาแชร์หน่อยสิครับ