มีใครลองเทรน "ตัว Harness" แทนที่จะเทรนโมเดลตรงๆ บ้าง? เห็นใน HN แล้วรู้สึกว้าวมาก

เมื่อกี้เลื่อนๆ อยู่ใน HN เจอกระทู้ Show HN ชื่อ "Auto-train the harness, not the LLM. cross-model, cross-benchmark gains" ปกติผมไม่ค่อยได้แวะอ่านอะไรแนวนี้เท่าไหร่ แต่ชื่อมันชวนให้สะดุดเพราะมันไปคนละทางกับที่เราเข้าใจกันมาโดยสิ้นเชิง เลยลองกดเข้าไปอ่านดู แล้วก็ต้องแบบ... โอ้โห มันมีอะไรแบบนี้ด้วยเหรอวะ คือตอนนี้ทั้งวงการมันวิ่งไปทางไหน? ทุกคนก็เทรนโมเดลใหญ่ๆ ให้ฉลาดขึ้นๆ แต่เจ้าของโพสต์นี้กลับบอกว่าเราไม่ต้องไปยุ่งกับตัว LLM เองเลย แค่เทรน "Harness" หรือก็คือตัวโครงสร้างรอบๆ ที่คอยจัดการ prompt, context, การเรียกใช้ tools อะไรพวกนั้น แล้วมันทำให้ผลลัพธ์ดีขึ้นข้ามโมเดล ข้ามเบนช์มาร์คด้วยนะ

เขาอ้างว่า gains ที่ได้มัน generalize ได้จริง ไม่ใช่แค่ fitting กับ benchmark ตัวใดตัวหนึ่ง วิธีคิดมันคือการมองว่าโมเดลมันคือสมองที่เทรนมาแล้ว ส่วน Harness คือร่างกายที่คอยควบคุมสมองให้ทำงาน ถ้าเราปรับร่างกายให้แข็งแรง สมองเดิมๆ ก็ทำงานได้ดีขึ้นโดยไม่ต้องผ่าตัดสมองใหม่ ผมว่านี่เป็นมุมมองที่โคตรจะ practical สำหรับคนที่ไม่ได้มีทรัพยากรจะเทรนโมเดลยักษ์ๆ แบบ OpenAI หรือ Google แต่มี API ให้เรียกใช้ ก็เหมือนเราปรับจูนรถคันเดิมให้เข้าโค้งดีขึ้น โดยไม่ต้องเปลี่ยนเครื่องยนต์เลย

ส่วนตัวผมมองว่ามันเป็นไอเดียที่เจ๋งมากๆ และน่าจะเป็นทิศทางที่คนทำ AI ใช้งานจริงควรให้ความสนใจ เพราะมันประหยัดทรัพยากรสุดๆ แต่สิ่งที่ผมกังวลคือมันจะกลายเป็นอีกสนามแข่งที่แคบลงไปอีกไหม? คือสุดท้ายแล้ว Harness ที่ดีที่สุดมันก็ต้องถูกออกแบบมาเฉพาะกับโมเดลบางตัวหรือเปล่า? แล้วถ้าทุกคนเริ่มเทรน Harness กันหมด มันจะเกิดอะไรขึ้นกับตัวโมเดลเอง? มันจะกลายเป็นเหมือนยุคที่ทุกคนแข่งกันทำ UI แล้วเบื้องหลังใช้ของเดิมหมด มันจะทำให้การพัฒนาโมเดลใหม่ๆ ช้าลงหรือเปล่า? ผมรู้สึกว่ามันช่วยแก้ปัญหาเฉพาะหน้าได้ดี แต่ผมยังไม่เห็นภาพระยะยาวว่า ecosystem มันจะไปทางไหน

อยากถามเพื่อนๆ ในกลุ่มว่ามีใครลองเล่นกับไอเดียแนวนี้บ้างแล้วบ้าง? โดยเฉพาะคนที่ใช้ API ของโมเดลใหญ่ๆ อยู่ทุกวัน คิดว่าการเทรน Harness แบบนี้มันเวิร์คกับงานจริงไหม? แล้วมันต่างจากการทำ prompt engineering แบบเดิมๆ ยังไง? หรือใครมีประสบการณ์เจอ Harness ที่เทรนแล้วมันพังกับโมเดลตัวอื่นบ้าง? ขอแชร์หน่อยครับ อยากรู้ว่ามัน hype หรือของจริง