เจาะประเด็น
Open Source AI
ม็อด 3B ตัวเล็กโค่น GPT-oss-120b ได้ 2.6 เท่า แต่เกมนี้ไม่ได้วัดกันที่ความเร็วมุมเดียว
TwIL-LM3 พิสูจน์ว่าโมเดลเล็กวิ่งเร็วกว่า แต่พอกางผลเฉลี่ยออกมา เรื่องความแม่นยำมันคนละเรื่องเลย
ทีมข่าว เอไอไทย.com
⏱ อ่าน 4 นาที
ถ้าเรายอมแลกความแม่นยำเพื่อความเร็ว มันคือการเทรดออฟที่คุ้มค่า หรือแค่การตลาดที่เลือกโชว์แต่ด้านที่ตัวเองชนะ?
หนทางของวงการ AI มันมีสองสายเสมอ สายหนึ่งวิ่งหาความฉลาดขั้นสูงสุด อีกสายวิ่งหาความคุ้มค่าในทางปฏิบัติ และ TwIL-LM3 ที่ webAI ปล่อยออกมาเมื่อสัปดาห์ก่อนคือตัวแทนสายหลังที่ชัดเจนมาก มันคือม็อด (merged fine-tune) ของ SmolLM3-3B ที่ถูกเทรนเพิ่มให้เป็น specialist ด้านตรรกะเชิงรูปแบบ (formal reasoning) เจาะจงสุดๆ และตัวเลขที่เขาอวดออกมามันไม่ได้มั่ว เพราะในเรื่อง throughput มันโค่นยักษ์ใหญ่ได้จริง
ลองฟังตัวเลขกันก่อน เจ้า 3B ตัวนี้ทำความเร็วได้ 32.9 คำตอบต่อวินาที ขณะที่ gpt-oss-120b ทำได้แค่ 12.6 ซึ่งแปลว่ามันเร็วกว่า 2.6 เท่าในเงื่อนไขการทดสอบเดียวกัน แถมยังสร้างคำตอบสั้นที่สุดในบรรดาโมเดลทั้งหมดที่เขาทดสอบด้วย อยู่ที่ 482 โทเคนบน Track B และที่โคตรจะน่าสนใจคือมันรันบน CPU ได้ หรือต้องการ VRAM แค่ 4GB เท่านั้น ขนาดไฟล์ Q4_K_M GGUF แค่ 1.78 GiB บน M2 MacBook รันได้ราว 300 โทเคนต่อวินาที นี่มันของเล่นที่ใครก็เข้าถึงได้จริงๆ
แต่เดี๋ยวก่อน ถ้าคุณคิดว่านี่คือเรื่องราวของดาวรุ่งที่โค่นแชมป์ได้เบ็ดเสร็จ ขอให้ฟังอีกด้านหนึ่งให้จบ เพราะพาดหัวการตลาดเขาบอกว่า "ชนะ gpt-oss-120b ใน 4 จาก 5 เบนช์มาร์กด้าน formal reasoning" แต่พอรวมผลเฉลี่ยทั้ง 6 ช่องทางจริงๆ แล้ว มันกลับตามหลังอยู่ที่ 0.4488 ต่อ 0.5192 ครับพี่น้อง ฟังดูไม่สวยเท่าไหร่ แต่ที่มันชนะขาดคือเรื่องประสิทธิภาพ (efficiency) และงานที่ต้องการโครงสร้างผลลัพธ์เฉพาะทาง (structured-output tasks) ซึ่งเป็นจุดที่มันถูกเทรนมาเพื่อชนะโดยเฉพาะ
ที่น่าสนใจกว่าคือสาเหตุที่โมเดลนี้ไม่เสื่อมความสามารถทั่วไปแบบเวอร์ชัน 1.7B รุ่นก่อน เขาใช้เทคนิค WiSE-FT interpolation ด้วยค่า λ=0.25 ซึ่งหมายความว่าเก็บเดลต้าจากการ fine-tune มาแค่ 1 ใน 4 เท่านั้น เลยทำให้คะแนนความสามารถทั่วไปยังอยู่ในระดับที่รับได้ LogicBench ได้ 71.7 ส่วน GSM8K ได้ 87.3 ซึ่งถือว่าไม่ขี้เหร่เลยสำหรับโมเดลขนาด 3B
แต่นี่แหละครับประเด็นที่ผมอยากชวนคิดต่อ เพราะการที่โมเดลเล็กๆ วิ่งเร็วขนาดนี้ มันทำให้คำถามเดิมกลับมาหลอกหลอนวงการอีกครั้ง เราจะยอมลดความแม่นยำเพื่อแลกกับความเร็วที่เพิ่มขึ้นหลายเท่าตัวไหม? ในงานที่ต้องการ real-time response หรือต้องประมวลผลปริมาณมหาศาลด้วยงบประมาณจำกัด คำตอบคือ "เอาเลย" แต่ถ้าเป็นงานที่ผิดพลาดแล้วเสียหายแพง ผมว่าเรื่องความแม่นยำยังไงก็ต้องมาก่อน
จุดที่ TwIL-LM3 ชนะขาด
ความเร็ว 32.9 answers/sec เร็วกว่า gpt-oss-120b ถึง 2.6 เท่า และสร้างคำตอบสั้นที่สุด (482 tokens) ประหยัดทั้งเวลาและค่าใช้จ่าย
จุดที่ยังเป็นรอง
ค่าเฉลี่ย 6 เบนช์มาร์กรวมอยู่ที่ 0.4488 ตามหลัง gpt-oss-120b ที่ได้ 0.5192 อย่าหลงเชื่อพาดหัวที่เลือกข้าง
ข้อจำกัดเรื่องลิขสิทธิ์
เป็น Non-commercial license ห้ามนำไปใช้งานเชิงพาณิชย์ที่สร้างรายได้โดยไม่ได้รับอนุญาตก่อน นี่คือจุดที่ทำให้มันไม่ใช่ทางเลือกฟรีๆ สำหรับธุรกิจ
ที่สำคัญคือไลเซนส์ของมันเป็นแบบ Non-commercial ซึ่งหมายความว่าถ้าคุณคิดจะเอาไปใช้ในระบบที่สร้างรายได้โดยไม่ได้ตกลงกันก่อน บอกเลยว่าไปไม่รอด นี่คือจุดที่ทำให้โมเดลนี้เป็นได้แค่ของเล่นสำหรับคนที่อยากทดลองหรือทำโปรเจกต์ส่วนตัวเท่านั้น ไม่ใช่ทางเลือกสำหรับสายโปรดักชัน
ที่ผมอยากเห็นจริงๆ คือการทดสอบจากคนภายนอกที่ไม่ได้มีส่วนได้ส่วนเสียกับ webAI ว่าโมเดลนี้จะทำผลงานได้ดีในชุดข้อมูลประเมินของเขาเองหรือเปล่า เพราะตัวเลขที่บริษัทปล่อยออกมามันก็ต้องเลือกโชว์ด้านที่ตัวเองเด่นอยู่แล้ว ใครที่ได้ลองแล้วเอามาแชร์กันบ้าง จะได้รู้กันว่ามันเก่งจริงหรือแค่เก่งในกระดาษ
TwIL-LM3 คือบทพิสูจน์ว่าโมเดลเล็กไม่ได้ไร้ค่าในยุคที่ทุกคนวิ่งหาโมเดลใหญ่ แต่ถ้าถามผมตรงๆ มันคืออาวุธเฉพาะกิจที่ใช้ได้ดีในสนามแคบๆ อย่าหลงไปคิดว่ามันคือทางเลือกแทนยักษ์ใหญ่เพราะไลเซนส์และความแม่นยำโดยรวมยังไม่เอื้อต่อการใช้งานจริงจังขนาดนั้น เลือกใช้ให้ถูกโจทย์ ถึงจะคุ้มค่าที่สุด
ที่มา: Reddit r/hardware — อ่านต้นฉบับ
ความคิดเห็น 6
กำลังโหลดความคิดเห็น...