“ลดโมเดลจาก 284B เหลือ 57GB แล้วยังฉลาดพอเขียน compiler ได้ นี่คืออนาคตที่ AI อยู่บนเครื่องเราจริงๆ แล้ว”
เมื่อกี้เพิ่งเห็นคลิปนึงสะดุดมาก เพื่อนส่งมาให้ดู บอกว่าเอา DeepSeek V4 Flash มาบีบขนาดจนเหลือ 57GB แล้วรันบน MacBook M3 Max 128GB ให้มันเขียน C compiler สำหรับ ARM64 ตั้งแต่ศูนย์ ปรากฏว่ามันทำสำเร็จในเวลาไม่ถึงชั่วโมง แล้วเอาไปทดสอบกับ Fibonacci กับ FizzBuzz ผ่านฉลุยเลยว่ะ เห็นแล้วแบบ... อะไรกันเนี่ย
รายละเอียดมันประมาณว่า โมเดลตัวเต็มมันมี 284B parameters แต่ active แค่ 13B ต่อ token (เป็น MoE นั่นแหละ) แล้วคนทำเค้าใช้วิธี pruning เอา experts ที่ไม่จำเป็นสำหรับงาน coding ออกไปจาก 40 เลเยอร์ๆ ละ 256 experts รวมๆ แล้วลบทิ้งไป 80B parameters เลยทีเดียว เทคนิคนี้เค้าเรียกว่า REAP แล้วก็ใช้ quantization แบบใหม่ที่ชื่อ mlx-iqk ซึ่งดัดแปลงมาจาก IQ_K tensor encoding ของ Iwan Kawrakow ที่ออกแบบไว้ให้มีประสิทธิภาพกว่าเดิม ปรับ layout ให้เป็น k-contiguous เพื่อให้เร็วขึ้นบน Metal ด้วย ที่สำคัญคือมันเลือกใช้ IQ1_S_R4 ที่ประมาณ 1.5 bits ต่อ weight แล้วค่อยๆ ปรับบาง projection ขึ้นไปเป็น IQ2_KS หรือ IQ2_K เฉพาะจุดที่วัดแล้วว่าความผิดพลาดลดลงจริงๆ เท่านั้น
ส่วนตัวผมว่าจุดที่ยากที่สุดน่าจะไม่ใช่แค่การบีบขนาดให้เล็กลงนะ แต่เป็นการที่มันไม่ลืมวิธีคิดแบบมีเหตุผลต่างหาก เพราะในตอนแรกๆ ที่ทดสอบ โมเดลมันชอบคิดเป็นพันๆ token โดยไม่ยอมปิด section การคิด หรือไม่ก็วนลูปไปเรื่อยๆ จนเค้าต้องแก้โดยการเพิ่มน้ำหนักให้กับ data ที่เป็น tool-calling traces และ structured reasoning ในชุด calibration ซึ่งตรงนี้ผมว่ามันคือกุญแจสำคัญจริงๆ เพราะถ้าเราแค่บีบๆ ไปเฉยๆ มันก็จะกลายเป็นโมเดลที่ตอบได้แต่แบบไร้สมอง
ที่สำคัญคือมันรันบน MacBook Air M1 แบบไม่มีพัดลมแค่ 16GB ก็ยังรันได้ที่ 1.39 tok/s แต่ context วืดมาก ส่วนบน 32GB นั้นได้ 128K tokens ที่ 5 tok/s ซึ่งถือว่าใช้ได้เลยสำหรับงานเขียนโค้ดหรืออ่านโค้ดยาวๆ ผมว่ามันน่าสนใจตรงที่เรากำลังเข้าสู่ยุคที่โมเดลใหญ่ๆ ระดับนี้สามารถอยู่บนเครื่องเราได้จริง โดยไม่ต้องส่งข้อมูลไปที่ server ข้างนอก ซึ่งทั้งเรื่อง privacy และความสะดวกมันคนละเรื่องเลย แต่ก็อดคิดไม่ได้ว่า ถ้าเราปรับแต่งกันขนาดนี้แล้ว คุณภาพโดยรวมมันจะต่างจากตัวเต็มแค่ไหนในงานอื่นๆ ที่ไม่ใช่ coding อย่างเช่น การเขียนนิยายหรือการสนทนาทั่วไป แล้วอีกอย่างที่อยากรู้คือ quantization แบบ 1.5 bits เนี่ย มันจะเพี้ยนขนาดไหนเวลาตอบเรื่องที่ต้องใช้ความละเอียดสูงๆ ใครพอจะรู้หรือลองเทียบกับตัวเต็มดูบ้างครับ?
เมื่อกี้เพิ่งเห็นคลิปนึงสะดุดมาก เพื่อนส่งมาให้ดู บอกว่าเอา DeepSeek V4 Flash มาบีบขนาดจนเหลือ 57GB แล้วรันบน MacBook M3 Max 128GB ให้มันเขียน C compiler สำหรับ ARM64 ตั้งแต่ศูนย์ ปรากฏว่ามันทำสำเร็จในเวลาไม่ถึงชั่วโมง แล้วเอาไปทดสอบกับ Fibonacci กับ FizzBuzz ผ่านฉลุยเลยว่ะ เห็นแล้วแบบ... อะไรกันเนี่ย
รายละเอียดมันประมาณว่า โมเดลตัวเต็มมันมี 284B parameters แต่ active แค่ 13B ต่อ token (เป็น MoE นั่นแหละ) แล้วคนทำเค้าใช้วิธี pruning เอา experts ที่ไม่จำเป็นสำหรับงาน coding ออกไปจาก 40 เลเยอร์ๆ ละ 256 experts รวมๆ แล้วลบทิ้งไป 80B parameters เลยทีเดียว เทคนิคนี้เค้าเรียกว่า REAP แล้วก็ใช้ quantization แบบใหม่ที่ชื่อ mlx-iqk ซึ่งดัดแปลงมาจาก IQ_K tensor encoding ของ Iwan Kawrakow ที่ออกแบบไว้ให้มีประสิทธิภาพกว่าเดิม ปรับ layout ให้เป็น k-contiguous เพื่อให้เร็วขึ้นบน Metal ด้วย ที่สำคัญคือมันเลือกใช้ IQ1_S_R4 ที่ประมาณ 1.5 bits ต่อ weight แล้วค่อยๆ ปรับบาง projection ขึ้นไปเป็น IQ2_KS หรือ IQ2_K เฉพาะจุดที่วัดแล้วว่าความผิดพลาดลดลงจริงๆ เท่านั้น
ส่วนตัวผมว่าจุดที่ยากที่สุดน่าจะไม่ใช่แค่การบีบขนาดให้เล็กลงนะ แต่เป็นการที่มันไม่ลืมวิธีคิดแบบมีเหตุผลต่างหาก เพราะในตอนแรกๆ ที่ทดสอบ โมเดลมันชอบคิดเป็นพันๆ token โดยไม่ยอมปิด section การคิด หรือไม่ก็วนลูปไปเรื่อยๆ จนเค้าต้องแก้โดยการเพิ่มน้ำหนักให้กับ data ที่เป็น tool-calling traces และ structured reasoning ในชุด calibration ซึ่งตรงนี้ผมว่ามันคือกุญแจสำคัญจริงๆ เพราะถ้าเราแค่บีบๆ ไปเฉยๆ มันก็จะกลายเป็นโมเดลที่ตอบได้แต่แบบไร้สมอง
ที่สำคัญคือมันรันบน MacBook Air M1 แบบไม่มีพัดลมแค่ 16GB ก็ยังรันได้ที่ 1.39 tok/s แต่ context วืดมาก ส่วนบน 32GB นั้นได้ 128K tokens ที่ 5 tok/s ซึ่งถือว่าใช้ได้เลยสำหรับงานเขียนโค้ดหรืออ่านโค้ดยาวๆ ผมว่ามันน่าสนใจตรงที่เรากำลังเข้าสู่ยุคที่โมเดลใหญ่ๆ ระดับนี้สามารถอยู่บนเครื่องเราได้จริง โดยไม่ต้องส่งข้อมูลไปที่ server ข้างนอก ซึ่งทั้งเรื่อง privacy และความสะดวกมันคนละเรื่องเลย แต่ก็อดคิดไม่ได้ว่า ถ้าเราปรับแต่งกันขนาดนี้แล้ว คุณภาพโดยรวมมันจะต่างจากตัวเต็มแค่ไหนในงานอื่นๆ ที่ไม่ใช่ coding อย่างเช่น การเขียนนิยายหรือการสนทนาทั่วไป แล้วอีกอย่างที่อยากรู้คือ quantization แบบ 1.5 bits เนี่ย มันจะเพี้ยนขนาดไหนเวลาตอบเรื่องที่ต้องใช้ความละเอียดสูงๆ ใครพอจะรู้หรือลองเทียบกับตัวเต็มดูบ้างครับ?
ความคิดเห็น 1
กำลังโหลดความคิดเห็น...