เครื่องมือใหม่ที่ช่วยทำ Quantization ให้โมเดล AI ขนาดใหญ่ทำงานได้เร็วและใช้ทรัพยากรน้อยลงโดยยังรักษาคุณภาพไว้ได้
MACaQ เป็นโปรเจกต์โอเพนซอร์สที่เน้นการทำ Quantization หรือการบีบอัดโมเดล AI เพื่อให้สามารถนำไปรันใช้งานแบบ Local บนเครื่องส่วนตัวได้ โดยรองรับทั้งโมเดลข้อความ รูปภาพ วิดีโอ และเสียง ผ่านเครื่องมือยอดนิยมอย่าง llama.cpp, vLLM, Diffusers และ PyTorch
หลักการทำงานของ MACaQ คือการลดขนาดพารามิเตอร์ของโมเดลลงเพื่อให้กินหน่วยความจำน้อยลงและประมวลผลได้เร็วขึ้น โดยผู้พัฒนาเผยว่าสามารถบีบอัดโมเดลขนาด 122B-parameter ได้ภายในเวลา 64 นาที โดยใช้หน่วยความจำเครื่องเพียง 32.5 GB นอกจากนี้ยังมีฟีเจอร์ MACaQ-R สำหรับปรับแต่ง GGUF ที่มีอยู่เดิมให้มีประสิทธิภาพสูงขึ้นโดยยังคงความเข้ากันได้กับมาตรฐานของ llama.cpp
จุดที่น่าสนใจคือผลทดสอบที่ระบุว่า MACaQ ให้ค่าความแม่นยำ (perplexity) ที่ดีกว่า MR-GPTQ และ DuQuant++ หรือหากเทียบกับโมเดล Llama-3-8B ก็สามารถทำคะแนนได้เท่าเทียมกันแต่ใช้เวลาในการบีบอัดน้อยกว่าถึง 11 เท่า ทำให้เป็นทางเลือกที่น่าสนใจสำหรับนักพัฒนาที่ต้องการรันโมเดลขนาดใหญ่ด้วยทรัพยากรจำกัด
✨ จุดเด่น
- รองรับหลากหลายโมเดล — บีบอัดได้ทั้งโมเดลข้อความ ภาพ วิดีโอ และเสียง
- ประสิทธิภาพสูง — บีบอัดโมเดล 122B ได้ใน 64 นาทีด้วยหน่วยความจำ 32.5 GB
- ความเข้ากันได้ดี — สร้างไฟล์ GGUF ที่ใช้งานร่วมกับมาตรฐาน llama.cpp ได้ทันที
🙋 ใครเหมาะจะลอง: เหมาะสำหรับนักพัฒนา AI ที่ต้องการรันโมเดลขนาดใหญ่บนเครื่องตัวเอง ต้องใช้ Python 3.12 และควรแยกสภาพแวดล้อมการทำงานสำหรับแต่ละ Backend
ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ huawei-csl/MACaQ — รายละเอียดล่าสุดดูที่ต้นทาง
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...