โมเดลภาษาขนาด 35B พารากอนผสมที่ออกแบบมาเพื่อการประมวลผลข้ามภาษาและบริบทขนาดยาว
Maxwell-V1-Flash เป็นโมเดลภาษาประเภท Mixture-of-Experts (MoE) แบบข้อความเท่านั้น พัฒนาโดย Maxwell Team มีพารามิเตอร์รวมทั้งหมด 35B และใช้งานจริง 3B พารามิเตอร์ต่อโทเค็น ออกแบบมาเพื่อการคิดวิเคราะห์ การทำงานแบบเอเจนต์ และการจัดการบริบทขนาดยาว รองรับความยาวบริบทสูงสุดถึง 256K โทเค็น
การทำงานของโมเดลใช้เทคโนโลยี Maxwell Block Sparse Attention (MBSA) ช่วยควบคุมการทำงานของความสนใจให้อยู่ในขอบเขตที่กำหนด ทำให้ประมวลผลได้เร็วขึ้น 6.7 เท่าเมื่อเทียบกับระบบ Dense GQA ที่ความยาว 256K พร้อมทั้งใช้ตัวแปลงข้อความที่รองรับภาษาในภูมิภาคเอเชียตะวันออกเฉียงใต้ เช่น ไทย ลาว เมียนมา เขมร และไทใหญ่ ได้เป็นอย่างดี
โปรเจกต์นี้ได้รับความสนใจในชุมชนนักพัฒนาบน Hugging Face ด้วยยอดดาวน์โหลด 287 ครั้ง ยอดถูกใจ 155 ครั้ง และอยู่ในอันดับ #11 ของหน้าโมเดลกำลังมาแรง เหมาะสำหรับผู้ที่ต้องการโมเดลประสิทธิภาพสูงสำหรับการประมวลผลข้อความและภาษาท้องถิ่น
✨ จุดเด่น
- สถาปัตยกรรม MoE — มีพารามิเตอร์รวม 35B และใช้งานจริง 3B ต่อโทเค็น
- รองรับบริบทสูง — จัดการความยาวบริบทได้สูงสุดถึง 256K โทเค็น
- การประมวลผลเร็วขึ้น — ระบบ MBSA ทำงานเร็วกว่า Dense GQA ถึง 6.7 เท่าที่ความยาว 256K
- รองรับภาษาหลากหลาย — โทเค็นไนเซอร์รองรับภาษาในเอเชียตะวันออกเฉียงใต้รวมถึงภาษาไทย
🙋 ใครเหมาะจะลอง: เหมาะสำหรับนักพัฒนาและผู้สนใจงานด้านภาษาธรรมชาติหรือการประมวลผลบริบทขนาดยาว ที่ต้องการทดลองใช้งานโมเดลภาษาจาก Hugging Face
ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ maxwell-model/Maxwell-V1-Flash — รายละเอียดล่าสุดดูที่ต้นทาง
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...