โปรเจกต์ AI ตัวใหม่จากตระกูล LFM3 ที่ออกแบบมาให้รันบนอุปกรณ์ทั่วไปได้ พร้อมความสามารถรอบด้านทั้งมอง ฟัง และตอบกลับด้วยเสียง
LiquidAI/LFM3-Omni-2B เป็นโมเดล AI แบบ omni-modal รุ่นแรกในตระกูล LFM3 ทำหน้าที่เป็นโมเดลแบบ end-to-end ตัวเดียวที่สามารถเข้าใจข้อความ รูปภาพ วิดีโอ และเสียง พร้อมทั้งตอบกลับเป็นได้ทั้งข้อความและเสียงพูด โมเดลนี้ถูกพัฒนาขึ้นมาเพื่อทดแทนการใช้โมเดลแยกย่อยหลายตัว เช่น โมเดลแปลงเสียงเป็นข้อความ โมเดลวิสัยทัศน์ โมเดลภาษาขนาดใหญ่ และโมเดลสังเคราะห์เสียงพูด โดยรวมความสามารถทั้งหมดไว้ในที่เดียว
ด้านการทำงาน โมเดลตัวนี้มีขนาด 2.17B พารามิเตอร์ ออกแบบมาให้ทำงานบนฮาร์ดแวร์ขอบเขตอุปกรณ์ (edge hardware) เช่น โทรศัพท์มือถือและแล็ปท็อปได้อย่างมีประสิทธิภาพ รองรับอินพุตหลากหลายรูปแบบ ไม่ว่าจะเป็นข้อความ รูปภาพ วิดีโอที่มีหรือไม่มีเสียงประกอบ และไฟล์เสียง 16 kHz สามารถประมวลผลวิดีโอร่วมกับซาวด์แทร็กพร้อมกันได้ ส่วนผลลัพธ์ที่ได้สามารถเลือกให้ออกมาเป็นข้อความ เสียงพูด 24 kHz หรือแบบผสมผสานระหว่างข้อความและเสียง
ปัจจุบันโปรเจกต์นี้กำลังได้รับความสนใจบน Hugging Face โดยอยู่ในอันดับที่ 12 ในหน้ากำลังมาแรง มีการดาวน์โหลดไปแล้ว 9,964 ครั้ง และได้รับยอดถูกใจ 309 ครั้ง รองรับภาษาข้อความหลากหลายรวมถึงภาษาไทย และรองรับภาษาสำหรับเสียงพูดหลากหลายภูมิภาค โดยใช้งานผ่านเฟรมเวิร์กอย่าง SGLang หรือ Transformers สำหรับ GPU หรือใช้ GGUF กับ llama.cpp สำหรับการรันบนอุปกรณ์ส่วนตัว
✨ จุดเด่น
- รอบด้านในโมเดลเดียว — เข้าใจและประมวลผลได้ทั้งข้อความ รูปภาพ วิดีโอ และเสียง พร้อมตอบกลับเป็นข้อความหรือเสียงพูด
- ขนาดกะทัดรัด — มีพารามิเตอร์ 2.17B เหมาะสำหรับการรันบนอุปกรณ์ทั่วไป เช่น โทรศัพท์มือถือและแล็ปท็อป
- รองรับภาษาไทย — รองรับการประมวลผลข้อความภาษาไทย รวมถึงภาษาอื่นๆ อีกหลายภาษาทั่วโลก
- โหมดการทำงานหลากหลาย — รองรับงานแปลภาษา ถอดเสียงพูด (ASR) สังเคราะห์เสียงพูด (TTS) และการสนทนาด้วยเสียง
🙋 ใครเหมาะจะลอง: เหมาะสำหรับนักพัฒนาและผู้สนใจทดลองรัน AI มัลติโมดัลขนาดเล็กบนอุปกรณ์ส่วนตัว โดยต้องเลือกใช้งานผ่านเฟรมเวิร์กที่รองรับ เช่น Transformers หรือ llama.cpp
ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ LiquidAI/LFM3-Omni-2B — รายละเอียดล่าสุดดูที่ต้นทาง
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...