โมเดลแปลเสียงแบบเรียลไทม์พร้อมโคลนเสียงจาก Tencent Hunyuan ที่ทำคะแนนทดสอบความหน่วงต่ำและคุณภาพสูง
โปรเจกต์ tencent/Hy-SimulMT จาก Hugging Face เป็นโมเดลสำหรับแปลเสียงพูดแบบเรียลไทม์สองทิศทางระหว่างภาษาจีนและภาษาอังกฤษ พัฒนาโดย Tencent Hunyuan ตัวโมเดลออกแบบมาเพื่อใช้ในการสื่อสารสด เช่น การประชุม การกล่าวสุนทรพจน์ และการสัมภาษณ์ โดยจะทำการรับเสียงและแปลออกมาเป็นทั้งข้อความและเสียงพูดอย่างต่อเนื่องขณะที่ผู้พูดกำลังพูดอยู่
หลักการทำงานของโมเดลนี้คือการสร้างสมดุลระหว่างความเร็วในการตอบสนองและคุณภาพการแปล เพื่อลดความล่าช้าในการสื่อสาร นอกจากนี้ยังมีระบบ real-time voice cloning ที่ช่วยรักษาลักษณะเสียงเฉพาะตัวของผู้พูดไว้ในภาษาปลายทางได้ โดยต้องมีการตั้งค่าบริการ TTS เพิ่มเติมสำหรับการแปลงเสียงพูดและโคลนเสียง
ในแง่ของผลการประเมิน Hy-SimulMT ทำคะแนน StreamLAAL ในการทดสอบ RealSI long-form audio ได้ประมาณ 3 วินาที ซึ่งต่ำที่สุดในระบบที่นำมาเทียบกัน และคะแนน GEMBA ยังสูงกว่าโมเดลโอเพนซอร์สอื่นๆ รวมถึง API เชิงพาณิชย์ 4 จาก 5 ตัว นอกจากนี้ บนหน้า Hugging Face โมเดลนี้มียอดถูกใจ 320 ครั้ง และยอดดาวน์โหลด 165 ครั้ง ติดอันดับ #11 ในหน้าโมเดลกำลังมาแรง
✨ จุดเด่น
- การแปลแบบเรียลไทม์ — รองรับการแปลเสียงพูดสองทิศทางระหว่างภาษาจีนและภาษาอังกฤษอย่างต่อเนื่องขณะกำลังพูด
- โคลนเสียงพูด — มีฟีเจอร์ real-time voice cloning ช่วยรักษาลักษณะเสียงของผู้พูดเดิมเมื่อแปลงเป็นภาษาใหม่
- ความหน่วงต่ำ — ทำคะแนน StreamLAAL ในการทดสอบเสียงยาวได้ประมาณ 3 วินาที ซึ่งต่ำที่สุดในการเปรียบเทียบ
- เครื่องมือสนับสนุน — มีบริการ SimulInfer และเครื่องมือฝึกสอน SimulTrain ให้ใช้งานผ่าน GitHub รวมถึงแอป Hy Translate
🙋 ใครเหมาะจะลอง: เหมาะสำหรับนักพัฒนาซอฟต์แวร์และผู้สนใจด้านเทคโนโลยีการแปลภาษาและเสียงพูด ที่ต้องการทดลองระบบแปลเสียงแบบเรียลไทม์ โดยต้องมีการตั้งค่าบริการ TTS สำหรับการใช้งานเสียงพูดและการโคลนเสียง
ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ tencent/Hy-SimulMT-30B-A3B-FP8 — รายละเอียดล่าสุดดูที่ต้นทาง
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...