อัปเดต
AI
ปลดล็อกภาษากลุ่มอินเดียบน AI ด้วยชุดข้อมูลมหาศาลเกือบสามล้านล้านโทเค็น
เมื่อโมเดลภาษาไม่ได้มีไว้แค่ฝรั่ง พลังการเทรน AI ด้วยข้อมูลภาษาถิ่นเอเชียใต้จึงเริ่มขยับสเกลครั้งใหญ่
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
การเทรน AI ภาษากลุ่มอินเดียไม่ใช่เรื่องง่าย เพราะความหลากหลายทางวัฒนธรรมและชุดข้อมูลที่กระจัดกระจาย แต่วันนี้เกมกำลังเปลี่ยนเมื่อมีท่อส่งข้อมูลเปิดแบบนี้
ปัญหาใหญ่สุดของวงการ AI ทุกวันนี้คือความเหลื่อมล้ำทางภาษา โมเดลเก่งๆ ส่วนใหญ่เกิดมาเพื่อภาษาอังกฤษหรือภาษาหลักของโลกตะวันตก ส่วนภาษาถิ่นและภาษากลุ่มอินเดียที่มีคนพูดนับพันล้านกลับได้กินเศษเสี้ยวของข้อมูลฝึกฝน แต่อันนี้คือความพยายามครั้งสำคัญจากทาง Hugging Face ร่วมกับ NVIDIA ที่ลุกขึ้นมาลุยโปรเจกต์ Scaling Indic Pretraining เพื่อแก้ปัญหานี้แบบจริงจัง
แก่นของเรื่องนี้คือการอัดข้อมูลภาษากลุ่มอินเดียเข้าไปในขั้นตอน Pretraining สูงถึง 2.8 ล้านล้านโทเค็น พร้อมกับเปิดท่อส่งข้อมูล (Data Generation Pipeline) ให้คนอื่นเอาไปต่อยอดได้แบบเปิดกว้าง คิดดูเอาเองว่าการจะรวบรวมข้อมูลภาษาในภูมิภาคเอเชียใต้ที่มีความซับซ้อนสูง อ่านยาก และมีสำเนียงย่อยมหาศาล มันไม่ใช่แค่เรื่องของการแปล แต่มันคือการสร้างคลังแสงข้อมูลตั้งต้นใหม่หมด
ในมุมของการพัฒนา AI ระดับฐานราก (Foundation Models) ถ้าข้อมูลดิบมีน้อยหรือคุณภาพต่ำ ตัวโมเดลก็จะออกมาง้องแง้งใช้งานจริงไม่ได้ การที่โปรเจกต์นี้ปล่อยทั้งชุดข้อมูลขนาดมหึมาและท่อส่งข้อมูลออกมาด้วย แปลว่านักพัฒนาฝั่งเอเชียใต้ไม่ต้องเริ่มนับหนึ่งใหม่บนกองขยะข้อมูลอีกต่อไปแล้ว
การขยับตัวครั้งนี้ไม่ได้มีความหมายแค่กับประเทศอินเดียหรือภูมิภาคใกล้เคียงเท่านั้น แต่มันสะท้อนภาพใหญ่ว่าโลกของเทคโนโลยีเริ่มหันมาสนใจความหลากหลายทางภาษาอย่างจริงจัง ไม่ใช่ปล่อยให้AIฉลาดแค่ภาษาฝรั่งเหมือนที่ผ่านมา ใครที่กำลังมองหาทางทำโมเดลเฉพาะถิ่น นี่คือวัตถุดิบชั้นดีที่ถูกเสิร์ฟมาให้ถึงมือ
การเปิดข้อมูลชุดใหญ่สำหรับภาษากลุ่มอินเดียครั้งนี้ เป็นหมุดหมายสำคัญที่พิสูจน์ว่า AI ระดับโลกเริ่มใส่ใจรากหญ้าทางภาษาอย่างจริงจัง และนี่คือจุดเริ่มต้นที่แท้จริงของการลดช่องว่างทางเทคโนโลยี
ที่มา: Hugging Face Blog — อ่านต้นฉบับ
ความคิดเห็น 3
กำลังโหลดความคิดเห็น...