แพลตฟอร์มสำหรับเปรียบเทียบและพัฒนาโมเดลภาษาที่เน้นการใช้ทรัพยากรคำนวณอย่างคุ้มค่าภายใต้งบประมาณที่จำกัด
NextTransformer เป็นเฟรมเวิร์กโอเพนซอร์สที่ออกแบบมาเพื่อตอบคำถามสำคัญว่า หากเรามีงบประมาณในการเทรนโมเดลที่จำกัด เราควรใช้พลังประมวลผลไปกับส่วนไหนถึงจะคุ้มค่าที่สุด โดยโปรเจกต์นี้รวบรวมทั้งเครื่องมือเทรน การทำ Benchmark และแพลตฟอร์มวิจัยอัตโนมัติไว้ในที่เดียว เพื่อค้นหาสถาปัตยกรรม Transformer ยุคถัดไปที่มีประสิทธิภาพสูงกว่าเดิม
ระบบทำงานโดยการเทรนโมเดลหลายรูปแบบ เช่น sparse attention, linear attention หรือ hybrid บนชุดข้อมูลเดียวกันจำนวน 49.152B tokens โดยกำหนดให้ใช้ค่า FLOPs ต่อ token เท่ากันที่ 4.672 GFLOPs เพื่อให้การเปรียบเทียบผลลัพธ์มีความยุติธรรมที่สุด ทุกการทดลองจะถูกบันทึกไว้อย่างละเอียดและสามารถตรวจสอบย้อนกลับได้ผ่านหน้าจอ Observatory ในเบราว์เซอร์
แม้จะเปิดตัวได้เพียง 3 วัน แต่โปรเจกต์นี้ติดอันดับ 11 ของ repo AI มาแรงประจำสัปดาห์ ด้วยความน่าสนใจของการมี Model zoo ที่รวบรวมสถาปัตยกรรมไว้หลากหลายตระกูล และยังมีแผนพัฒนา Auto-research arena เพื่อเปิดทางให้ AI agent สามารถเข้ามาช่วยวิจัยและออกแบบโครงสร้างโมเดลใหม่ๆ ได้โดยอัตโนมัติในอนาคต
✨ จุดเด่น
- The observatory — หน้าจอแสดงกราฟการเรียนรู้และ Leaderboard ของทุกการทดสอบแบบเรียลไทม์ผ่านเบราว์เซอร์
- Model zoo — รวมสถาปัตยกรรมโมเดลหลายกลุ่มทั้ง Dense Baseline, Sparse Attention และ Linear Attention
- Auto-research arena — พื้นที่สำหรับการวิจัยสถาปัตยกรรมใหม่โดยใช้ AI agent ซึ่งจะรองรับเต็มรูปแบบในเวอร์ชัน v2
🙋 ใครเหมาะจะลอง: เหมาะสำหรับนักวิจัยและนักพัฒนาที่ต้องการทดลองสถาปัตยกรรมโมเดลใหม่ๆ โดยต้องใช้งานบนระบบปฏิบัติการ Linux ร่วมกับ NVIDIA GPUs และติดตั้งจัดการแพ็กเกจด้วย uv
ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ Interactive-Active-AI/NextTransformer — รายละเอียดล่าสุดดูที่ต้นทาง
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...