โปรเจกต์โอเพนซอร์ส MemT-1.0 นำเสนอหน่วยความจำแบบไดนามิกที่พัฒนาต่อเนื่อง เพื่อผสานรวมเข้ากับการประมวลผลของโมเดลโดยตรง
MemT-1.0 เป็นโมเดลหน่วยความจำพื้นฐานรุ่นใหม่จาก MemTensor ที่ถูกพัฒนาขึ้นเพื่อให้หน่วยความจำที่คงอยู่และพัฒนาได้แบบไดนามิกกลายมาเป็นส่วนหนึ่งของการคำนวณโมเดลโดยตรง โดยเปิดตัวบน GitHub มาได้ 2 วัน และมียอดดาวน์โหลดหรือดาวสะสมอยู่ที่ 187 ดาว พร้อมทั้งติดอันดับ #4 ในหมวด repo AI เปิดใหม่ 7 วันที่ได้ดาวเยอะสุด
ตัวโปรเจกต์ประกอบด้วยสองรุ่นหลัก ได้แก่ MemT-1.0-Nano และ MemT-1.0-Flash ซึ่งใช้บล็อกหน่วยความจำแบบเนทีฟ (Native Memory Block) ทำงานร่วมกับแอตเทนชันของแบ็คโบน ในบล็อกนี้จะแบ่งเป็น Local Memory Block สำหรับเก็บบันทึกเมทริกซ์หน่วยความจำแบบหลายช่องทาง และ Hyper Memory Block ที่มีพารามิเตอร์เคียวรี คีย์ แวลู รวมถึงเกตต่างๆ โดยใช้ระบบ GDN-2 อัปเดตหน่วยความจำระดับโทเค็นเมื่อสิ้นสุดแต่ละรอบ
จุดเด่นสำคัญคือความสามารถในการรักษาข้อมูลประวัติโดยไม่ต้องเข้าถึงบริบทเดิมในระหว่างการอนุมาน ทำให้สามารถลดพื้นที่จัดเก็บข้อมูลลงได้ประมาณ 66 เท่า เมื่อเทียบกับระบบ KV cache แบบเต็มบริบทที่ความยาวประวัติ 128K นอกจากนี้ ในการประเมินผลผ่าน 11 เบนช์มาร์กด้านหน่วยความจำ รุ่น MemT-1.0-Flash และ MemT-1.0-Nano สามารถทำอันดับที่ 1 และ 2 ได้ในกลุ่มวิธีหน่วยความจำพารามิเตอร์ที่ได้รับการประเมิน
✨ จุดเด่น
- ลดพื้นที่จัดเก็บ — ลดการใช้พื้นที่เก็บข้อมูลลงประมาณ 66 เท่าเมื่อเทียบกับ full-context KV cache ที่ความยาว 128K
- สถาปัตยกรรมบล็อกหน่วยความจำ — ผสาน Local Memory และ Hyper Memory เข้ากับการประมวลผลของโมเดล
- รองรับการใช้งานผ่าน SGLang — มีไคลเอนต์ Python สำหรับเชื่อมต่อและจัดการเซิร์ฟเวอร์ในการสนทนาและการบันทึกสถานะ
🙋 ใครเหมาะจะลอง: นักพัฒนาและนักวิจัยที่สนใจทดลองโมเดลหน่วยความจำพื้นฐาน โดยต้องใช้งานบนเซิร์ฟเวอร์ Linux ที่มี NVIDIA CUDA และติดตั้ง Python 3.11 หรือใหม่กว่า
ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ MemTensor/MemT-1.0 — รายละเอียดล่าสุดดูที่ต้นทาง
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...