Hugging Face มาแรง 17 นาทีที่แล้ว video_ai AI Generated

ทำความรู้จัก DeepSeek-V4.1-Flash-1017 GGUF โมเดลใหญ่ 763B ที่รันบนการ์ดจอ 12 GB ได้

100/100
รูปภาพประกอบ
รูปภาพประกอบกระทู้
2 12m
🤗 มาแรงบน Hugging Face · อันดับ #12

โปรเจกต์บีบอัดโมเดล AI ขนาดยักษ์ด้วยวิธี GSQ และ RCO ให้รันบนฮาร์ดแวร์ทั่วไปได้

❤ 266 ถูกใจ⬇ 412,392 ดาวน์โหลดสร้างข้อความตัวเลข ณ 26/10/2569

โปรเจกต์ ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF บน Hugging Face เป็นการทำ GGUF quantizations ของโมเดล DeepSeek-V4.1-Flash-1017 ซึ่งเป็นโมเดลแบบ sparse mixture-of-experts ขนาด 763.2B parameters (มี 384 routed experts ต่อเลเยอร์ ทำงาน 6 active experts ต่อโทเค็น) และรองรับ context window 1 ล้านโทเค็น โปรเจกต์นี้ถูกสร้างขึ้นเพื่อแก้ปัญหาโมเดลขนาดมหึมาที่ปกติแล้วต้องใช้ทรัพยากรสูงมาก ให้สามารถถูกบีบอัดและนำมาใช้งานได้จริงบนฮาร์ดแวร์จำกัด

การทำงานใช้เทคนิค GSQ (Gumbel-Softmax Quantization) ร่วมกับ RCO (Riemannian Constrained Optimization) ที่พัฒนาโดย DASLab โดยแทนที่จะบีบอัดทุกเทนเซอร์ด้วยค่าเดียวกันแบบยูนิฟอร์ม วิธีนี้จะจัดสรรประเภทการบีบอัดแยกกันในแต่ละเทนเซอร์ตามความไวและงบประมาณขนาดรวม แบ่งไฟล์ออกเป็นแบ็คโบนน้ำหนัก 551.9B parameters และไฟล์ Engram (196.6B parameters) ที่ใช้ตารางลุกอัพร่วมกันทุกบิลด์ ทำให้ประหยัดพื้นที่และจัดการหน่วยความจำได้อย่างมีประสิทธิภาพ

โปรเจกต์นี้ได้รับความสนใจสูงโดยมียอดดาวน์โหลด 412,392 ครั้ง และถูกจัดให้อยู่ในอันดับ #12 ของหน้ากำลังมาแรงบน Hugging Face เนื่องจากผลการทดสอบชี้ว่าบิลด์ IQ2_XXS (2.00 bpw) สามารถรักษาคะแนนเฉลี่ยเทียบเท่าโมเดลฐานเดิมได้ถึง 100.0% (ที่คะแนน 93.54) และทุกบิลด์ถูกออกแบบมาให้รันผ่าน Strata บนการ์ดจอที่มี VRAM เพียง 12 GB ได้ แม้ว่าตัวโมเดลจะยังมีขนาดใหญ่ก็ตาม

✨ จุดเด่น

  • ขนาดโมเดล — โมเดลผสมผู้เชี่ยวชาญขนาด 763.2B parameters พร้อมรองรับ 1 ล้านโทเค็น context window
  • เทคนิคการบีบอัด — ใช้ GSQ และ RCO จัดสรรการบีบอัดแบบจำแนกตามเทนเซอร์เพื่อรักษาประสิทธิภาพสูงสุด
  • ประหยัดทรัพยากร — ทุกบิลด์สามารถรันบนการ์ดจอตัวเดียวที่มี VRAM 12 GB ผ่าน Strata Engine
  • ผลทดสอบสูง — บิลด์ IQ2_XXS ทำคะแนนรวมเทียบเท่าโมเดลฐานเดิมได้ 100.0%

🙋 ใครเหมาะจะลอง: เหมาะสำหรับนักพัฒนาหรือผู้สนใจทดลองรันโมเดลภาษาขนาดใหญ่ระดับ 763B บนฮาร์ดแวร์จำกัด โดยต้องใช้งานร่วมกับ Strata Engine และจัดเก็บไฟล์ Engram ไว้ในไดเรกทอรีเดียวกันบน SSD

ดูโมเดลบน Hugging Face →

ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF — รายละเอียดล่าสุดดูที่ต้นทาง

#DeepSeek #GGUF #HuggingFace

🔗 อ่านต่อ · สินค้าและคำถามที่เกี่ยวข้อง

สินค้ามาแรงตอนนี้

คนขายของถามบ่อย

ความคิดเห็น 0

กำลังโหลดความคิดเห็น...