โมเดล AI สร้างวิดีโอแบบ autoregressive สองขั้นตอนที่เน้นความเร็วระดับอินเทอร์แอกทีฟ
FastFrames เป็นโปรเจกต์โอเพนซอร์สจาก Apple บนแพลตฟอร์ม Hugging Face ที่มุ่งเน้นการสร้างวิดีโอความละเอียด 480p ที่ความหน่วงระดับอินเทอร์แอกทีฟ โดยมีโมเดลให้เลือกใช้งานสองขนาดคือ FastFrames-S ขนาด 1.3B และ FastFrames-L ขนาด 14B พร้อมทั้งมีเวอร์ชันปรับแต่งของ LingBot 1.3B ที่ทำงานเร็วขึ้น 16 เท่าและรองรับการควบคุมมุมกล้อง
ในส่วนของการทำงาน FastFrames ใช้โมเดลวิดีโอdiffusion แบบสองขั้นตอนที่เป็น autoregressive โดยโมเดล FastFrames-S ทำงานผ่านการประเมิน DiT สองครั้ง, การปรับปรุง KV cache และตัวถอดรหัสพิกเซล ซึ่งใช้เวลาประมวลผลรวมกันเพียง 35.4 มิลลิวินาทีต่อเฟรมบน GPU 1 ตัว ส่วนการสร้างวิดีโอจากข้อความ (T2V) สามารถผลิตวิดีโอความละเอียด 832 × 480 พิกเซล ความยาว 81 เฟรม ที่ 16 เฟรมต่อวินาที
โปรเจกต์นี้กำลังได้รับความสนใจบน Hugging Face โดยติดอันดับ 9 ในหน้ากำลังมาแรง มีผู้กดถูกใจ 212 ครั้ง นอกจากนี้ยังมีโค้ดและน้ำหนักโมเดลสำหรับนำไปใช้งาน การประเมินผลด้วย VBench และการฝึกฝนโมเดล เช่น การกลั่นโมเดลจาก Wan2.1-14B มาเป็น FastFrames-L
✨ จุดเด่น
- ขนาดโมเดล — มีให้เลือกทั้ง FastFrames-S ขนาด 1.3B และ FastFrames-L ขนาด 14B
- ความเร็วสูง — สร้างวิดีโอ 480p ที่ความหน่วงระดับอินเทอร์แอกทีฟ และ FastFrames-S ใช้เวลาประมวลผลรวม 35.4 มิลลิวินาทีต่อเฟรม
- การสร้างวิดีโอ — รองรับการสร้างวิดีโอจากข้อความ (T2V) ขนาด 832 × 480 ที่ 16 fps
- การควบคุมพิเศษ — มีเวอร์ชันปรับแต่งของ LingBot 1.3B ที่ทำงานเร็วกว่าเดิม 16 เท่าและควบคุมมุมกล้องได้
🙋 ใครเหมาะจะลอง: นักพัฒนาและนักวิจัยด้าน AI ที่ใช้งานระบบ Linux x86-64 พร้อมการ์ดจอ NVIDIA และไดรเวอร์ที่รองรับ CUDA 12.8 โดยต้องดาวน์โหลดน้ำหนักโมเดลตามคู่มือเพื่อเริ่มใช้งาน
ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ apple/FastFrames-L — รายละเอียดล่าสุดดูที่ต้นทาง
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...