ปลั๊กอินโอเพนซอร์สสำหรับ DSH ที่ช่วยให้ AI มองเห็นหน้าจอคอมพิวเตอร์ของคุณแบบเรียลไทม์ พร้อมระบบกรองเฟรมภาพที่เปลี่ยนแปลงเพื่อช่วยประหยัดค่าใช้จ่าย
โปรเจกต์ dsh-see-now เป็นปลั๊กอินวิทัศน์แบบเรียลไทม์สำหรับ DSH ที่แปลงหน้าจอคอมพิวเตอร์ กล้อง หรือไฟล์วิดีโอของคุณให้กลายเป็นชุดภาพที่ผ่านการคัดกรองความเปลี่ยนแปลงแล้วนำมาต่อรวมกันเป็นภาพเดียวส่งให้โมเดล AI วิเคราะห์ โดยเปิดตัวมาได้ 3 วัน เขียนด้วยภาษา JavaScript และได้รับดาวบน GitHub ไปแล้ว 282 ดวง
หลักการทำงานของระบบคือการคำนวณคะแนนความเปลี่ยนแปลงของแต่ละเฟรมภาพด้วยระบบ 0–255 บนตาราง 64x36 ก่อนตัดสินใจส่งข้อมูล หากหน้าจออยู่นิ่งระบบแทบจะไม่ส่งภาพออกไปเลย แต่หากมีการขยับหรือเปลี่ยนหน้าจอ ระบบจะเลือกเก็บเฉพาะเฟรมที่สำคัญและนำมาต่อรวมกันหลายเฟรมในภาพเดียว ช่วยลดจำนวนรูปภาพที่ต้องส่งไปยัง AI ได้อย่างมีประสิทธิภาพ
โปรเจกต์นี้แก้ปัญหาการดึงภาพหน้าจอแบบเดิมๆ ที่หากตั้งเวลาถี่เกินไปจะทำให้เปลือง Token จนค่าใช้จ่ายพุ่งสูง แต่ถ้าตั้งเวลานานเกินไปก็จะพลาดเหตุการณ์สำคัญระหว่างทาง โดยที่ต้นทุนการส่งภาพความละเอียด 800x450 จะอยู่ที่ประมาณ 233 token ต่อภาพ และการใส่ภาพ 4 หรือ 8 เฟรมรวมกันในรูปเดียวจะมีราคาเท่ากัน
✨ จุดเด่น
- กรองเฟรมอัจฉริยะ — คัดกรองเฉพาะภาพที่มีการเปลี่ยนแปลงหรือเคลื่อนไหวเพื่อส่งให้ AI ช่วยประหยัด Token
- โหมดจับภาพหลากหลาย — รองรับทั้งโหมดหน้าจอนิ่ง โหมดเลื่อนเว็บ โหมดวิดีโอ และโหมดจับภาพทีละฉาก (scene:true)
- รองรับเสียงพากย์และซับไตเติล — สามารถเชื่อมต่อกับระบบ TTS เพื่ออ่านข้อความออกเสียงและถอดเสียงพูดจากระบบได้
- โอเพนซอร์สใช้งานฟรี — อนุญาตภายใต้ Apache License 2.0 ใช้งานได้ทั้งส่วนตัวและเชิงพาณิชย์โดยไม่เสียค่าใช้จ่าย
🙋 ใครเหมาะจะลอง: เหมาะสำหรับนักพัฒนาและผู้ใช้งาน DSH ที่ต้องการให้ AI ช่วยมอนิเตอร์หน้าจอคอมพิวเตอร์โดยควบคุมต้นทุน Token ได้ โดยต้องใช้งานผ่าน DSH และมีเครื่องมือเช่น ffmpeg รวมถึง Python และแพ็กเกจเสริมสำหรับฟังก์ชันเสียง
ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ SAOS-3624/dsh-see-now — รายละเอียดล่าสุดดูที่ต้นทาง
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...