โปรเจกต์โอเพนซอร์สที่เชื่อมโมเดล Vision เข้ากับ iPhone โดยไม่ต้องเจลเบรก ไม่ต้องใช้ Mac หรือบัญชีนักพัฒนาของ Apple
ปกติแล้วการเขียนโปรแกรมควบคุม iPhone อัตโนมัติมักต้องพึ่งพา XCTest หรือ WebDriverAgent ซึ่งจำเป็นต้องมีคอมพิวเตอร์ Mac, โปรแกรม Xcode รวมถึงบัญชีนักพัฒนาของ Apple เพื่อเซ็นรับรองแอป แต่โปรเจกต์ ESP32 iPhone Agent เลือกแก้ปัญหานี้ด้วยวิธีใหม่ โดยปล่อยให้ AI โต้ตอบกับมือถือผ่านหน้าจอและตัวชี้เมาส์เหมือนกับการใช้งานของมนุษย์ ทำให้ไม่ต้องติดตั้งแอปใดๆ ลงบนเครื่อง และไม่ต้องเจลเบรก
ระบบการทำงานแบ่งออกเป็น 3 ส่วนหลัก ส่วนดวงตาใช้การสะท้อนหน้าจอผ่าน AirPlay เข้าสู่คอมพิวเตอร์เพื่อแปลงเป็นภาพเฟรม ส่วนสมองรองรับโมเดลสาย Vision ใดก็ได้ที่ใช้รูปแบบคำสั่งแบบ OpenAI-compatible คอยวางแผนและสั่งการ และส่วนมือใช้บอร์ด ESP32-S3 ราคาประมาณ 7 ดอลลาร์ เสียบเข้าช่องต่อ USB ของ iPhone โดยตรงเพื่อจำลองตัวเองเป็นเมาส์และคีย์บอร์ด ทำงานร่วมกับฟังก์ชัน AssistiveTouch ของ iOS ในการแตะ ปัด หรือพิมพ์ข้อความ
ตัวระบบยังมาพร้อมหน้าเว็บ UI ที่แสดงหน้าจอสด ล็อกการตัดสินใจของโมเดล และระบบตรวจจับการเคลื่อนไหวเพื่อแก้อาการแตะพลาดอย่างต่อเนื่อง ความเรียบง่ายที่ไม่ต้องพึ่งพาชุดเครื่องมือซับซ้อนของ Apple ทำให้โปรเจกต์นี้ได้รับความสนใจอย่างรวดเร็ว โดยทำสถิติได้ไปถึง 1,005 ดาวบน GitHub ภายในเวลาเพียง 2 วันหลังเปิดตัว และขึ้นสู่อันดับ 1 ในหมวดคลังโค้ด AI ใหม่ของสัปดาห์นี้
✨ จุดเด่น
- ไม่ต้องใช้ Mac หรือบัญชีนักพัฒนา — สั่งงานผ่านหน้าจอและตัวชี้เมาส์ จึงรันระบบเซิร์ฟเวอร์บน Linux หรือ macOS ได้โดยไม่ต้องติดตั้งแอปเสริมบนโทรศัพท์
- ฮาร์ดแวร์ราคาประหยัด — ใช้เพียงบอร์ด ESP32-S3 ราคาประมาณ 7 ดอลลาร์ เสียบเข้าพอร์ต USB เพื่อทำหน้าที่เป็นเมาส์และคีย์บอร์ดเสมือน
- รองรับโมเดลหลากหลาย — เลือกใช้โมเดลสาย Vision ใดก็ได้ที่รองรับ OpenAI-compatible API ไม่ว่าจะเป็นโมเดลบนคลาวด์หรือโมเดลที่เปิดรันเองในเครื่อง
- เว็บ UI ควบคุมและติดตามผล — มีหน้าจอสดแสดงเส้นทางการแตะ ล็อกความคิดของโมเดลทีละขั้นตอน และปุ่มหยุดทำงานฉุกเฉินได้ทันที
🙋 ใครเหมาะจะลอง: เหมาะสำหรับนักพัฒนาและผู้ที่สนใจระบบจำลองการทำงานบนสมาร์ตโฟน โดยต้องมี iPhone, บอร์ด ESP32-S3, คอมพิวเตอร์ระบบ macOS หรือ Linux ที่อยู่ในเครือข่าย Wi-Fi เดียวกัน และคีย์เชื่อมต่อโมเดล Vision ที่รองรับ OpenAI-compatible API
ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ onehumanbeing/esp32-iphone-agent — รายละเอียดล่าสุดดูที่ต้นทาง
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...