Google พัฒนาแอป Gemini บน Mac ครั้งใหญ่ เพิ่มฟีเจอร์ควบคุมหน้าจอคลิกและพิมพ์งานในแอปพลิเคชันเดสก์ท็อปและเว็บไซต์แทนผู้ใช้ได้อัตโนมัติ ช่วยให้ทำงานหลายขั้นตอนที่ซับซ้อนได้สะดวกรวดเร็วยิ่งขึ้น

เกิดอะไรขึ้น
Google ประกาศอัปเกรดแอป Gemini บน Mac ครั้งสำคัญ ด้วยการเพิ่มความสามารถด้าน Computer Use ที่ช่วยให้ AI สามารถทำงานข้ามระหว่างแอปพลิเคชันบนเดสก์ท็อปในเครื่องและบนเว็บไซต์ได้ จากเดิมที่ฟังก์ชัน Task (หรือชื่อเดิม Gemini Spark) ทำได้เพียงเข้าถึงไฟล์ในเครื่องร่วมกับแอปที่เชื่อมต่ออย่าง Gmail หรือ Google Calendar เท่านั้น แต่ความสามารถใหม่นี้ทำให้ Gemini สามารถคลิกและพิมพ์งานแทนผู้ใช้เพื่อจัดการกับงานหลายขั้นตอนได้ เช่น การกดเมนูนำทางและการกรอกแบบฟอร์มต่างๆ
ในด้านการทำงานและการแสดงผล Gemini จะทำงานอยู่ในหน้าต่างเบื้องหลังแบบแยกส่วน (isolated background window) พร้อมมีหน้าจอแสดงผลสดๆ ให้ดูได้ทันทีในช่องแชท ส่งผลให้หน้าจอหลักและเมาส์ของผู้ใช้ยังคงว่างและสามารถใช้งานได้ตามปกติระหว่างที่ AI กำลังทำงาน นอกจากนี้ยังมีระบบความปลอดภัยที่ผู้ใช้สามารถสั่งหยุดการทำงานของ Gemini ได้ทันทีด้วยการคลิกเพียงครั้งเดียว รวมถึงเป็นผู้เลือกเองว่าต้องการให้ Gemini เข้าถึงแอปใดบ้าง
สำหรับมาตรการป้องกันความปลอดภัยเพิ่มเติม Google ได้กำหนดให้ระบบหยุดการทำงานชั่วคราวเมื่อเจอหน้าจอเข้าสู่ระบบ (Logins) และการชำระเงิน (Payments) รวมถึงต้องมีการยืนยันจากผู้ใช้ก่อนทำ1ธุรกรรมที่มีความอ่อนไหว เนื่องจากงานประจำวันจำนวนมากมكنต้องทำผ่านแอปเดสก์ท็อปและเว็บไซต์ที่ไม่สามารถเชื่อมต่อถึงกันได้ ฟังก์ชัน Computer Use จึงเข้ามาช่วยจัดการขั้นตอนที่น่าเบื่อเหล่านี้ในเบื้องหลัง เพื่อช่วยประหยัดเวลาโดยที่ผู้ใช้ไม่ต้องเสียการควบคุมหน้าจอหรือเคอร์เซอร์ของตัวเอง
วิธีการใช้งานสามารถทำได้ง่ายๆ โดยการพิมพ์คำสั่งเรียกใช้ @Computer use ในช่องข้อความ นอกจากนี้เมื่อเข้าไปที่เมนู Customize > Connectors จะพบว่ามีแอปพลิเคชันเดสก์ท็อปหมวดหมู่ Desktop ใหม่ๆ เช่น Blender และ Autodesk Fusion เพิ่มเข้ามาใช้งานร่วมกับการเชื่อมต่อ Git และ Obsidian ที่มีอยู่เดิมแล้ว
ประเด็นสำคัญ
- แอป Gemini บน Mac เพิ่มฟีเจอร์ Computer Use ควบคุมแอปเดสก์ท็อปและเว็บแทนผู้ใช้
- สามารถคลิก พิมพ์งาน นำทางเมนู และกรอกแบบฟอร์มหลายขั้นตอนให้โดยอัตโนมัติ
- ทำงานในหน้าต่างเบื้องหลังแบบแยกส่วน ผู้ใช้ยังใช้หน้าจอและเมาส์หลักได้ตามปกติ
- ปลอดภัยด้วยระบบหยุดการทำงานอัตโนมัติเมื่อเจอหน้าล็อกอิน การชำระเงิน และข้อมูลอ่อนไหว
- เพิ่มการรองรับแอปเดสก์ท็อปใหม่ เช่น Blender และ Autodesk Fusion ผ่านเมนูเชื่อมต่อ

มุมคิด ชวนคุยต่อ
การที่แอป Gemini บน Mac เพิ่มความสามารถสั่งงานแอปเดสก์ท็อปได้ มันไม่ใช่แค่เรื่องเพิ่มปุ่มลัดธรรมดา แต่กำลังบอกทิศทางใหม่ของการทำงานระหว่างคนกับซอฟต์แวร์ที่น่าสนใจมาก
เดิมทีฟีเจอร์เดิมในแอป Mac ทำได้แค่ดึงข้อมูลจากไฟล์ในเครื่องผ่านการเชื่อมต่อกับ Gmail หรือ Google Calendar แต่รอบนี้ขยับไปถึงขั้นที่เรียกว่า computer use ซึ่งทำให้ระบบสามารถคลิกและพิมพ์หน้าจอแทนเราเพื่อทำภารกิจหลายขั้นตอนได้ทั้งบนเว็บและแอปในเครื่อง
จุดที่ต่างจากเดิมคือมันทำงานอยู่ในหน้าต่างเบื้องหลังแบบแยกส่วน พร้อมมีหน้าจอพรีวิวให้ดูสดๆ ในแอปแชท โดยที่หน้าจอหลักและเคอร์เซอร์ของเรายังใช้งานพิมพ์งานอื่นต่อได้ทันทีไม่ต้องรอ
พอมันขยับมาทำแบบนี้ได้ เหตุผลที่มันสำคัญคือเพราะปกติแอปพลิเคชันส่วนใหญ่ไม่ได้คุยกันเอง การจะดึงข้อมูลจากโปรแกรมหนึ่งไปใส่ 3D ใน Blender หรือ Autodesk Fusion ต้องผ่านการก๊อปปี้วางเองหลายรอบ แต่พอมีตัวช่วยที่กดหน้าจอแทนในเบื้องหลังได้ งานที่เคยต้องสลับหน้าจอไปมาจึงถูกรวบมาสั่งผ่านข้อความเดียวได้ทันที
ถ้าเรื่องแบบนี้กลายเป็นมาตรฐาน ซอฟต์แวร์เดสก์ท็อปในอนาคตอาจจะไม่ต้องเสียเวลาทำระบบเชื่อมต่อ API กับใครอีกต่อไป เพราะปล่อยให้ระบบจำลองการคลิกหน้าจอจัดการเองได้หมด จนหน้าตาของโปรแกรมอาจจะเปลี่ยนรูปแบบไปเพราะถูกออกแบบมาให้ AI อ่านและกดใช้งานได้ง่ายแทนที่จะเน้นให้แค่มนุษย์อ่านออก
ที่เขาบอกว่าเรายังคุมหน้าจอหลักได้ปกติและสั่งหยุดได้ทันที จะเชื่อได้จริงก็ต่อเมื่อเรามั่นใจว่าระบบเบื้องหลังจะไม่กินแรมจนเครื่องสะดุด และความแม่นยำในการคลิกตำแหน่งบนหน้าจอจะไม่มีวันพลาดในจังหวะสำคัญ
บางคนอาจจะเถียงว่าใช้คีย์ลัดหรือมารโครกดเองยังเร็วกว่ามานั่งพิมพ์บอก AI เสียอีก ส่วนตัวยังมองว่ามันตอบโจทย์งานที่ซับซ้อนเกินกว่ามารโครทั่วไปจะทำได้ แต่ก็ไม่ใช่ว่าทุกคนจะต้องเปิดใช้กับทุกงาน
ถ้าวันไหนคุณต้องทำโปรเจกต์ที่ต้องย้ายไฟล์จากโฟลเดอร์ในเครื่องไปจัดระเบียบใน Blender พร้อมกับกรอกฟอร์มบนเว็บไปด้วย ลองพิมพ์เรียกใช้งานผ่าน @Computer use เพื่อให้มันช่วยจัดการขั้นตอนน่าเบื่อพวกนี้ในเบื้องหลังระหว่างที่คุณกำลังโฟกัสกับงานออกแบบหลัก
สิ่งที่เรายังไม่รู้แน่ชัดคือ ถ้าแอปในเครื่องมีการอัปเดตหน้าตาปุ่มกดกะทันหัน ระบบพรีวิวเบื้องหลังจะยังหาตำแหน่งคลิกเจอถูกต้องเหมือนเดิมไหม หรือจะกดผิดโปรแกรมจนเละ
สัญญาณที่จะบอกว่าฟีเจอร์นี้รอดหรือแป้กในอีกไม่กี่เดือนข้างหน้า คือการที่คนยอมเปิดใช้งานจริงในชีวิตประจำวัน หรือสุดท้ายก็ปิดทิ้งเพราะรำคาญเวลาที่มันคลิกไม่ตรงจุด
ถามมุมกลับ: มีเหตุผลอะไรที่การให้ AI มาคลิกหน้าจอเดสก์ท็อปแทนเรา อาจจะสร้างภาระมากกว่าช่วยประหยัดเวลาในมุมมองของการทำงานจริง?
คำถามที่หลายคนสงสัย
ฟีเจอร์ Computer Use ใน Gemini บน Mac คืออะไร
เป็นความสามารถใหม่ที่ทำให้ AI สามารถคลิก พิมพ์งาน และควบคุมแอปพลิเคชันบนเดสก์ท็อปหรือเว็บไซต์แทนผู้ใช้ เพื่อจัดการงานหลายขั้นตอนให้เสร็จโดยอัตโนมัติ
ในขณะที่ Gemini กำลังทำงาน เรายังสามารถใช้คอมพิวเตอร์ของเราได้ปกติไหม
ใช้งานได้ปกติ เพราะ Gemini จะทำงานในหน้าต่างเบื้องหลังแบบแยกส่วน พร้อมมีหน้าจอแสดงผลให้ดูในแชท โดยที่หน้าจอหลักและเมาส์ของผู้ใช้ยังว่างอยู่
ระบบมีความปลอดภัยแค่ไหนเมื่อต้องกรอกข้อมูลส่วนตัวหรือรหัสผ่าน
Google ออกแบบให้ระบบหยุดการทำงานชั่วคราวเมื่อเจอหน้าจอเข้าสู่ระบบและหน้าชำระเงิน รวมถึงต้องมีการยืนยันจากผู้ใช้ก่อนทำรายการที่มีความอ่อนไหวเสมอ
วิธีเรียกใช้งานฟีเจอร์นี้ต้องทำอย่างไร
สามารถเรียกใช้งานได้โดยพิมพ์คำสั่ง @Computer use ลงในช่องพิมพ์ข้อความของแอปพลิเคชัน
ที่มาข่าว
ข่าวที่เกี่ยวข้อง
- อัปเดตวงการ AI: Muse AI จาก Meta เจอดราม่าความเป็นส่วนตัว, Google อัปเกรด Gemini และ Canva เพิ่มปุ่มซ่อน AI
- สรุปข่าว AI: Suno เปิดตัวฟีเจอร์ Visuals, Google Gemini อัปเดตหน่วยความจำ และ Instagram เพิ่มระบบตรวจจับคลิป AI
- Google Gemini เปิดตัวฟีเจอร์ Channels สั่งงานผ่าน Email และ iMessage หรือ Google Messages ได้ทันที
- Google อัปเดต Ask Maps ขับเคลื่อนด้วย Gemini เพิ่มความสามารถโทรจองคิวและวางแผนเดินทาง
คุยต่อ ถาม-ตอบ แชร์ Prompt ได้ที่กลุ่ม Claude ชุมชน Ai Thailand
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...