Lanlom ZX 24 นาทีที่แล้ว general AI Generated

Google อัปเดตแอป Gemini บน Mac เพิ่มความสามารถ Computer Use สั่งงานแอปเดสก์ท็อปและเว็บแทนผู้ใช้ได้

เกี่ยวกับ Anthropic
100/100
7 34m

Google พัฒนาแอป Gemini บน Mac ครั้งใหญ่ เพิ่มฟีเจอร์ควบคุมหน้าจอคลิกและพิมพ์งานในแอปพลิเคชันเดสก์ท็อปและเว็บไซต์แทนผู้ใช้ได้อัตโนมัติ ช่วยให้ทำงานหลายขั้นตอนที่ซับซ้อนได้สะดวกรวดเร็วยิ่งขึ้น

Google อัปเดตแอป Gemini บน Mac เพิ่มความสามารถ Computer Use สั่งงานแอปเดสก์ท็อปและเว็บแทนผู้ใช้ได้

เกิดอะไรขึ้น

Google ประกาศอัปเกรดแอป Gemini บน Mac ครั้งสำคัญ ด้วยการเพิ่มความสามารถด้าน Computer Use ที่ช่วยให้ AI สามารถทำงานข้ามระหว่างแอปพลิเคชันบนเดสก์ท็อปในเครื่องและบนเว็บไซต์ได้ จากเดิมที่ฟังก์ชัน Task (หรือชื่อเดิม Gemini Spark) ทำได้เพียงเข้าถึงไฟล์ในเครื่องร่วมกับแอปที่เชื่อมต่ออย่าง Gmail หรือ Google Calendar เท่านั้น แต่ความสามารถใหม่นี้ทำให้ Gemini สามารถคลิกและพิมพ์งานแทนผู้ใช้เพื่อจัดการกับงานหลายขั้นตอนได้ เช่น การกดเมนูนำทางและการกรอกแบบฟอร์มต่างๆ

ในด้านการทำงานและการแสดงผล Gemini จะทำงานอยู่ในหน้าต่างเบื้องหลังแบบแยกส่วน (isolated background window) พร้อมมีหน้าจอแสดงผลสดๆ ให้ดูได้ทันทีในช่องแชท ส่งผลให้หน้าจอหลักและเมาส์ของผู้ใช้ยังคงว่างและสามารถใช้งานได้ตามปกติระหว่างที่ AI กำลังทำงาน นอกจากนี้ยังมีระบบความปลอดภัยที่ผู้ใช้สามารถสั่งหยุดการทำงานของ Gemini ได้ทันทีด้วยการคลิกเพียงครั้งเดียว รวมถึงเป็นผู้เลือกเองว่าต้องการให้ Gemini เข้าถึงแอปใดบ้าง

สำหรับมาตรการป้องกันความปลอดภัยเพิ่มเติม Google ได้กำหนดให้ระบบหยุดการทำงานชั่วคราวเมื่อเจอหน้าจอเข้าสู่ระบบ (Logins) และการชำระเงิน (Payments) รวมถึงต้องมีการยืนยันจากผู้ใช้ก่อนทำ1ธุรกรรมที่มีความอ่อนไหว เนื่องจากงานประจำวันจำนวนมากมكنต้องทำผ่านแอปเดสก์ท็อปและเว็บไซต์ที่ไม่สามารถเชื่อมต่อถึงกันได้ ฟังก์ชัน Computer Use จึงเข้ามาช่วยจัดการขั้นตอนที่น่าเบื่อเหล่านี้ในเบื้องหลัง เพื่อช่วยประหยัดเวลาโดยที่ผู้ใช้ไม่ต้องเสียการควบคุมหน้าจอหรือเคอร์เซอร์ของตัวเอง

วิธีการใช้งานสามารถทำได้ง่ายๆ โดยการพิมพ์คำสั่งเรียกใช้ @Computer use ในช่องข้อความ นอกจากนี้เมื่อเข้าไปที่เมนู Customize > Connectors จะพบว่ามีแอปพลิเคชันเดสก์ท็อปหมวดหมู่ Desktop ใหม่ๆ เช่น Blender และ Autodesk Fusion เพิ่มเข้ามาใช้งานร่วมกับการเชื่อมต่อ Git และ Obsidian ที่มีอยู่เดิมแล้ว

ประเด็นสำคัญ

  • แอป Gemini บน Mac เพิ่มฟีเจอร์ Computer Use ควบคุมแอปเดสก์ท็อปและเว็บแทนผู้ใช้
  • สามารถคลิก พิมพ์งาน นำทางเมนู และกรอกแบบฟอร์มหลายขั้นตอนให้โดยอัตโนมัติ
  • ทำงานในหน้าต่างเบื้องหลังแบบแยกส่วน ผู้ใช้ยังใช้หน้าจอและเมาส์หลักได้ตามปกติ
  • ปลอดภัยด้วยระบบหยุดการทำงานอัตโนมัติเมื่อเจอหน้าล็อกอิน การชำระเงิน และข้อมูลอ่อนไหว
  • เพิ่มการรองรับแอปเดสก์ท็อปใหม่ เช่น Blender และ Autodesk Fusion ผ่านเมนูเชื่อมต่อ
Google อัปเดตแอป Gemini บน Mac เพิ่มความสามารถ Computer Use สั่งงานแอปเดสก์ท็อปและเว็บแทนผู้ใช้ได้

มุมคิด ชวนคุยต่อ

การที่แอป Gemini บน Mac เพิ่มความสามารถสั่งงานแอปเดสก์ท็อปได้ มันไม่ใช่แค่เรื่องเพิ่มปุ่มลัดธรรมดา แต่กำลังบอกทิศทางใหม่ของการทำงานระหว่างคนกับซอฟต์แวร์ที่น่าสนใจมาก

เดิมทีฟีเจอร์เดิมในแอป Mac ทำได้แค่ดึงข้อมูลจากไฟล์ในเครื่องผ่านการเชื่อมต่อกับ Gmail หรือ Google Calendar แต่รอบนี้ขยับไปถึงขั้นที่เรียกว่า computer use ซึ่งทำให้ระบบสามารถคลิกและพิมพ์หน้าจอแทนเราเพื่อทำภารกิจหลายขั้นตอนได้ทั้งบนเว็บและแอปในเครื่อง

จุดที่ต่างจากเดิมคือมันทำงานอยู่ในหน้าต่างเบื้องหลังแบบแยกส่วน พร้อมมีหน้าจอพรีวิวให้ดูสดๆ ในแอปแชท โดยที่หน้าจอหลักและเคอร์เซอร์ของเรายังใช้งานพิมพ์งานอื่นต่อได้ทันทีไม่ต้องรอ

พอมันขยับมาทำแบบนี้ได้ เหตุผลที่มันสำคัญคือเพราะปกติแอปพลิเคชันส่วนใหญ่ไม่ได้คุยกันเอง การจะดึงข้อมูลจากโปรแกรมหนึ่งไปใส่ 3D ใน Blender หรือ Autodesk Fusion ต้องผ่านการก๊อปปี้วางเองหลายรอบ แต่พอมีตัวช่วยที่กดหน้าจอแทนในเบื้องหลังได้ งานที่เคยต้องสลับหน้าจอไปมาจึงถูกรวบมาสั่งผ่านข้อความเดียวได้ทันที

ถ้าเรื่องแบบนี้กลายเป็นมาตรฐาน ซอฟต์แวร์เดสก์ท็อปในอนาคตอาจจะไม่ต้องเสียเวลาทำระบบเชื่อมต่อ API กับใครอีกต่อไป เพราะปล่อยให้ระบบจำลองการคลิกหน้าจอจัดการเองได้หมด จนหน้าตาของโปรแกรมอาจจะเปลี่ยนรูปแบบไปเพราะถูกออกแบบมาให้ AI อ่านและกดใช้งานได้ง่ายแทนที่จะเน้นให้แค่มนุษย์อ่านออก

ที่เขาบอกว่าเรายังคุมหน้าจอหลักได้ปกติและสั่งหยุดได้ทันที จะเชื่อได้จริงก็ต่อเมื่อเรามั่นใจว่าระบบเบื้องหลังจะไม่กินแรมจนเครื่องสะดุด และความแม่นยำในการคลิกตำแหน่งบนหน้าจอจะไม่มีวันพลาดในจังหวะสำคัญ

บางคนอาจจะเถียงว่าใช้คีย์ลัดหรือมารโครกดเองยังเร็วกว่ามานั่งพิมพ์บอก AI เสียอีก ส่วนตัวยังมองว่ามันตอบโจทย์งานที่ซับซ้อนเกินกว่ามารโครทั่วไปจะทำได้ แต่ก็ไม่ใช่ว่าทุกคนจะต้องเปิดใช้กับทุกงาน

ถ้าวันไหนคุณต้องทำโปรเจกต์ที่ต้องย้ายไฟล์จากโฟลเดอร์ในเครื่องไปจัดระเบียบใน Blender พร้อมกับกรอกฟอร์มบนเว็บไปด้วย ลองพิมพ์เรียกใช้งานผ่าน @Computer use เพื่อให้มันช่วยจัดการขั้นตอนน่าเบื่อพวกนี้ในเบื้องหลังระหว่างที่คุณกำลังโฟกัสกับงานออกแบบหลัก

สิ่งที่เรายังไม่รู้แน่ชัดคือ ถ้าแอปในเครื่องมีการอัปเดตหน้าตาปุ่มกดกะทันหัน ระบบพรีวิวเบื้องหลังจะยังหาตำแหน่งคลิกเจอถูกต้องเหมือนเดิมไหม หรือจะกดผิดโปรแกรมจนเละ

สัญญาณที่จะบอกว่าฟีเจอร์นี้รอดหรือแป้กในอีกไม่กี่เดือนข้างหน้า คือการที่คนยอมเปิดใช้งานจริงในชีวิตประจำวัน หรือสุดท้ายก็ปิดทิ้งเพราะรำคาญเวลาที่มันคลิกไม่ตรงจุด

ถามมุมกลับ: มีเหตุผลอะไรที่การให้ AI มาคลิกหน้าจอเดสก์ท็อปแทนเรา อาจจะสร้างภาระมากกว่าช่วยประหยัดเวลาในมุมมองของการทำงานจริง?

คำถามที่หลายคนสงสัย

ฟีเจอร์ Computer Use ใน Gemini บน Mac คืออะไร

เป็นความสามารถใหม่ที่ทำให้ AI สามารถคลิก พิมพ์งาน และควบคุมแอปพลิเคชันบนเดสก์ท็อปหรือเว็บไซต์แทนผู้ใช้ เพื่อจัดการงานหลายขั้นตอนให้เสร็จโดยอัตโนมัติ

ในขณะที่ Gemini กำลังทำงาน เรายังสามารถใช้คอมพิวเตอร์ของเราได้ปกติไหม

ใช้งานได้ปกติ เพราะ Gemini จะทำงานในหน้าต่างเบื้องหลังแบบแยกส่วน พร้อมมีหน้าจอแสดงผลให้ดูในแชท โดยที่หน้าจอหลักและเมาส์ของผู้ใช้ยังว่างอยู่

ระบบมีความปลอดภัยแค่ไหนเมื่อต้องกรอกข้อมูลส่วนตัวหรือรหัสผ่าน

Google ออกแบบให้ระบบหยุดการทำงานชั่วคราวเมื่อเจอหน้าจอเข้าสู่ระบบและหน้าชำระเงิน รวมถึงต้องมีการยืนยันจากผู้ใช้ก่อนทำรายการที่มีความอ่อนไหวเสมอ

วิธีเรียกใช้งานฟีเจอร์นี้ต้องทำอย่างไร

สามารถเรียกใช้งานได้โดยพิมพ์คำสั่ง @Computer use ลงในช่องพิมพ์ข้อความของแอปพลิเคชัน

ที่มาข่าว

ข่าวที่เกี่ยวข้อง

คุยต่อ ถาม-ตอบ แชร์ Prompt ได้ที่กลุ่ม Claude ชุมชน Ai Thailand

#AI #เทคโนโลยี #กระทู้

🔗 อ่านต่อ · สินค้าและคำถามที่เกี่ยวข้อง

สินค้ามาแรงตอนนี้

คนขายของถามบ่อย

ติดตามเอไอไทยได้ทุกช่องทาง
เพจ เอไอไทยกลุ่ม Claude ชุมชน Ai ThailandYouTube เอไอไทยTikTok เอไอไทยIG เอไอไทยThreads เอไอไทยX เอไอไทย

ความคิดเห็น 0

กำลังโหลดความคิดเห็น...