อัปเดตเทคโนโลยี
CLOUD & AI
Google Cloud API Gateway รองรับ Streaming แล้ว สาย AI ไม่ต้องทนรอข้อมูลมาครบก้อนอีกต่อไป
บอกลาท่าแปลกในการทำแชทบอท เมื่อ Google ขยายโครงสร้างพื้นฐานรองรับข้อมูลเรียลไทม์เพื่อฝั่ง AI โดยเฉพาะ
ทีมข่าว เอไอไทย.com
⏱ อ่าน 2 นาที
ถ้า API Gateway ยึดติดกับวิธีส่งข้อมูลแบบเดิมๆ ระบบ AI ในองค์กรคุณก็ไม่มีทางตอบสนองได้เร็วเท่าทันความต้องการผู้ใช้แน่นอน
กวาดสายตาดูฝั่งนักพัฒนาซอฟต์แวร์ที่ทำระบบ AI ตอนนี้ เรื่องนึงที่สร้างความปวดหัวมาตลอดคือระบบด่านหน้าอย่าง API Gateway ที่คอยจัดการ traffic ดันออกแบบมาตามโมเดลRequest-Response ยุคเก่า คือต้องรอให้เซิร์ฟเวอร์ประมวลผลจนเสร็จทั้งก้อนก่อน ถึงจะยอมปล่อยแพ็กเกจข้อมูลกลับมาให้ผู้ใช้
ลองจินตนาการว่าเราคุยกับแชทบอท แล้วต้องนั่งจ้องหน้าจอบ๋องๆ รอ 10 วินาทีเพื่อให้คำตอบยาวๆ โผล่มาทีเดียวพร้อมกัน มันเป็น UX ที่ขัดใจคนใช้งานสุดๆ ในเมื่อโมเดลภาษาขนาดใหญ่ (LLM) ยุคนี้เขาเน้นพ่นคำตอบออกมาทีละคำหรือทีละโทเคนกันหมดแล้ว
ล่าสุด Google Cloud เลยประกาศเปิดตัว Public Preview สำหรับฟีเจอร์ Streaming support บน API Gateway อย่างเป็นทางการ ขยายขีดความสามารถเดิมให้รองรับการส่งข้อมูลแบบต่อเนื่องเรียลไทม์ได้แล้ว ถือเป็นการแก้จุดสลบที่ตรงจุดมากๆ
ถ้ามองในเชิงเทคนิค เรื่องนี้ไม่ใช่แค่การเพิ่มฟีเจอร์กิ๊กก๊อก แต่เป็นการยอมรับความจริงว่าแอปพลิเคชันยุค AI มันใช้วิธีการส่งข้อมูลแบบเดิมไม่ได้แล้ว ที่ผ่านมาเวลานักพัฒนาอยากทำระบบให้พ่นคำตอบแบบเอฟเฟกต์พิมพ์ดีด (Typewriter Effect) มักจะต้องบายพาสข้ามตัว Gateway ไปเลย หรือไม่ก็ต้องต่อท่อตรงเข้าเซิร์ฟเวอร์ ซึ่งทำให้เสียเรื่อง Security การยืนยันตัวตน และการจำกัดปริมาณการใช้งาน (Rate Limiting) ที่ Gateway เคยจัดการให้ไปอย่างน่าเสียดาย
ทาง Google เองระบุชัดเจนว่า การอัปเดตครั้งนี้ตั้งใจทำมาเพื่อรองรับรูปแบบการทำงาน 3 ส่วนหลักๆ ในโลก AI ยุคนี้โดยเฉพาะ:
Streaming Model Responses
การทยอยส่งคำตอบจากโมเดล AI กลับไปที่หน้าจอผู้ใช้ทันทีทีละข้อความ โดยไม่ต้องรอประมวลผลจนจบประโยค
Multi-Step Agent Workflows
ระบบการทำงานของ AI Agent ที่ต้องมีการรับส่งข้อมูล โต้ตอบกันไปมาหลายขั้นตอนต่อเนื่องกันแบบไม่ขาดจังหวะ
Interactive Sessions
เซสชันการสื่อสารแบบโต้ตอบทันที ทั้งงานโต้ตอบด้วยเสียง การประมวลผลวิดีโอสด หรือการคุยกับบอทแบบเรียลไทม์
อันนี้คือสิ่งที่ควรทำมาตั้งนานแล้ว เพราะฝั่งคู่แข่งอย่าง AWS หรือโซลูชันตระกูล Open Source ก็พยายามดันเรื่องนี้กันอยู่ การที่ Google Cloud ขยับตัวตรงนี้ แปลว่าระบบระดับระดับองค์กรจะสามารถสเกลแอป AI โดยไม่ต้องยอมแลกกับเรื่องมาตรการความปลอดภัยของ API อีกต่อไป
ใครที่ถือโปรเจกต์ทำ AI ออโตเมชัน หรือแชทบอทฝั่งองค์กรบน Google Cloud อยู่ ตอนนี้ถือว่ามีเครื่องมือมาตรฐานให้ใช้กันแบบถูกต้องตามตำราสักที ไม่ต้องคอยเขียนโค้ดซับซ้อนเพื่ออ้อมปัญหาแบบเดิมอีกแล้วครับ
นี่คือการอัปเดตโครงสร้างพื้นฐานที่โคตรจำเป็น การทำให้ API Gateway รองรับ Streaming ไม่ใช่แค่เรื่องความเร็วในการแสดงผล แต่คือการปูทางให้การออกแบบ Enterprise AI Architecture ทำได้ถูกต้อง ปลอดภัย และไม่โตแบบทุลักทุเล
ที่มา: InfoQ AI/ML — อ่านต้นฉบับ
ความคิดเห็น 1
กำลังโหลดความคิดเห็น...