อัปเดต
AI
Anthropic ปล่อยฟีเจอร์ Message Threads ให้ส่งแค่ข้อความใหม่ ไม่ต้องแบกประวัติแชทยาวเหยียดอีกต่อไป
แก้ปัญหาความหน่วงของ AI แชทยาวครึ่งล้านโทเค็นด้วยการส่งแค่ส่วนต่าง
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
AI ยิ่งความจำดียิ่งช้า การแก้ปัญหาที่ปลายทางด้วยฟีเจอร์ Thread อันนี้คือสิ่งที่คนทำระบบเอเจนต์รอคอยมานาน
คนที่ใช้ AI คุยกับโปรเจกต์ยาวๆ หรือเขียนโค้ดผ่านเอเจนต์น่าจะรู้ซึ้งถึงความทรมานเวลาที่ระบบมันเริ่มอืดขึ้นเรื่อยๆ ทุกครั้งที่เราส่งข้อความใหม่ ตัวระบบไม่ได้ฉลาดแค่จำอันใหม่ แต่มันต้องแบกประวัติการสนทนาทั้งหมดวนกลับไปประมวลผลใหม่ซ้ำแล้วซ้ำเล่าในทุกเทิร์น จนบางทีนั่งรอจนหลับ
ล่าสุด Anthropic เค้าเลยแก้เกมด้วยการเข็นฟีเจอร์ใหม่ชื่อ Message Threads ออกมาให้อยู่ในสถานะ public beta เรียบร้อยแล้ว ผ่าน Messages API พูดง่ายๆ คือมันเลิกบังคับให้เราส่งประวัติแชทยาวเหยียดก้อนเดิมวนไปวนมาทุกรอบสักที
วิธีการทำงานของมันคือ เราส่งบทสนทนาแบบเต็มๆ แค่ครั้งแรกครั้งเดียวพอ หลังจากนั้นเวลาจะคุยต่อ ให้ส่งแค่ข้อความใหม่พ่วงกับไอดีการตอบกลับล่าสุดไปก็พอ ตัวระบบฝั่งโน้นเขาจะจำบริบทเดิมไว้ให้เอง เราเลยตัดภาระการส่งข้อมูลซ้ำซ้อนออกไปได้โขเลยทีเดียว
ประเด็นที่น่าสนใจคือเรื่องตัวเลขความเร็วที่ Anthropic เคลมไว้ สำหรับงานที่หนักหน่วงจริงๆ อย่างพวกที่มีบริบทสะสมอยู่ระหว่าง 500,000 ถึง 1 ล้านโทเค็น ค่ามัธยฐานของเวลาในการรอคำตอบแรก หรือ median time to first token มันดิ่งลงไปประมาณ 35 เปอร์เซ็นต์ ซึ่งตรงนี้แหละที่ตอบโจทย์พวกเอเจนต์ที่รันงานยาวๆ ต่อเนื่อง
แต่ต้องเคลียร์ให้ชัดก่อนว่า อันนี้มันทำมาเพื่อแก้ปัญหาความหน่วงล้วนๆ ไม่ได้แปลว่าจะช่วยให้ประหยัดเงินในกระเป๋า เพราะเรื่องค่าใช้จ่ายเรื่องโทเค็นและข้อจำกัดอัตราการใช้งานยังคงคิดเรตเดิมเป๊ะๆ โทเค็นที่ใช้รวมทั้งหมดไม่ได้ลดลง แค่เราส่งมันน้อยลงในแต่ละครั้งแค่นั้นเอง
อายุของ Thread
เธรดหนึ่งอันจะมีอายุอยู่ได้แค่ 5 นาทีหลังจากคำขอสุดท้าย ถ้าปล่อยทิ้งไว้นานเกินกว่านั้น ระบบจะตัดจบแล้วฝั่งไคลเอนต์จะต้องส่งบทสนทนาทั้งหมดใหม่อีกรอบเพื่อเริ่มเธรดใหม่
ช่องทางการใช้งาน
ตอนนี้เปิดให้ใช้แบบ public beta ทั้งบน Claude Platform, ผ่าน AWS, Microsoft Foundry และ Google Cloud แถมทาง Claude Code เขาก็เปิดใช้งานเป็นค่าเริ่มต้นมาให้เรียบร้อยแล้วด้วย
ตอนนี้หลายคนในวงการนักพัฒนาเลยเริ่มตั้งคำถามเหมือนกันว่า กฎเหล็กเรื่องเวลาหมดอายุ 5 นาทีเนี่ย มันจะไปสร้างปัญหาอะไรให้กับการทำงานที่ต้องเรียกใช้เครื่องมือช้าๆ หรือเปล่า เพราะถ้าเอเจนต์ตัวไหนเกิดติดคอคิดนานเกิน 5 นาที เธรดนั้นก็ปลิวและต้องส่งข้อมูลใหม่ทั้งหมดอยู่ดี
การขยับตัวครั้งนี้แสดงให้เห็นว่า Anthropic มองเห็นคอขวดที่แท้จริงของการใช้งาน AI ระยะยาว การลดความหน่วงด้วยสถาปัตยกรรมแบบนี้มีประโยชน์กว่าการรอให้โมเดลประมวลผลเร็วขึ้นเฉยๆ เสียอีก
ที่มา: Reddit r/ClaudeAI — อ่านต้นฉบับ
ความคิดเห็น 1
กำลังโหลดความคิดเห็น...