เจาะประเด็น
AI / Research
Meta จับมือ MIT กับ UW ปล่อยไอเดียใหม่ ให้โมเดลจัดการ context ตัวเองแทนที่จะรอระบบภายนอก
แนวคิด Context Language Models เปิดทางให้โมเดลเลือกเองว่าจะจำอะไร ทิ้งอะไร และดึงอะไรกลับมา แทนที่จะพึ่งกลไกสำเร็จรูป
ทีมข่าว เอไอไทย.com
⏱ อ่าน 4 นาที
ถ้าโมเดลรู้จักตัด context ของตัวเองได้ คำถามคือเรายังต้องออกแบบระบบ summarization ให้มันอีกไหม
นี่คือโจทย์ที่ทีมวิจัยจาก Meta, MIT และ University of Washington กำลังพยายามตอบ พวกเขาเสนอแนวทางที่เรียกว่า Context Language Models หรือ CLMs — แนวคิดที่ให้ตัวโมเดลภาษาจัดการและแก้ไข context ของตัวเองได้ แทนที่จะรอให้ระบบภายนอกคอยสรุป ย่อ หรือดึงข้อมูลให้
ถ้าใครเคยเล่นพวกแชทบอทที่ต้องมีระบบ RAG คอยดึงเอกสาร หรือมี pipeline คอย summarize ประวัติการคุยก่อนป้อนกลับเข้าโมเดล อันนี้คือจุดที่งานวิจัยนี้เข้ามาท้าทายของเดิมตรงๆ เพราะปกติแล้วกลไกพวกนี้ถูกกำหนดไว้ล่วงหน้า ตายตัว ไม่ยืดหยุ่นตามสถานการณ์
CLMs เกิดจากความพยายามแก้ปัญหาที่วงการ AI เจอมาตลอด นั่นคือ context window มีจำกัด แต่ข้อมูลที่อยากให้โมเดลจำมันเยอะกว่าที่ใส่ได้ วิธีที่คนส่วนใหญ่ใช้ตอนนี้คือตัดทิ้งบ้าง ย่อบ้าง หรือดึงเฉพาะส่วนที่คิดว่าเกี่ยว แต่ทั้งหมดนี้ต้องมีคนออกแบบกลไกไว้ก่อน ไม่ใช่ให้โมเดลตัดสินใจเอง
ทีมวิจัยเลยเสนอให้โมเดลเป็นคนจัดการ context ตัวเอง — มันเลือกได้ว่าจะเก็บอะไรไว้ ทิ้งอะไรไป และดึงอะไรกลับมาตอนไหน ฟังดูเหมือนเรื่องเล็ก แต่จริงๆ แล้วมันเปลี่ยนบทบาทของโมเดลจาก "ผู้รับ context" เป็น "ผู้ดูแล context" ไปเลย
สิ่งที่ทีมวิจัยรายงานคือได้ทั้งประสิทธิภาพที่ดีขึ้นและต้นทุนการคำนวณที่ลดลง — สองอย่างพร้อมกัน ซึ่งปกติแล้วสองอย่างนี้มักแลกกัน อยากได้ performance ดีก็ต้องจ่าย compute เพิ่ม แต่นี่คือจุดที่น่าสนใจของงานนี้
การลดต้นทุน compute ไม่ใช่เรื่องเล่นๆ ในยุคที่ค่า GPU แพงจนบริษัทหลายแห่งต้องทบทวนว่าจะเทรนโมเดลใหญ่ต่อไปไหม ถ้าแนวทางนี้ใช้ได้จริงในวงกว้าง มันอาจหมายความว่าเราไม่จำเป็นต้องยัด context เยอะๆ เข้าไปในทุกครั้งที่เรียกโมเดล แต่ปล่อยให้มันเลือกเองว่าอะไรสำคัญ
ส่วนตัวผมมองว่างานนี้ฉลาดตรงที่มันไม่ได้พยายามชนเพดาน context window ให้ใหญ่ขึ้นเรื่อยๆ แบบที่หลายเจ้ากำลังแข่งกันอยู่ แต่หันมาแก้ที่ "วิธีใช้ context" แทน ซึ่งเป็นมุมที่หลายคนมองข้ามไป เพราะมัวแต่สนใจตัวเลข token ว่าบริษัทไหนทำได้มากกว่ากัน
แต่ก็ต้องบอกตรงๆ ว่ายังเร็วเกินไปที่จะฟันธงว่าวิธีนี้จะกลายเป็นมาตรฐานใหม่ เพราะงานวิจัยเพิ่งออกมา ยังต้องรอดูว่าพอเอาไปใช้จริงกับโมเดลขนาดใหญ่ในงาน production มันจะยังรักษาข้อดีเรื่องต้นทุนที่ลดลงได้อยู่ไหม หรือจะเจอปัญหาใหม่ที่ตอนทดลองไม่เจอ
ถ้า CLMs พิสูจน์ได้ว่าจริงในสนามจริง นี่อาจเป็นจุดที่วงการเลิกแข่งกันที่ "context window ใหญ่แค่ไหน" แล้วหันมาแข่งกันที่ "ใครจัดการ context เก่งกว่ากัน" แทน ซึ่งเป็นเกมที่วัดกันที่คุณภาพการตัดสินใจของโมเดล ไม่ใช่แค่ขนาดหน่วยความจำ
ที่มา: InfoQ AI/ML — อ่านต้นฉบับ
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...