เจาะประเด็น
AI / Open Source
ทำไมโมเดล embedding แบบปิดถึงเป็นกับดักที่แพงที่สุดในสาย AI
เปิดเวตส์ไว้ ไม่ได้แปลว่าอยากโฮสต์เอง แต่มันคือประกันชั้นดีว่าวันที่เจ้าของโมเดลเลิกให้บริการ คุณยังมีทางไปต่อ
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
ไลเซนส์ Apache 2.0 ไม่ได้สำคัญตอนคุณเริ่มใช้โมเดล มันสำคัญตอนที่คนอื่นตัดสินใจจะเลิกให้คุณใช้ต่างหาก
เEmbeddingGemma 2 ออกมาพร้อมไลเซนส์ Apache 2.0 แล้ว Simon Willison เขียนคอมเมนต์สั้นๆ บน Hacker News ที่อ่านแล้วรู้สึกว่ามันพูดตรงกับปัญหาที่คนทำงานสายนี้เจอจริงๆ มาตลอด แต่ไม่ค่อยมีใครพูดออกมาดังๆ นั่นคือเรื่องของโมเดล embedding ที่ถูกล็อกไว้ในระบบปิด
ประเด็นมันอยู่ตรงนี้ — งานส่วนใหญ่ที่ใช้ embedding model ไม่ใช่การเรียกใช้ครั้งเดียวแล้วจบ แต่คือการคำนวณเวกเตอร์เป็นพัน เป็นหมื่น หรือแม้กระทั่งเป็นล้านรายการ แล้วเก็บมันไว้ในฐานข้อมูลเพื่อรอเทียบความคล้ายในอนาคต นี่คือหัวใจของระบบค้นหา แชทบอทที่ตอบจากเอกสารขององค์กร หรือระบบแนะนำสินค้าทั้งหลายทั้งปวง
ทีนี้ลองคิดดูว่า ถ้าโมเดลที่คุณใช้เป็นของเจ้าของปิด แล้ววันหนึ่งเขาตัดสินใจเลิกให้บริการล่ะ? ต่อให้เขาเอาของใหม่ที่ดีกว่าเดิมมาแทน คุณก็ยังต้องจ่ายเงินเพื่อคำนวณเวกเตอร์ทั้งหมดที่เก็บไว้ใหม่หมดอยู่ดี เพราะเวกเตอร์จากโมเดลเก่ากับโมเดลใหม่มันใช้แทนกันไม่ได้
Simon ยกตัวอย่างเคสของ OpenAI เมื่อเดือนเมษายน 2024 ที่เสนอ "ออกค่าใช้จ่ายในการ re-embed เนื้อหาด้วยโมเดลใหม่" ให้ผู้ใช้ แต่เขาก็พูดตรงๆ ว่าเราไม่ควรไว้ใจว่าทุกเจ้าจะทำแบบนี้
จุดที่น่าสนใจที่สุดของคอมเมนต์นี้คือ Simon บอกว่าเขาไม่ได้อยากโฮสต์โมเดลเองเลย เขายินดีจ่ายให้ผู้ให้บริการโฮสต์ให้ แต่อยากรู้สึกมั่นใจว่าถ้าวันหนึ่งเจ้านั้นเลิกโฮสต์ เขายังสามารถรันเวอร์ชัน open weights เองได้ หรือหาคนอื่นมารันให้ได้
นี่คือวิธีคิดที่ผมว่าฉลาดมาก มันไม่ใช่การเลือกข้างระหว่าง open กับ closed แบบสุดโต่ง แต่มันคือการซื้อ "ประกัน" ไว้ต่างหาก ต้นทุนการย้ายค่ายของ embedding model มันโหดกว่าโมเดลแชทเยอะ เพราะโมเดลแชทเปลี่ยนเจ้าก็แค่เปลี่ยน API endpoint แต่ embedding เปลี่ยนเจ้าเท่ากับต้องรื้อฐานข้อมูลทั้งหมดที่สร้างมาเป็นปี
เวกเตอร์ที่เก็บไว้ผูกติดกับโมเดล
เวกเตอร์จากโมเดลหนึ่งใช้กับอีกโมเดลไม่ได้ เปลี่ยนโมเดลต้องคำนวณใหม่ทั้งหมด
ต้นทุน re-embedding โตตามขนาดข้อมูล
ยิ่งเก็บเวกเตอร์มากเท่าไหร่ ค่าใช้จ่ายตอนต้องย้ายโมเดลยิ่งสูงขึ้นเป็นเงาตามตัว
Open weights คือทางออกที่ยืดหยุ่น
ไม่ต้องโฮสต์เอง แต่มีสิทธิ์รันเองหรือหาคนอื่นรันให้ได้ ถ้าเจ้าของเดิมเลิกให้บริการ
สำหรับคนไทยที่กำลังสร้างระบบ AI สำหรับองค์กร ไม่ว่าจะเป็นระบบค้นหาเอกสารภายใน แชทบอทบริการลูกค้า หรือ RAG ที่ดึงข้อมูลจากฐานความรู้ของบริษัท ประเด็นนี้ควรถูกพูดถึงตั้งแต่ตอนเลือกโมเดลตั้งแต่วันแรก ไม่ใช่ตอนที่ vendor ส่งอีเมลแจ้ง deprecation มาแล้ว
ไลเซนส์แบบเปิดอย่าง Apache 2.0 ไม่ได้สำคัญเพราะมันฟรี แต่มันสำคัญเพราะมันคือทางออกฉุกเฉินที่คุณมีอยู่จริงในวันที่ vendor เปลี่ยนใจ — และสำหรับ embedding model ที่ผูกกับข้อมูลนับล้านรายการ นั่นอาจเป็นความต่างระหว่างการอัปเดตระบบหนึ่งวัน กับการรื้อทุกอย่างทิ้งแล้วเริ่มใหม่
ที่มา: Simon Willison's Weblog — อ่านต้นฉบับ
ความคิดเห็น 6
กำลังโหลดความคิดเห็น...