เจาะประเด็น
AI / Tools
Respan กับการทิ้ง LiteLLM มาสร้าง AI Gateway สายปลั๊กอินด้วย Rust
เมื่อโค้ด Wrapper เริ่มบวมจนคุมไม่ไหว นี่คือเหตุผลว่าทำไมการรื้อสร้างใหม่ด้วยสถาปัตยกรรมแบบแยกส่วนถึงเป็นทางรอดของนักพัฒนา
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
ถ้า AI Gateway ที่คุณใช้มันเริ่มกลายเป็นภาระมากกว่าตัวช่วย บางทีการเปลี่ยนมาใช้ระบบที่ "ทุกอย่างคือปลั๊กอิน" อาจจะเป็นคำตอบที่ตามหาอยู่
เคยเจอปัญหาไหม? ยิ่งโปรเจกต์โตขึ้น ระบบที่เราเคยพึ่งพาก็เริ่มกลายเป็นคอขวด ล่าสุดทีม Respan เพิ่งเปิดตัว AI Gateway ตัวใหม่ที่เขียนด้วย Rust หลังจากที่พวกเขาต้องกุมขมับกับโค้ด Wrapper ของ LiteLLM ที่บวมเป่งจนแตะหลักแสนบรรทัด
เรื่องของเรื่องคือทีมงานเขาทำบริการที่ต้องรองรับความต้องการสารพัดอย่างจากองค์กรหลายพันแห่ง ทั้ง API Key ที่ต่างกัน กฎการใช้งานที่ไม่เหมือนกัน จนสุดท้ายโค้ดที่เอาไว้ครอบ LiteLLM อีกทีมันก็เริ่มคุมไม่อยู่ แถมพออัปเกรดเวอร์ชันทีไรก็เจอปัญหาจนต้องถอยหลังกลับไปใช้ของเก่าอยู่เรื่อยๆ
เขาเลยตัดสินใจว่า "พอแล้ว" และหันมาออกแบบ Respan ใหม่โดยยึดปรัชญาเดียวกับ Nginx คือทำ Core ให้เล็กที่สุดเท่าที่จะทำได้ หน้าที่หลักของมันมีแค่ส่งต่อ Event ส่วนฟีเจอร์ที่เหลือทั้งหมด ให้มันเป็น "ปลั๊กอิน" ไปซะ
ไอเดียนี้มันโคตรจะเข้าท่า เพราะแทนที่จะยัดทุกอย่างลงไปใน Gateway ตัวเดียวจนพังง่าย เวลาอยากเพิ่มฟีเจอร์อะไรใหม่ๆ ก็แค่เขียนปลั๊กอินเพิ่มเข้าไป ไม่ว่าจะเป็นเรื่อง Provider อย่าง OpenAI หรือ Gemini, โปรโตคอลแปลกๆ, หรือแม้แต่ฟีเจอร์สายความปลอดภัยอย่างการเซ็นเซอร์ข้อมูลส่วนบุคคล (PII redaction) ก็ทำได้หมดโดยไม่ต้องไปยุ่งกับ Core
ที่สำคัญคือเขายังออกแบบให้มันยืดหยุ่นสุดๆ สำหรับคนที่อยากเขียนปลั๊กอินเอง อย่างการเพิ่ม Provider ใหม่เนี่ย ไม่ใช่เรื่องยากเลย เพราะเขาไม่ได้มองว่ามันเป็นเรื่องมีเวทมนตร์อะไร แค่ไฟล์สั้นๆ ก็ใช้งานได้แล้ว
ในแง่การใช้งานจริง Respan ไม่ได้แค่เป็นทางผ่านให้เราเรียก Claude หรือ Gemini ผ่าน OpenAI SDK เท่านั้น แต่มันยังจัดการเรื่อง Tool, รูปภาพ และโปรโตคอลการทำ Reasoning ให้แบบอัตโนมัติ คือถ้าแอปฯ คุณรองรับ OpenAI Realtime API อยู่แล้ว คุณก็สามารถสลับไปใช้ Gemini Live ผ่าน Gateway ตัวนี้ได้เลยโดยไม่ต้องแก้โค้ดฝั่งแอปฯ ให้วุ่นวาย
ที่ผมชอบคือเขามีการแปลง Request ให้เป็นโครงสร้างกลาง แต่ก็ยังเก็บรายละเอียดเฉพาะตัวของแต่ละ Provider ไว้ด้วย ไม่ใช่สักแต่จะลบข้อมูลทิ้ง ทำให้ Gateway สามารถเขียนข้อมูลเหล่านั้นกลับไปได้โดยไม่เสียของ นี่คือจุดที่ทำให้มันดูเป็นมืออาชีพกว่า Gateway ทั่วไปที่มักจะทำตัวเป็นคอขวด
ตอนนี้โปรเจกต์นี้ยังอยู่ในสถานะ pre-alpha แต่เปิด Open-source ให้ทุกคนเอาไปลองรันในเครื่องตัวเองได้เลยผ่าน GitHub ใครที่กำลังมองหาทางออกเรื่องการจัดการ AI Infrastructure แบบที่อยากคุมเองได้ทุกจุด หรือไม่อยากติดกับดักซอฟต์แวร์ที่แก้ไขยาก ผมว่าตัวนี้น่าจับตามากครับ
Respan คือตัวอย่างที่ดีของการแก้ปัญหา Technical Debt ด้วยการออกแบบสถาปัตยกรรมใหม่ที่เน้น Modular แทนที่จะฝืนซ่อมของเก่าไปเรื่อยๆ ใครที่เบื่อความเทอะทะของ Gateway เดิมๆ ตัวนี้คือทางเลือกที่น่าสนใจมาก
ที่มา: Hacker News — อ่านต้นฉบับ
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...