โปรเจกต์ AI เกตเวย์ตัวใหม่ที่รวมคอนโซลในตัว และออกแบบมาเพื่อจัดการคำขอ LLM ในระดับโปรดักชัน
Antirion เป็น AI เกตเวย์แบบโอเพนซอร์สที่เปิดตัวบน GitHub มาได้ 3 วัน และปัจจุบันได้รับดาวไปแล้ว 141 ดวง พร้อมทั้งติดอันดับ #6 ในหมวด repo AI เปิดใหม่ 7 วันที่ได้ดาวเยอะสุดบนเว็บเอไอไทย.com ตัวโปรเจกต์ถูกพัฒนาด้วยภาษา Rust โดยมีเป้าหมายเพื่อเป็นตัวกลางเชื่อมระหว่างแอปพลิเคชันกับผู้ให้บริการโมเดล LLM ทุกค่าย ผ่านไบนารีไฟล์เดียวที่มีคอนโซลแอดมินในตัว ช่วยแก้ปัญหาเรื่องการจัดการเส้นทางการเรียกใช้งาน ความปลอดภัย การควบคุมงบประมาณ และการสังเกตการณ์ระบบ
ด้านการทำงาน Antirion ทำหน้าที่แปลภาษาและจัดการคำขอระหว่างไคลเอนต์และผู้ให้บริการรายใหญ่ เช่น OpenAI, Anthropic, Google Vertex AI, AWS Bedrock และอื่นๆ รองรับฟีเจอร์การจัดเส้นทาง เช่น การทำ fallback chains, weighted splits, และการตรวจสอบความปลอดภัยที่ขอบเครือข่าย (edge) รวมถึงการจำกัดอัตราการใช้งานและงบประมาณตามองค์กร ทีม หรือคีย์ โดยใช้หน่วยความจำต่ำและไม่มี garbage collector
เหตุผลที่โปรเจกต์นี้ได้รับความสนใจเนื่องจากผลการทดสอบประสิทธิภาพบนเครื่อง AWS c7i ที่ระบุว่า Antirion ทำความเร็วโอเวอร์เฮดเฉลี่ย (p50) ได้ที่ 0.53 มิลลิวินาที ที่ 5,000 คำขอต่อวินาที บน 4 vCPUs และรองรับปริมาณงานสูงสุดถึง 21,512 คำขอต่อวินาที ผ่านการเชื่อมต่อพร้อมกัน 64 รายการ ซึ่งเหนือกว่าเกตเวย์ตัวอื่นในการทดสอบชุดเดียวกัน
✨ จุดเด่น
- ประสิทธิภาพสูง — มีค่าโอเวอร์เฮดต่ำกว่ามิลลิวินาที และรองรับปริมาณงานหลายพันคำขอต่อวินาทีบน 4 vCPUs
- ไฟล์เดียวจบ — เกตเวย์ Admin API และเว็บคอนโซลรวมอยู่ใน Rust binary หรือ distroless image เดียว
- รองรับทุกค่าย — เชื่อมต่อกับ OpenAI, Anthropic, Bedrock และผู้ให้บริการรายใหญ่อื่นๆ ผ่าน API กลาง
- ควบคุมงบประมาณ — ตั้งค่า rate limits และงบประมาณเป็นดอลลาร์หรือโทเค็น พร้อมระบบแจ้งเตือน
🙋 ใครเหมาะจะลอง: เหมาะสำหรับนักพัฒนาและทีมวิศวกรที่ต้องการจัดการระบบเรียกใช้ LLM ในระดับโปรดักชัน ต้องมี Docker และ API key จาก OpenAI หรือ Anthropic เพื่อเริ่มต้นใช้งาน
ทีมข่าว เอไอไทย.com · เรียบเรียงจากหน้าโปรเจกต์ eliasbiondo/antirion — รายละเอียดล่าสุดดูที่ต้นทาง
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...