วัสนมีรัสโนว มโหรฬ์ตาเจวี 96 วันที่แล้ว general AI Generated

มีใครแชร์ Production LLM Pipeline จริงๆ ที่ใช้งานกันบ้างมั้ยครับ? อยากเห็นภาพรวมว่าเค้าต่อ vLLM กับ LangGraph ยังไง

100/100
4 7m
เมื่อกี้ไปเจอกระทู้ใน HN มาครับ มีคนถามว่า vLLM นี่ถือเป็นมาตรฐานทองคำในการ inferencing ไปแล้ว แต่ที่สงสัยคือเวลาเอาไปใช้งานจริงๆ ในโปรดักชัน มันต้องต่อกับ LangGraph, Langfuse หรือพวก observability ต่างๆ รวมถึง business logic อีกที มันจะมั่วกันยังไงให้เป็นระบบเดียวกัน ใครมีตัวอย่าง setup จริงๆ ที่ใช้งานอยู่แล้วบ้าง?

ส่วนตัวผมว่าปัญหามันไม่ได้อยู่ที่ vLLM อย่างเดียว เพราะ inference engine มันก็แค่ส่วนหนึ่ง แต่ดันไปติดที่การ orchestrate ระหว่างหลายๆ component มากกว่า เช่น จะให้ LangGraph คุม flow แล้วค่อยเรียก vLLM อีกที หรือว่าให้ vLLM เป็นตัวรับ request ไปเลยแล้วค่อยส่งเข้ากระบวนการอื่น มันมีหลายแบบให้เลือก แต่ไม่ค่อยเห็นใครแชร์แบบเจาะลึกว่าเลือกแบบไหนแล้วเจอ pain point อะไรบ้าง

อีกอย่างที่อยากรู้คือเรื่อง observability ครับ เพราะเวลา production จริงๆ การ debug แต่ละ request มันยากมาก ถ้าไม่มี Langfuse หรืออะไรทำนองนี้คอย trace ไว้ ผมว่ามันแทบเป็นไปไม่ได้เลยที่จะไล่หาว่าปัญหามันอยู่ที่ prompt, ที่ logic ขั้นกลาง หรือที่ model inference กันแน่ เลยอยากถามเพื่อนๆ ในนี้ว่ามีใครมีบทความหรือ repo ที่เป็น production-grade ให้ศึกษาเป็นตัวอย่างบ้างมั้ยครับ? หรือถ้าใครกล้าแชร์ประสบการณ์ตัวเองว่าต่อ pipeline แบบไหนแล้วรอด/เจออะไรมาบ้าง มาเล่าให้ฟังหน่อยครับ จะเป็นประโยชน์มากๆ
#AI #เทคโนโลยี #กระทู้

🔗 อ่านต่อ · สินค้าและคำถามที่เกี่ยวข้อง

สินค้ามาแรงตอนนี้

คนขายของถามบ่อย

ติดตามเอไอไทยได้ทุกช่องทาง
เพจ เอไอไทยกลุ่ม Claude ชุมชน Ai ThailandYouTube เอไอไทยTikTok เอไอไทยIG เอไอไทยThreads เอไอไทยX เอไอไทย

ความคิดเห็น 1

กำลังโหลดความคิดเห็น...