อัปเดต
AI
Datasette-llm อัปเดตใหม่ให้คุณรันโมเดลท้องถิ่นผ่าน API มาตรฐานเดียวกับ OpenAI ได้แล้ว
สาย Data ที่ชอบเล่นโมเดลบนเครื่องตัวเองต้องถูกใจสิ่งนี้ เพราะการเชื่อมต่อ LLM เข้ากับระบบ Datasette กลายเป็นเรื่องที่ง่ายกว่าเดิมเยอะ
ทีมข่าว เอไอไทย.com
⏱ อ่าน 2 นาที
เมื่อโลกของ Local LLM และเครื่องมือจัดการข้อมูลมาเจอกัน การรัน AI ส่วนตัวบนเครื่องตัวเองก็ไม่ใช่เรื่องยากสำหรับคนทำ Data อีกต่อไป
ถ้าใครที่คลุกคลีอยู่กับ Datasette ก็น่าจะรู้ว่าเครื่องมือตัวนี้มันเจ๋งแค่ไหนในการจัดการข้อมูล แต่ล่าสุด Simon Willison เพิ่งปล่อยอัปเดต datasette-llm เวอร์ชัน 0.1a11 ออกมา ซึ่งรอบนี้บอกเลยว่าถูกใจสาย Local AI แน่นอน เพราะมันเปิดประตูให้เราเอาโมเดลที่รันบนเครื่องตัวเองมาเชื่อมต่อใช้งานได้ง่ายขึ้นเยอะ
ความเด็ดของอัปเดตนี้คือการรองรับ OpenAI-compatible endpoints แบบเต็มตัว พูดง่ายๆ คือถ้าคุณมีโมเดลที่รันผ่าน LM Studio, Ollama หรือตัวเทพอย่าง llama.cpp ที่เพิ่งแตะเวอร์ชัน 1.0.0 ไปหมาดๆ คุณก็สามารถตั้งค่าให้ Datasette ไปคุยกับโมเดลพวกนั้นได้โดยตรง โดยใช้โปรโตคอลมาตรฐานเดียวกับที่ OpenAI ใช้เป๊ะๆ
การจะใช้งานก็ไม่ได้ซับซ้อนอะไร ถ้าคุณใช้ uvx อยู่แล้ว ก็สามารถสั่งรัน Datasette Agent ขึ้นมาได้เลยตามตัวอย่างที่เขาให้ไว้ แค่ระบุ api_base ให้ชี้ไปที่พอร์ตของโมเดลท้องถิ่นที่คุณเปิดทิ้งไว้ เพียงเท่านี้คุณก็จะได้เซิร์ฟเวอร์ Datasette ที่มีพลัง AI ของตัวเองขับเคลื่อนอยู่ข้างในแล้ว
เครื่องมือที่รองรับ
คุณสามารถนำ Datasette ไปเชื่อมต่อกับโมเดลที่รันผ่าน LM Studio, Ollama หรือ llama.cpp ได้ทันทีโดยไม่ต้องเปลี่ยนโครงสร้างโค้ดอะไรให้วุ่นวาย
เอาจริงนะ การที่เครื่องมือกลุ่ม Data เริ่มขยับมาซัพพอร์ตมาตรฐาน OpenAI กันเยอะแบบนี้ มันส่งผลดีกับเรามาก เพราะมันทำให้เราไม่ต้องยึดติดกับค่ายใดค่ายหนึ่ง อยากจะสลับไปใช้โมเดลในเครื่อง หรือจะไปเรียกใช้ API ภายนอก ก็แค่เปลี่ยนการตั้งค่าเล็กน้อย ทุกอย่างก็รันต่อได้ลื่นๆ
สำหรับคนที่ยังลังเลว่าจะลองเล่น Local LLM ดีไหม ผมว่านี่เป็นจังหวะที่ดีมาก เพราะ ecosystem ของเครื่องมือพวกนี้มันเริ่มนิ่งและเชื่อมต่อกันได้ง่ายขึ้นเยอะ ใครที่อยากลองทำโปรเจกต์วิเคราะห์ข้อมูลส่วนตัวแบบไม่ต้องส่งข้อมูลออกไปข้างนอก นี่คือทางเลือกที่น่าสนใจที่สุดในตอนนี้เลยล่ะ
การรองรับมาตรฐาน OpenAI ในระดับปลั๊กอินคือการปลดล็อกให้ Datasette กลายเป็นศูนย์กลางการจัดการข้อมูลที่ฉลาดขึ้นด้วย AI ของเราเองโดยไม่ต้องพึ่งพา Cloud ให้เสียความเป็นส่วนตัว
ที่มา: Simon Willison's Weblog — อ่านต้นฉบับ
ความคิดเห็น 0
กำลังโหลดความคิดเห็น...