เครื่องมือใหม่
Tools / LLM
Simon Willison ปล่อยปลั๊กอิน llm-typesafe ให้ LLM เรียกโมเดล Jev ตอบเป็นโครงสร้าง
จากคำถามใช่/ไม่ใช่ ไปจนถึงให้คะแนนเป็นตัวเลข ปลั๊กอินนี้เปลี่ยนวิธีที่เราสั่งโมเดลให้ตอบแบบมีโครงสร้าง
ทีมข่าว เอไอไทย.com
⏱ อ่าน 3 นาที
บางทีปัญหาของ LLM ไม่ใช่ "ตอบผิด" แต่คือ "ตอบไม่เป็นรูปแบบ" แล้วเราต้องมานั่งแกะเอง
ซSimon Willison ปล่อยปลั๊กอินใหม่ชื่อ llm-typesafe เวอร์ชัน 0.1a0 สำหรับเครื่องมือ LLM ของเขา เป้าหมายคือเพิ่มการรองรับโมเดล Jev ตัวใหม่จาก TypeSafe AI ซึ่งเป็นโมเดลที่ออกแบบมาให้ตอบคำถามในรูปแบบที่มีโครงสร้างชัดเจน ไม่ใช่ข้อความยาวๆ ที่ต้องตีความเอง
จุดน่าสนใจของปลั๊กอินนี้คือมันเปิดทางให้เราถามคำถามที่ต้องการคำตอบแบบจำกัดรูปแบบได้ง่ายๆ ผ่าน command line ของ LLM วิธีติดตั้งก็ตรงไปตรงมา แค่พิมพ์ llm install llm-typesafe แล้วตั้ง API key ผ่านคำสั่ง llm keys set typesafe เท่านี้ก็พร้อมใช้
Willison ยกตัวอย่างการใช้งาน 3 รูปแบบที่ต่างกันชัดเจน อันแรกคือคำถามใช่/ไม่ใช่ หรือที่เขาเรียกว่า "noul" ซึ่งผลลัพธ์จะออกมาเป็นตัวเลขความมั่นใจ เช่น ถามว่า "ข้อความนี้ขอเงินคืนชัดเจนไหม" โมเดลก็จะตอบกลับมาเป็น {"type": "noul", "noul": 0.99} คือมั่นใจ 99% ว่าใช่
คำถามแบบ noul (ใช่/ไม่ใช่)
ถามคำถามที่ตอบได้แค่ใช่หรือไม่ใช่ ผลลัพธ์ออกมาเป็นค่าความมั่นใจระหว่าง 0 ถึง 1
คำถามแบบ choice (เลือกหนึ่ง)
กำหนดตัวเลือกไว้ล่วงหน้า เช่น ให้เลือกว่าข้อความนี้ควรส่งให้ทีมไหน billing, technical หรือ other พร้อมนิยามเกณฑ์ของแต่ละตัวเลือก
คำถามแบบ score (ให้คะแนน)
ให้โมเดลจัดอันดับตามเกณฑ์ที่กำหนด เช่น ระดับความสามารถในการทำซ้ำของบั๊ก แบ่งเป็น 3 ระดับ
ที่เจ๋งคือการตั้งค่า criteria ผ่าน JSON ได้เลย เช่นในตัวอย่าง choice question เขาให้โมเดลเลือกทีมที่ควรรับเรื่อง โดยระบุเงื่อนไขว่า "ถ้าเกิดทั้งปัญหา billing และ technical พร้อมกัน ให้เลือก billing" ซึ่งเป็นการบังคับลำดับความสำคัญไปในตัว
ส่วนตัวอย่าง score question คือให้โมเดลอ่านรายงานบั๊ก แล้วประเมินว่าปัญหานั้นทำซ้ำได้ง่ายแค่ไหน โดยแบ่งเกณฑ์เป็น 3 ระดับ ตั้งแต่ "ไม่มีขั้นตอนทำซ้ำ" ไปจนถึง "มีขั้นตอนครบพร้อมผลที่คาดหวังและผลจริง"
มุมมองของผมคือ ปลั๊กอินแบบนี้แก้ปัญหาที่เจ็บมากของคนที่เอา LLM ไปต่อกับระบบอื่น นั่นคือเรื่อง output format ที่ไม่แน่นอน ปกติเวลาเราสั่งให้โมเดลตอบเป็น JSON มันก็ชอบแถมคำอธิบายหรือจัดรูปแบบเพี้ยนไปบ้าง แต่การมี answer_type มาเป็นตัวกำหนดตั้งแต่ต้นทางแบบนี้ช่วยลดงาน parsing ไปได้เยอะ
อีกอย่างที่น่าสนใจคือชื่อ "noul" ซึ่งฟังดูไม่คุ้นหู อาจจะเป็นคำเฉพาะที่ TypeSafe AI คิดขึ้นมาใช้เรียกคำถามประเภท binary ของตัวเอง ซึ่งถ้าเป็นแบบนั้นจริงก็แสดงว่าเขากำลังสร้าง ecosystem ของตัวเองขึ้นมา ไม่ใช่แค่ทำโมเดลให้ตอบได้ แต่กำหนด "ภาษากลาง" ในการถาม-ตอบด้วย
อย่างไรก็ตาม ต้องบอกว่ายังเป็นเวอร์ชัน 0.1a0 ซึ่ง a0 หมายถึง alpha แรก แปลว่ายังใหม่อยู่มาก ใครจะเอาไปใช้จริงจังก็ควรทดสอบให้ดีก่อน โดยเฉพาะเรื่องความแม่นยำของค่าความมั่นใจในโหมด noul ที่ตัวเลข 0.99 อาจดูสวยแต่ไม่ได้การันตีว่าถูกต้องเสมอ
ทิศทางของ LLM กำลังขยับจาก "ตอบเก่ง" ไปสู่ "ตอบเป็นระบบ" และปลั๊กอินแบบ llm-typesafe คือสัญญาณว่าเครื่องมือรอบข้างกำลังตามทัน ใครที่ยังใช้ LLM แบบถามตอบอิสระแล้วนั่งแกะคำตอบเอง อาจถึงเวลาลองวิธีที่บังคับโครงสร้างตั้งแต่ต้นทางดูบ้าง
ที่มา: Simon Willison's Weblog — อ่านต้นฉบับ
ความคิดเห็น 4
กำลังโหลดความคิดเห็น...