from Siam to Silicon
แชตบอต & ภาษา · อธิบายง่าย เข้าใจลึก โดยเอไอไทย
Token คือ หน่วยย่อยของข้อความที่ระบบปัญญาประดิษฐ์ใช้ประมวลผลภาษา
คอมพิวเตอร์อ่านภาษาไทยเป็นคำทั้งคำไม่ได้ ระบบจึงต้องตัดข้อความออกเป็นชิ้นเล็กๆ ที่เรียกว่าโทเค็น เพื่อให้คอมพิวเตอร์เข้าใจและนำไปประมวลผลต่อได้
เปรียบเหมือนการต่อตัวต่อเลโก้ ที่ข้อความยาวๆ ถูกแกะออกเป็นชิ้นส่วนย่อยๆ เพื่อให้ระบบหยิบแต่ละชิ้นมาประกอบกันใหม่
ระบบปัญญาประดิษฐ์รับข้อความเข้ามาแล้วนำมาตัดแบ่งออกเป็นส่วนย่อยหรือโทเค็น ซึ่งอาจเป็นพยางค์ คำ หรือเครื่องหมายวรรคตอน ขึ้นอยู่กับภาษาและรูปแบบของระบบ จากนั้นระบบจะแปลงโทเค็นเหล่านี้ให้เป็นตัวเลข เพื่อให้แบบจำลองทางคณิตศาสตร์นำไปคำนวณความน่าจะเป็นของคำถัดไปที่จะตอบออกมา
เวลาที่เราพิมพ์ข้อความคุยกับแชตบอต ระบบจะนับว่าข้อความของเราใช้ไปกี่โทเค็น และคำตอบที่บอตตอบกลับมาใช้ไปอีกกี่โทเค็น เพื่อนำไปคิดรวมเป็นโควตาการใช้งาน
ระบบปัญญาประดิษฐ์แต่ละรุ่นมีขีดจำกัดในการรับจำนวนโทเค็นต่อครั้ง หากพิมพ์ข้อความยาวเกินไป ระบบอาจจำข้อความช่วงแรกไม่ได้
หลายคนเข้าใจว่าหนึ่งโทเค็นเท่ากับหนึ่งคำภาษาไทย ความจริงคือหนึ่งคำภาษาไทยอาจถูกตัดย่อยเป็นหลายโทเค็นตามหลักการประมวลผลของระบบ
เขียนเมื่อ 2026-11-13 04:03 · เรียบเรียงด้วย AI และตรวจรูปแบบโดยระบบเอไอไทย ถ้าพบจุดที่ไม่ถูกต้อง แจ้งเราได้ที่ ติดต่อเรา