เอไอไทย

from Siam to Silicon

หน้าแรก › ศัพท์ AI › Token

Token คืออะไร?

แชตบอต & ภาษา · อธิบายง่าย เข้าใจลึก โดยเอไอไทย

Token คือ หน่วยย่อยของข้อความที่ระบบปัญญาประดิษฐ์ใช้ประมวลผลภาษา

🧒 เล่าแบบง่ายที่สุด

คอมพิวเตอร์อ่านภาษาไทยเป็นคำทั้งคำไม่ได้ ระบบจึงต้องตัดข้อความออกเป็นชิ้นเล็กๆ ที่เรียกว่าโทเค็น เพื่อให้คอมพิวเตอร์เข้าใจและนำไปประมวลผลต่อได้

🖼️ เปรียบเทียบให้เห็นภาพ

เปรียบเหมือนการต่อตัวต่อเลโก้ ที่ข้อความยาวๆ ถูกแกะออกเป็นชิ้นส่วนย่อยๆ เพื่อให้ระบบหยิบแต่ละชิ้นมาประกอบกันใหม่

⚙️ ทำงานยังไง (เจาะลึกขึ้นอีกขั้น)

ระบบปัญญาประดิษฐ์รับข้อความเข้ามาแล้วนำมาตัดแบ่งออกเป็นส่วนย่อยหรือโทเค็น ซึ่งอาจเป็นพยางค์ คำ หรือเครื่องหมายวรรคตอน ขึ้นอยู่กับภาษาและรูปแบบของระบบ จากนั้นระบบจะแปลงโทเค็นเหล่านี้ให้เป็นตัวเลข เพื่อให้แบบจำลองทางคณิตศาสตร์นำไปคำนวณความน่าจะเป็นของคำถัดไปที่จะตอบออกมา

🛠️ ใช้ทำอะไรได้บ้าง

🏠 ตัวอย่างใกล้ตัว

เวลาที่เราพิมพ์ข้อความคุยกับแชตบอต ระบบจะนับว่าข้อความของเราใช้ไปกี่โทเค็น และคำตอบที่บอตตอบกลับมาใช้ไปอีกกี่โทเค็น เพื่อนำไปคิดรวมเป็นโควตาการใช้งาน

⚠️ ข้อจำกัด / ข้อควรระวัง

ระบบปัญญาประดิษฐ์แต่ละรุ่นมีขีดจำกัดในการรับจำนวนโทเค็นต่อครั้ง หากพิมพ์ข้อความยาวเกินไป ระบบอาจจำข้อความช่วงแรกไม่ได้

❓ เข้าใจผิดบ่อย

หลายคนเข้าใจว่าหนึ่งโทเค็นเท่ากับหนึ่งคำภาษาไทย ความจริงคือหนึ่งคำภาษาไทยอาจถูกตัดย่อยเป็นหลายโทเค็นตามหลักการประมวลผลของระบบ

🔗 ศัพท์ที่เกี่ยวข้อง

Large Language Model Context WindowPromptEmbedding

เขียนเมื่อ 2026-11-13 04:03 · เรียบเรียงด้วย AI และตรวจรูปแบบโดยระบบเอไอไทย ถ้าพบจุดที่ไม่ถูกต้อง แจ้งเราได้ที่ ติดต่อเรา