บทที่ 2 · ทำไมภาษาไทยกินโทเคน หน้า 1/4 ~2 นาที

พี่บอลกับแชตที่เต็มเร็ว

ไม่มีอะไรผิดเลย ภาษาไทยไม่ได้แย่กว่า

แต่ AI ไม่ได้อ่านข้อความเป็นหน้ากระดาษแบบเรา มันหั่นข้อความเป็นชิ้นเล็กๆ ก่อน แล้วนับว่ามีกี่ชิ้น

ชิ้นเล็กๆ นี้เรียกว่า โทเคน (token)ชิ้นข้อความเล็กๆ ที่ AI อ่านและเขียนทีละชิ้น อาจเป็นทั้งคำ ครึ่งคำ หรือตัวอักษรเดียวดูคำศัพท์ทั้งหมด และ AI แต่ละตัวรับโทเคนได้จำกัดในแต่ละครั้ง

ภาษาไทยมักถูกหั่นเป็นชิ้นที่เล็กกว่า ข้อความยาวเท่ากันจึงได้จำนวนชิ้นมากกว่า และเต็มโควตาเร็วกว่า

บทนี้คุณจะได้ดูกับตาว่ามันหั่นยังไง ทำไมไทยกินที่ และจะเขียนให้ประหยัดได้ยังไง

ทายก่อนดูเฉลย

ทายก่อน แล้วแตะดู

ประโยคความหมายเดียวกัน ภาษาไหนน่าจะถูกหั่นเป็นจำนวนชิ้นมากกว่า?

AI ไม่ได้นับความยาวเป็นหน้า แต่นับเป็นชิ้นเล็กๆ ที่เรียกว่าโทเคน และภาษาไทยมักใช้หลายชิ้นกว่า

มังคุด มาสคอตมังคุด

มังคุด

ถ้าไทยกินที่มากกว่า แปลว่าควรพิมพ์คุยกับ AI เป็นภาษาอังกฤษตลอดเลยไหมครับ?