ข้อสอบที่มีเฉลยในตัว
ข้อความที่ใช้ฝึกมาจากหน้าเว็บ หนังสือ บทความ และโค้ด บางเจ้าเปิดเผยว่าใช้ข้อมูลที่ซื้อลิขสิทธิ์มา และข้อมูลสังเคราะห์ (synthetic data) ที่โมเดลเขียนด้วย
ข้อมูลถูกคัดคุณภาพและตัดข้อความซ้ำออก ภาษาอังกฤษมีมากที่สุด ภาษาไทยมีแค่ส่วนน้อย
ขนาดอยู่ในหลักล้านล้าน โทเคน (token)ชิ้นข้อความที่ AI มองเห็นจริงๆ อาจเป็นทั้งคำ ส่วนของคำ หรือตัวอักษรเดียว แต่ละชิ้นมีเลขประจำตัวดูคำศัพท์ทั้งหมด เช่น Meta รายงานว่า Llama 3 ฝึกด้วยกว่า 15 ล้านล้าน token ถ้าคิดแบบภาษาไทยที่หน้า A4 ละราว 600 token (บทที่ 2) เท่ากับ 25,000 ล้านหน้า อ่านนาทีละหน้าไม่หยุด ต้องใช้ กว่า 47,000 ปี
ใครมานั่งเขียนเฉลยให้ข้อความมากขนาดนี้? ไม่ต้องมีใครเลย เพราะข้อความเฉลยตัวเองได้ วิธีนี้เรียกว่า การเรียนรู้แบบมีเฉลยในตัว (self-supervised learning)การฝึกที่ไม่ต้องมีคนเขียนเฉลย เพราะข้อมูลเฉลยตัวเอง เช่น ซ่อนคำถัดไปของประโยคแล้วให้โมเดลเดาดูคำศัพท์ทั้งหมด
เช่น "แมว|ชอบ|กิน|ปลา" (4 token):
| ข้อ | โมเดลเห็น | ต้องเดา |
|---|---|---|
| 1 | แมว | ชอบ |
| 2 | แมวชอบ | กิน |
| 3 | แมวชอบกิน | ปลา |
ข้อความยาว n token จึงให้ n − 1 ข้อ และคำนวณพร้อมกันได้ในรอบเดียว เพราะ causal mask (บทที่ 3) กันไม่ให้แอบดูเฉลย
ทุกข้อความคือแบบฝึกหัดที่มีเฉลยในตัว: ซ่อนคำถัดไป ให้โมเดลเดา แล้วเปิดเฉลยจากข้อความจริง
ผลของขั้นนี้คือ โมเดลดิบ (base model, pretrained model)โมเดลที่ผ่านแค่ pre-training ถนัดต่อข้อความให้เหมือนเอกสารที่เคยเห็น แต่ยังไม่ได้ถูกฝึกให้ตอบคำถามหรือทำตามคำสั่งโดยตรงดูคำศัพท์ทั้งหมด ที่เขียนต่อข้อความเก่ง แต่ยังไม่ใช่ผู้ช่วยที่ทำตามคำสั่ง (บทที่ 5)
มังคุด
ไม่ต้องมีครูมาตรวจการบ้านเลยเหรอ? ข้อความตรวจตัวเองได้!