base model กับผู้ช่วยที่คุณคุยด้วย ต่างกันตรงไหน
บทนี้ตอบสองคำถาม: ทำไมโมเดลดิบไม่ทำตามคำสั่ง และทำไมผู้ช่วยที่ดูเก่งยังแต่งเรื่องเองได้
ทั้งสองตัวคือเครื่องเดาคำถัดไปจากบทที่ 1 ที่ผ่าน pre-training ในบทที่ 4 ตัวแรกคือ โมเดลดิบ (base model, pretrained model)โมเดลที่ผ่านแค่ pre-training ถนัดต่อข้อความให้เหมือนเอกสารที่เคยเห็น แต่ยังไม่ได้ถูกฝึกให้ตอบคำถามหรือทำตามคำสั่งโดยตรงดูคำศัพท์ทั้งหมด ตัวที่สองถูกฝึกต่อด้วย การฝึกรอบหลัง (post-training)ขั้นฝึกเพิ่มหลัง pre-training ที่เปลี่ยนเครื่องต่อข้อความให้เป็นผู้ช่วย เช่น SFT และ RLHF ใช้ข้อมูลน้อยกว่ามากแต่เปลี่ยนพฤติกรรมได้เยอะดูคำศัพท์ทั้งหมด ซึ่งใช้ข้อมูลน้อยกว่ามาก แต่เปลี่ยนนิสัยได้เยอะ
- base model — แค่ต่อข้อความ
- แม่แบบบทสนทนา (chat template) — ป้ายบอกว่าใครพูด
- การฝึกด้วยตัวอย่างคำตอบ (SFT) — สอนด้วยบทสนทนาตัวอย่าง
- โมเดลให้คะแนน (reward model) — กรรมการจากการเลือก A/B
- การเรียนรู้แบบเสริมกำลังจากความเห็นมนุษย์ (RLHF) — ไล่คะแนนแบบมีเบรก
- ผลข้างเคียง — เอาใจ ปฏิเสธเกิน และยังมั่ว
chat template ไม่ใช่ขั้นฝึก แต่เป็นรูปแบบข้อมูลที่ใช้ตั้งแต่ SFT
ผู้ช่วย AI ที่คุณใช้ทุกวัน คือเครื่องเดาคำตัวเดิมจากบทที่ 1 ที่ถูกฝึกเพิ่มอีกรอบ (post-training) ให้ "เดาคำแบบผู้ช่วย"
มังคุด
แปลว่าผู้ช่วย AI กับ base model เป็นสมองก้อนเดียวกันเหรอ?