Reasoning model: ฝึกให้คิดก่อนตอบ
เมื่อก่อน chain-of-thought เป็นเทคนิคเขียน prompt ตอนนี้ โมเดลที่คิดก่อนตอบ (reasoning model)LLM ที่ถูกฝึกเพิ่มให้เขียนขั้นคิดยาวๆ ก่อนตอบ มักเก่งขึ้นในโจทย์หลายขั้น แต่ช้าลงและใช้ token มากขึ้นดูคำศัพท์ทั้งหมด ถูก ฝึก ให้คิดก่อนตอบ วิธีที่มีงานเปิดเผยชัดคือฝึกด้วย รางวัลที่ตรวจได้ (verifiable reward, RLVR)การให้คะแนนตอนฝึกจากสิ่งที่โปรแกรมตรวจได้ เช่น คำตอบคณิตตรงเฉลย หรือโค้ดผ่านชุดทดสอบดูคำศัพท์ทั้งหมด
- เลือกโจทย์ที่ตรวจได้ เช่น คณิตที่มีเฉลย โค้ดที่มีชุดทดสอบ
- ให้โมเดลลองหลายครั้ง แต่ละครั้งคิดต่างกัน
- โปรแกรมตรวจคำตอบสุดท้าย ถูกได้ 1 ผิดได้ 0
- ปรับน้ำหนักด้วย ความชัน (gradient)ชุดตัวเลขที่บอกว่าถ้าขยับพารามิเตอร์แต่ละตัวขึ้นนิดหนึ่ง loss จะเพิ่มหรือลดเท่าไร ใช้บอกทิศทางที่ต้องปรับดูคำศัพท์ทั้งหมด ตามรางวัล
เช่น ลอง 8 ครั้ง ตอบถูก 3 รางวัลเฉลี่ย 37.5% หักค่าเฉลี่ยแล้ว ครั้งที่ถูกได้ +0.625 ครั้งที่ผิดได้ −0.375 ใช้คูณ gradient ของ −ln p (บทที่ 4) คำตอบถูกจึงเกิดง่ายขึ้น คำตอบผิดเกิดยากขึ้น ถ้าถูกครบหรือผิดครบ ทุกครั้งได้ 0 ก็ไม่ได้เรียนอะไร
งาน DeepSeek-R1-Zero (2025) รายงานว่าการคิดยาวขึ้นและการเขียน "เดี๋ยวนะ ลองอีกวิธี" โผล่ขึ้นเองระหว่างฝึก
ต่างจาก การเรียนรู้แบบเสริมกำลังจากความเห็นมนุษย์ (Reinforcement Learning from Human Feedback, RLHF)ให้โมเดลเขียนคำตอบ ให้ reward model ให้คะแนน แล้วปรับโมเดลให้คำตอบคะแนนสูงเกิดบ่อยขึ้น โดยหักคะแนนถ้าเปลี่ยนไปจากเดิมมากเกินดูคำศัพท์ทั้งหมด (บทที่ 5) ตรงที่รางวัลมาจากโปรแกรมตรวจ ไม่ใช่ reward model ที่เดาใจคน
การคิดนานขึ้นตอนตอบ เรียกว่าเพิ่ม การคำนวณตอนใช้งาน (test-time compute)แรงคำนวณที่ใช้ตอนโมเดลตอบ ไม่ใช่ตอนฝึก เพิ่มได้โดยให้คิดยาวขึ้นหรือตอบหลายรอบแล้วเลือกดูคำศัพท์ทั้งหมด มักช่วยโจทย์ยาก แต่ได้เพิ่มน้อยลงเรื่อยๆ และ token ที่ใช้คิดก็คิดเงิน (บทที่ 6)
Reasoning model ถูกฝึกด้วยโจทย์ที่ตรวจคำตอบได้ จึงเรียนรู้ว่าการคิดยาวและตรวจซ้ำได้รางวัล แลกกับ token ที่เพิ่มขึ้น
มังคุด
ให้รางวัลแค่ตอนตอบถูก มันจะไม่หัดโกงเหรอ?