🧾 สรุปสูตรบทที่ 5

ถ้าจำได้แค่ประโยคเดียวจากบทนี้ ขอให้เป็นประโยคนี้:

base model ต่อข้อความ → chat template บอกว่าใครพูด → SFT สอนบทบาท → reward model ให้คะแนน → RLHF ไล่คะแนนแบบมีเบรก (KL)

สิ่งที่ทำ	สูตร	จำง่ายๆ
SFT	$\text{loss}=-\ln p(\text{คำตอบตัวอย่าง})$	สูตรเดิม ข้อมูลใหม่
ความชอบ (Bradley–Terry)	$P(A\succ B)=\sigma (r_A-r_B)$	softmax ของสองคำตอบ
RLHF	$r-\beta \cdot \text{KL}$	ไล่คะแนนแบบมีเบรก
เดาหรือไม่	ตอบเมื่อ $p>\frac{w}{1+w}$	ไม่หักคะแนนตอนผิด = เดาไม่เคยเสียเปรียบ

ตัวเลขที่เราคำนวณกันมา:

• "เรียน ทีมทุกคน": สั่งตรงๆ 5.2% → จัดฉากเป็นอีเมล 90.1%
• SFT: loss 1.7128 → 0.0642
• A vs B: 78.6% (r 1.5 กับ 0.2) · โจทย์: 81.8% (r 2.0 กับ 0.5)
• β = 1: สุภาพ ชัดเจน 1.20 · เอาใจ 0.40
• เดาชื่อรางวัลสมมติเมื่อตอบผิดถูกหัก 1: −0.38 → ควรตอบว่าไม่ทราบ
• ให้ความน่าจะเป็น 90.0% แต่ถูกจริง 70.0% → มั่นใจเกินจริง

ปัจจุบันหลายทีมยังฝึก RL กับโจทย์ที่ตรวจคำตอบได้ด้วย เช่น โจทย์เลขที่มีเฉลย เรื่องนี้อยู่ในบทที่ 7

หน้าถัดไปเป็นแบบทดสอบสั้นๆ 5 ข้อ ทำซ้ำได้ไม่จำกัด