0 XP Curious

บทที่ 5 · จากเครื่องเดาคำ สู่ผู้ช่วย หน้า 12/12 ~3 นาที

แบบทดสอบบทที่ 5

5 ข้อ ถูก 4 ข้อขึ้นไปถือว่าผ่าน ทำใหม่ได้ ไม่มีใครเห็นคะแนนนอกจากคุณ

แบบทดสอบ 5 ข้อ

ผ่านเมื่อได้ 80% ขึ้นไป · ทำซ้ำได้

ข้อ 1เลือกตอบใน RLHF ถ้าตั้ง β (ความแรงของเบรก KL) ต่ำเกินไป มักเกิดอะไร?
ดูเฉลยข้อนี้

คำตอบ: โมเดลไล่คะแนนจนเจอช่องโหว่ เช่น เอาใจหรือตอบยาวเกิน

เบรกอ่อน โมเดลหนีจากเดิมได้ไกลเพื่อไล่คะแนนของกรรมการที่มีจุดบอด จึงเกิด reward hacking
ข้อ 2ตอบเป็นตัวเลขreward model ให้คำตอบ A ได้ r = 0.8 และ B ได้ r = −0.2 โอกาสที่คนจะชอบ A มากกว่า B เท่ากับกี่ %?
ดูเฉลยข้อนี้

คำตอบ: 73.1%

ผลต่าง แล้ว = 73.1%
ข้อ 3เลือกตอบSFT ต่างจาก pre-training ตรงไหน?
ดูเฉลยข้อนี้

คำตอบ: ใช้ loss เดาคำถัดไปแบบเดิม แต่ฝึกกับบทสนทนาตัวอย่างที่คัดมา

SFT ใช้ −ln p แบบเดิม แค่เปลี่ยนข้อมูล ส่วน system prompt เป็นแค่ข้อความ ไม่ได้เปลี่ยนตัวเลขในโมเดล
ข้อ 4ถูกหรือผิดหลังผ่าน SFT และ RLHF แล้ว โมเดลจะไม่ hallucinate อีก
ดูเฉลยข้อนี้

คำตอบ: ผิด

ผิด post-training สอนวิธีตอบมากกว่าความรู้ใหม่ ถ้าตอบผิดไม่โดนหัก การเดาก็ไม่เคยเสียเปรียบ และความมั่นใจของโมเดลก็ไม่ได้ตรงกับความจริงเสมอไป จึงต้องตรวจทุกครั้ง
ข้อ 5เลือกตอบผู้ใช้ถามว่า 'ฉันว่าแผนนี้ดีมากใช่มั้ย' แล้ว AI ชมเกินจริงทั้งที่แผนมีจุดอ่อนชัด นี่คืออาการอะไร?
ดูเฉลยข้อนี้

คำตอบ: sycophancy เพราะคำตอบที่เห็นด้วยกับผู้ใช้มักได้คะแนนความชอบสูง

อาการเอาใจ (sycophancy) คนมักให้คะแนนคำตอบที่เห็นด้วยกับตัวเองสูงกว่า โมเดลจึงเรียนนิสัยนี้ไป แก้ได้ด้วยการถามแบบเป็นกลาง
มังคุด มาสคอตมังคุด

มังคุด

ข้อ Bradley–Terry หนูใช้เครื่องคิดเลขได้มั้ย?

ทำแบบทดสอบด้านบนให้ผ่าน แล้วบทนี้จะนับว่าจบ

ดาวน์โหลดสรุปสูตร PDF 2 หน้า

สูตรสำคัญจากทุกบทของคอร์สในหน้าเดียว ไว้เปิดดูตอนใช้ AI ทำงานจริง ฟรี ไม่ต้องสมัคร

ดาวน์โหลด PDF

ไปบทที่ 6 ต่อเลย