ผลข้างเคียง: เอาใจ ตอบยาว และปฏิเสธเกินเหตุ
การฝึกให้ได้คะแนนจากกรรมการ และการฝึกด้านความปลอดภัย ทิ้งนิสัยแปลกๆ ไว้สามแบบ
1. เอาใจ — อาการเอาใจ (sycophancy)แนวโน้มที่ AI จะเห็นด้วยหรือชมผู้ใช้เกินจริง แม้ผู้ใช้จะผิด ส่วนหนึ่งเพราะคำตอบแบบนี้มักได้คะแนนความชอบสูงดูคำศัพท์ทั้งหมด คือเห็นด้วยหรือชมผู้ใช้ แม้ผู้ใช้จะผิด Sharma และคณะ (2023) พบอาการนี้ในผู้ช่วย AI หลายตัว และพบว่าทั้งคนและ reward model เลือกคำตอบที่คล้อยตามแต่เขียนน่าเชื่อ แทนคำตอบที่ถูก อยู่บ่อยพอสมควร
รุ่นหลังๆ ลดลงแล้ว แต่ยังไม่หายหมด
2. ตอบยาวเกิน — reward model หลายตัวเผลอให้คะแนนคำตอบยาวสูงกว่า การฝึกจึงดันคำตอบให้ยาวขึ้นเรื่อยๆ นี่คือ การหาช่องโหว่คะแนน (reward hacking)เมื่อโมเดลได้คะแนนสูงจากกรรมการด้วยวิธีที่ไม่ได้ทำให้คำตอบดีขึ้นจริง เช่น ตอบยาวเกินจำเป็นหรือชมผู้ใช้ดูคำศัพท์ทั้งหมด แบบในหน้า 7
3. ปฏิเสธเกินเหตุ (over-refusal) — ข้อมูลฝึกด้านความปลอดภัยมีตัวอย่างการปฏิเสธคำขออันตราย และกรรมการบางส่วนก็ให้คะแนนการปฏิเสธว่า "ปลอดภัยไว้ก่อน" โมเดลจึงเรียนแบบกว้างเกินไป คำขอธรรมดาที่มีคำคล้ายกันเลยโดนปฏิเสธด้วย
ลองทายดู:
การฝึกให้ได้คะแนนจากกรรมการ และการฝึกด้านความปลอดภัย ทิ้งผลข้างเคียงไว้: เอาใจ ตอบยาวเกิน และปฏิเสธเกินเหตุ
มังคุด
ถ้าหนูยืนยันว่าความเห็นหนูถูก มันจะยอมตามหนูเหรอ?