🔬 ส่องข้างในโมเดล: feature และ superposition

หน้าเสริม ข้ามได้

ฟีเจอร์คือทิศทาง

ความหมายคือเวกเตอร์เวกเตอร์ (vector)รายการตัวเลขเรียงกัน มองเป็นลูกศรหรือพิกัดบนแผนที่ก็ได้ เช่น (0.9, 0.8)ดูคำศัพท์ทั้งหมด✕ (บทที่ 2) ทุกชั้นบวกข้อมูลลงไปผ่าน residual streamทางหลักของเวกเตอร์ (residual stream, residual connection)เส้นทางที่เวกเตอร์ของแต่ละ token ไหลผ่านทุกชั้น แต่ละชั้นอ่านแล้ว "บวกส่วนแก้" กลับเข้าไป แทนการเขียนทับดูคำศัพท์ทั้งหมด✕ (บทที่ 3)

งานส่องข้างในโมเดล (interpretability)การส่องข้างในโมเดล (interpretability)งานวิจัยที่พยายามอ่านว่าตัวเลขข้างในโมเดลแทนความหมายอะไร เช่น หาทิศทางในเวกเตอร์ที่ตรงกับแนวคิดหนึ่งดูคำศัพท์ทั้งหมด✕ พบว่าหลายแนวคิดดูเหมือนเป็น "ทิศทาง" ในเวกเตอร์ เช่น ทิศ "อาหาร" หรือ "สัตว์" เรียกว่าฟีเจอร์ (feature)

แต่ไม่ใช่ทุกแนวคิด บางอย่าง เช่น วันในสัปดาห์ เรียงเป็นวงกลม

ฟีเจอร์มากกว่ามิติ

ใน 2 มิติมิติ (dimension)จำนวนตัวเลขในเวกเตอร์ บทเรียนนี้ใช้ 2 มิติให้วาดได้ โมเดลจริงใช้หลายร้อยถึงหลายพันมิติดูคำศัพท์ทั้งหมด✕ มีทิศตั้งฉากกันได้แค่ 2 ทิศ จะอัด 3 ฟีเจอร์ให้ห่างกันที่สุดต้องวางห่างกัน 120 องศา ทุกคู่ไม่ตั้งฉากจึงรบกวนกันบางส่วน cosineความคล้ายโคไซน์ (cosine similarity)วัดว่าลูกศรสองอันชี้ไปทางเดียวกันแค่ไหน ได้ค่าระหว่าง −1 ถึง 1 โดยไม่สนความยาวดูคำศัพท์ทั้งหมด✕ ทุกคู่ −0.5000 ตามภาพ

ทำได้เพราะฟีเจอร์ส่วนใหญ่ไม่ค่อยทำงานพร้อมกัน การอัดแบบนี้เรียกว่า การซ้อนทับ (superposition)การซ้อนทับ (superposition)การที่โมเดลเก็บแนวคิดได้มากกว่าจำนวนมิติ โดยวางแต่ละแนวคิดเป็นทิศทางที่ซ้อนกันเล็กน้อย เพราะในมิติสูงมีทิศทางที่เกือบตั้งฉากกันได้จำนวนมากดูคำศัพท์ทั้งหมด✕ (Elhage et al. 2022)

ในมิติสูงยิ่งง่าย ทิศสุ่ม 2 ทิศใน 1,000 มิติ มี cosine ราว ±0.03 คือเกือบตั้งฉาก

ส่องและปรับพฤติกรรม

ตัวแยกฟีเจอร์ (sparse autoencoder) แยกฟีเจอร์จากโมเดลจริงได้หลายล้านตัว หลายตัวอ่านความหมายได้ (Templeton et al. 2024) พอเร่งค่าฟีเจอร์ "สะพานโกลเดนเกต" โมเดลก็พูดถึงสะพานนี้แทบทุกเรื่อง

งานปี 2025 เริ่มไล่ว่าฟีเจอร์ไหนส่งต่อกันเป็นเส้นทาง (circuit) จนได้คำตอบ แต่ยังทำได้แค่บางคำถาม

หลายแนวคิดดูเหมือนเป็นทิศทางในเวกเตอร์ และโมเดลอัดได้มากกว่าจำนวนมิติ ใน 2 มิติรบกวนกันมาก แต่ในหลายพันมิติวางให้เกือบตั้งฉากได้