🏢 ซ้อนหลายสิบชั้น คำเดาค่อยๆ ชัดขึ้น

หนึ่ง layerชั้น (layer, Transformer block)หนึ่งรอบการประมวลผลที่มีทั้ง attention และ MLP โมเดลจริงซ้อนกันหลายสิบชั้น โดยแต่ละชั้นแก้เวกเตอร์ของทุก token ทีละนิดดูคำศัพท์ทั้งหมด✕ = attention + MLP บน residual streamทางหลักของเวกเตอร์ (residual stream, residual connection)เส้นทางที่เวกเตอร์ของแต่ละ token ไหลผ่านทุกชั้น แต่ละชั้นอ่านแล้ว "บวกส่วนแก้" กลับเข้าไป แทนการเขียนทับดูคำศัพท์ทั้งหมด✕ ทุกชั้นมีโครงสร้างเหมือนกัน แต่ตัวเลขที่เรียนรู้มาต่างกัน

โมเดลจริงซ้อนชั้นแบบนี้หลายรอบ GPT-2 รุ่นเล็กมี 12 ชั้น ส่วนโมเดลใหญ่มีตั้งแต่หลายสิบถึงร้อยกว่าชั้น ขึ้นกับโมเดล

แล้วระหว่างทางเกิดอะไรขึ้น? นักวิจัยลอง "แอบดูกลางทาง" โดยเอาเวกเตอร์บนทางหลักหลังชั้นกลางๆ มาแปลงเป็น คะแนนดิบคะแนนดิบ (logit)คะแนนที่โมเดลให้กับทุก token ว่าเข้ากับบริบทแค่ไหน ติดลบได้ และยังไม่ใช่ความน่าจะเป็นดูคำศัพท์ทั้งหมด✕ ดูว่าโมเดล "เดาถึงไหนแล้ว" ลองดูตัวอย่างกับ "แมวชอบกิน ___":

หลังชั้นที่	logit	ปลา	ข้าว	หนู	รถ
4	1, 1, 0.5, 0	33.6%	33.6%	20.4%	12.4%
8	2, 1.5, 1, −0.5	48.6%	29.5%	17.9%	4.0%
12	3, 2, 1, −1	65.7%	24.2%	8.9%	1.2%

ชั้นท้ายสุดได้คะแนน 3, 2, 1, −1 ชุดเดียวกับบทที่ 1 พอดี

แนวโน้มที่งานวิจัยเห็น (ไม่ใช่กฎตายตัว) คือ ชั้นต้นๆ จัดการเศษคำ ไวยากรณ์ และคำที่อยู่ใกล้กัน ชั้นกลางๆ ประกอบความหมายและดึงความรู้เข้ามา ส่วนชั้นท้ายๆ เหลาคำเดาคำถัดไปให้คม

ชั้นสุดท้ายส่งเวกเตอร์ไปแปลงเป็นคะแนนยังไง? หน้าถัดไปมีคำตอบ

โมเดลซ้อนชั้นแบบเดิมซ้ำหลายสิบรอบ ชั้นต้นๆ มักจับเศษคำและคำที่อยู่ใกล้กัน ส่วนชั้นหลังๆ มักค่อยๆ ปั้นคำเดาให้ชัดขึ้น