จากเวกเตอร์สุดท้าย กลับเป็นคะแนนทุกคำ
คะแนน 3, 2, 1, −1 ของพี่มดมาจากขั้นนี้ หลังชั้นสุดท้าย โมเดลปรับขนาดอีกรอบ แล้วหยิบเวกเตอร์ h ของ token ตัวสุดท้าย ซึ่งเป็นตำแหน่งที่ต้องทายคำถัดไป (ตอนฝึก ทุกตำแหน่งทายพร้อมกัน)
อีกตารางหนึ่งเก็บ "เวกเตอร์ขาออก" 1 แถวต่อ token เรียกว่า ตารางแปลงกลับเป็นคำ (unembedding, output layer, LM head)ตารางเวกเตอร์ประจำคำที่ใช้ตอนท้าย logit ของแต่ละคำคือ dot product ระหว่างเวกเตอร์สุดท้ายของโมเดลกับเวกเตอร์ของคำนั้นดูคำศัพท์ทั้งหมด และ คะแนนดิบ (logit)คะแนนที่โมเดลให้กับทุก token ว่าเข้ากับบริบทแค่ไหน ติดลบได้ และยังไม่ใช่ความน่าจะเป็นดูคำศัพท์ทั้งหมด ของแต่ละคำคือ ผลคูณจุด (dot product)เอาตัวเลขตำแหน่งเดียวกันของสองเวกเตอร์มาคูณกัน แล้วบวกรวม ยิ่งชี้ไปทางเดียวกันยิ่งได้ค่ามากดูคำศัพท์ทั้งหมด ระหว่าง h กับเวกเตอร์ขาออก e ของคำนั้น
ให้ h = (2, 1) และเวกเตอร์ขาออกเป็น ปลา (1, 1), ข้าว (1, 0), หนู (0, 1), รถ (−0.5, 0)
- ปลา: 2×1 + 1×1 = 3 · ข้าว: 2×1 + 1×0 = 2
- หนู: 2×0 + 1×1 = 1 · รถ: 2×(−0.5) + 1×0 = −1
ตรงกับ "แมวชอบกิน ___" ในบทที่ 1 ผ่าน ซอฟต์แมกซ์ (softmax)สูตรที่เปลี่ยนคะแนนดิบเป็นความน่าจะเป็นที่รวมกันได้ 100% โดยยก e กำลังคะแนนแล้วหารด้วยผลรวมดูคำศัพท์ทั้งหมด ได้ 65.7% / 24.2% / 8.9% / 1.2%
ลากลูกศร h จนหนูมีโอกาสสูงสุด (แมวกินหนูก็ได้นะ)
ถ้าติด: เลื่อนแถบ x ให้ติดลบเล็กน้อย เช่น h = (−0.4, 1) หนูได้ 42.3%
logit ของแต่ละคำ = dot product ระหว่าง h สุดท้ายกับเวกเตอร์ประจำคำนั้น h ชี้ไปทางไหน คำทางนั้นได้คะแนนสูง
มังคุด
ถ้ายืดลูกศร h ยาวขึ้น 2 เท่าโดยไม่เปลี่ยนทิศ จะเป็นยังไง?