📌 สรุปบทที่ 3

ถ้าจำได้แค่ประโยคเดียวจากบทนี้ ขอให้เป็นประโยคนี้:

ข้างใน Transformer คือ: เปิดตารางให้ token เป็นเวกเตอร์ → ผ่าน attention (ให้คำคุยกัน) และ MLP (ให้แต่ละคำคิดต่อ) ซ้ำหลายชั้นบนทางหลัก residual → เทียบ dot product กับเวกเตอร์ของทุกคำ ได้ logit

ขั้น	ทำอะไร	สูตร / ตัวเลข	จำง่ายๆ
token → เวกเตอร์	เปิดตาราง embedding	1 แถวต่อ token	ตารางที่เรียนรู้มา
ตำแหน่ง (RoPE)	หมุน q, k ตามตำแหน่ง ในทุกชั้น	ส่วนตำแหน่งขึ้นกับ m − n	สนใจระยะห่าง
causal mask	คะแนนคำอนาคต = −∞	(1, 2, 3) → แมว 26.9%, กิน 73.1%, ปลา ปิด	ห้ามแอบดู
หลายหัว	attention หลายชุดขนานกัน	768 = 12 × 64	หลายคำถามพร้อมกัน
residual + layer norm	$x\leftarrow x+f(\text{LN}(x))$	(0, 0.5) → (0.8, 0.7)	บวกเพิ่ม ไม่เขียนทับ
MLP	ขยาย → ReLU → ย่อ	ReLU(1 + 1 − 1.5) = 0.5	คิดต่อทีละ token
unembedding	logit = h · e	(2, 1) · (1, 1) = 3	ทิศของ h เลือกคำ
พารามิเตอร์	≈ 12·d²·L	d 768, L 12 → 84.9M	ดีไซน์มาตรฐาน: MLP ราว 2 ใน 3

กลับไปที่คำถามของพี่มด: คะแนน 3, 2, 1, −1 คือ dot product ระหว่าง h กับเวกเตอร์ของแต่ละคำ (unembeddingตารางแปลงกลับเป็นคำ (unembedding, output layer, LM head)ตารางเวกเตอร์ประจำคำที่ใช้ตอนท้าย logit ของแต่ละคำคือ dot product ระหว่างเวกเตอร์สุดท้ายของโมเดลกับเวกเตอร์ของคำนั้นดูคำศัพท์ทั้งหมด✕ หน้า 9) "32 layers" คือจำนวนรอบ attention + MLPเครือข่ายป้อนไปข้างหน้า (MLP, feed-forward network)ส่วนในแต่ละชั้นที่ประมวลผลเวกเตอร์ของ token ทีละตัว โดยขยาย ผ่านฟังก์ชันโค้งอย่าง ReLU แล้วย่อกลับ เป็นที่อยู่ของพารามิเตอร์ส่วนใหญ่ในแต่ละชั้น (ราว 2 ใน 3 ในดีไซน์มาตรฐาน และมากกว่านั้นในหลายโมเดลใหม่)ดูคำศัพท์ทั้งหมด✕ ที่ซ้อนกันบน residual streamทางหลักของเวกเตอร์ (residual stream, residual connection)เส้นทางที่เวกเตอร์ของแต่ละ token ไหลผ่านทุกชั้น แต่ละชั้นอ่านแล้ว "บวกส่วนแก้" กลับเข้าไป แทนการเขียนทับดูคำศัพท์ทั้งหมด✕ และ "8B" คือจำนวนตัวเลขในตารางทั้งหมดของ Transformerทรานส์ฟอร์มเมอร์ (Transformer)สถาปัตยกรรมหลักของ LLM ส่วนใหญ่ในปัจจุบัน เปลี่ยน token เป็นเวกเตอร์ แล้วส่งผ่านชั้นของ attention และ MLP ซ้อนกันหลายชั้นจนได้ logit ของทุกคำดูคำศัพท์ทั้งหมด✕ ซึ่งคุณนับเองได้ราว 7.5B (หน้า 10)

3 อย่างที่ติดตัวไปใช้งาน

• เอกสารยาว: วางคำถามไว้ท้าย (หรือทั้งต้นและท้าย) มักได้ผลดีกว่า ลองกับงานของคุณ
• ความรู้ในพารามิเตอร์อาจเก่า ให้แนบข้อมูลสำคัญเสมอ
• ตัวเลข B ในชื่อโมเดลบอกขนาด ไม่ได้บอกว่าเหมาะกับงานคุณ

หน้าถัดไปเป็นแบบทดสอบ 5 ข้อ ทำซ้ำได้