📈 ใหญ่ขึ้น 10 เท่า เก่งขึ้นแค่ไหน

กฎการขยายขนาด (scaling law)กฎการขยายขนาด (scaling law)ความสัมพันธ์ที่พบจากการทดลองว่า loss ลดลงแบบกฎกำลังเมื่อเพิ่มขนาดโมเดล ข้อมูล และการคำนวณไปพร้อมกัน ดีขึ้นแต่ช้าลงเรื่อยๆดูคำศัพท์ทั้งหมด✕ คือสิ่งที่พบจากการทดลอง (Kaplan et al. 2020; Hoffmann et al. 2022): เพิ่มพารามิเตอร์ N ข้อมูล D และการคำนวณพร้อมกัน loss จะลดอย่างราบรื่นตามกฎกำลัง (power law)

ตารางของเล่น: loss มี "พื้น" ที่ 1.7 ส่วนที่เกินพื้นลดครึ่งทุกครั้งที่โมเดลใหญ่ขึ้น 10 เท่า (สมมติว่าข้อมูลและการคำนวณเพิ่มตาม)

N (พารามิเตอร์; M = ล้าน, B = พันล้าน, T = ล้านล้าน)	loss	ส่วนเกินจากพื้น
100M	3.7	2
1B	2.7	1
10B	2.2	0.5
100B	1.95	0.25
1T	1.825	0.125

ถ้าขยายแต่ N โดยข้อมูลเท่าเดิม ผลจะดีขึ้นน้อยลงจนแทบหยุด

ค่าใช้จ่ายวัดเป็น ปริมาณการคำนวณ (compute)ปริมาณการคำนวณ (compute, FLOPs)จำนวนการคูณและบวกเลขทั้งหมดที่ใช้ฝึกโมเดล ประมาณคร่าวๆ ได้ว่า 6 × จำนวนพารามิเตอร์ × จำนวน tokenดูคำศัพท์ทั้งหมด✕ ราว C ≈ 6 × N × D (ต่อพารามิเตอร์ต่อ token: รอบเดินหน้าราว 2 การคำนวณ รอบย้อนกลับราว 4)

ข้อที่แล้วใช้ 20 token ต่อพารามิเตอร์ ตรงกับกฎคร่าวๆ จาก Chinchilla (70B พารามิเตอร์, 1.4 ล้านล้าน token): เมื่องบการคำนวณคงที่ ใช้ราว 20 token ต่อพารามิเตอร์ ได้ loss ต่ำสุด (compute-optimal)

รุ่นหลังหลายตัวฝึกนานกว่านั้นมาก เช่น Llama 3 8B ใช้กว่า 15 ล้านล้าน token (กว่า 1,800 ต่อพารามิเตอร์) เพราะโมเดลเล็กใช้งานถูกกว่า (บทที่ 6)

ยิ่งโมเดลใหญ่และข้อมูลมาก loss ยิ่งลด แต่ทุก 10 เท่าได้ผลน้อยลง ค่าคำนวณตอนฝึก ≈ 6ND