AI มองเห็นภาพได้ยังไง
ใบสมัครบางใบที่ agent อ่านเป็นภาพสแกน AI อ่านภาพได้ยังไง?
AI หลายสื่อ (multimodal)โมเดลที่รับข้อมูลได้มากกว่าข้อความ เช่น ภาพหรือเสียง โดยมักหั่นเป็นชิ้นเล็กแล้วแปลงเป็นเวกเตอร์แบบเดียวกับ tokenดูคำศัพท์ทั้งหมด หลายตัวอาศัยแนวคิดจากงาน ViT (Dosovitskiy et al. 2020):
- ย่อภาพ แล้วหั่นเป็นแผ่นเล็กขนาด 16 × 16 พิกเซล แต่ละแผ่นคือตัวเลข 16 × 16 × 3 สี = 768 ตัว
- แต่ละแผ่นถูกแปลงเป็นเวกเตอร์ (vector)รายการตัวเลขเรียงกัน มองเป็นลูกศรหรือพิกัดบนแผนที่ก็ได้ เช่น (0.9, 0.8)ดูคำศัพท์ทั้งหมด โมเดลที่เปิดเผยรายละเอียดส่วนใหญ่ส่งแผ่นภาพผ่านตัวเข้ารหัสภาพ (vision encoder) ก่อน แล้วมีชั้นแปลงให้เวกเตอร์มีขนาดเท่า เอ็มเบดดิง (embedding)การแปลงคำหรือข้อความเป็นชุดตัวเลข (เวกเตอร์) ข้อความที่ความหมายใกล้กันจะได้ตัวเลขใกล้กันดูคำศัพท์ทั้งหมด ของ โทเคน (token)ชิ้นข้อความที่ AI มองเห็นจริงๆ อาจเป็นทั้งคำ ส่วนของคำ หรือตัวอักษรเดียว แต่ละชิ้นมีเลขประจำตัวดูคำศัพท์ทั้งหมด (บทที่ 2) บางโมเดลรวมหลายแผ่นเป็น token เดียว
- เวกเตอร์ของภาพเข้าไปอยู่ใน context ข้างๆ token ข้อความ ข้อความที่ตามหลังภาพมองย้อนไปที่ทุกแผ่นได้ผ่าน กลไกความสนใจ (attention)วิธีที่แต่ละคำเลือกว่าจะ "ฟัง" คำอื่นในประโยคมากน้อยแค่ไหน โดยใช้ softmax แบ่งน้ำหนักให้รวมได้ 100%ดูคำศัพท์ทั้งหมด
ลองนับ: ภาพ 224 × 224 หั่นได้ 14 × 14 = 196 แผ่น ถ้าภาพ 448 × 448 (กว้างและสูงเป็น 2 เท่า) ได้ 784 แผ่น มากขึ้น 4 เท่า จำนวนแผ่นโตตามพื้นที่ภาพ จนถึงขนาดสูงสุดที่แอปย่อให้
ผลที่ตามมา: ภาพใหญ่กิน หน้าต่างบริบท (context window)จำนวน token สูงสุดที่โมเดลมองเห็นได้ในครั้งเดียว นับรวมทั้งคำสั่งและคำตอบดูคำศัพท์ทั้งหมด และค่าใช้จ่ายมากขึ้น
และเมื่อภาพกลายเป็น token ใน context เดียวกับคำสั่ง คำสั่งก็ซ่อนในภาพได้ หน้าถัดไปจะดูว่ามันอันตรายแค่ไหน
AI อ่านภาพโดยหั่นเป็นแผ่นเล็กๆ แล้วแปลงแต่ละแผ่นเป็นเวกเตอร์แบบเดียวกับ token ภาพใหญ่ขึ้นจึงกิน context มากขึ้น
มังคุด
แล้วตอนมันอ่านภาพ มันเห็นภาพทั้งภาพพร้อมกันเหมือนคนมั้ย?