ลากหมุน · ถ่างนิ้วซูม · แตะเซลล์ดูข้อมูล
~1B พารามิเตอร์ · เทรนจากศูนย์
| ช่วง | token | คะแนนรวม |
|---|
ภาพบนสุดคือโครงสร้างจริงของ TomYum Ai: 20 เปลือกรอบแกนคลังคำ (แกนกลาง = คลังคำ 65,536 คำ, เปลือกในสุด = ชั้น 1, นอกสุด = ชั้น 20, วงนอกสุด = ชั้นทำนาย) เส้นโค้งสว่างคือหัวความสนใจ 32 เส้นต่อชั้น · ทุกเปลือกมีเซลล์ประสาท MLP 5,504 จุดตามจริง รวม 110,080 จุด ความสว่าง = ขนาดน้ำหนักขาออกจริงจากจุดพักล่าสุด · การเอียง/หมุนของเปลือก วงแหวนรอบแกน เส้นรัศมี และกรอบเป็นการจัดภาพ · สัญญาณที่วิ่งและเซลล์ที่สว่างวาบ = การคำนวณ จำนวนตามความเร็วเรียนจริง (หยุดเมื่อพักเครื่อง) · ลากหมุน ถ่างนิ้วซูม สองนิ้วเลื่อน แตะเซลล์ดูข้อมูล แตะสองครั้งพุ่งเข้าเซลล์ · ตัวเลขการเทรนอัปเดตทุก ~1 นาที · เทคนิคการเทรน: Muon + AdamW · BF16