TomYumAi กำลังโหลด…

ลากหมุน · ถ่างนิ้วซูม · แตะเซลล์ดูข้อมูล

ทั้งหมด

~1B พารามิเตอร์ · เทรนจากศูนย์

–token ที่เรียนแล้ว
110,080เซลล์ประสาทจริง
–คะแนนรวมล่าสุด

ความคืบหน้า

เรียนไปแล้ว
–
–
–
คะแนนรวม
–
–
bits/ตัวอักษร · ยิ่งต่ำยิ่งเก่ง
ความเร็วเรียน
–
token/วินาที

คะแนนตลอดการเทรน

คะแนนรวม (bits/ตัวอักษร)ยิ่งต่ำยิ่งเก่ง · จุด = จบแต่ละช่วง
ดูเป็นตาราง
ช่วงtokenคะแนนรวม

โครงสร้างจริง

พารามิเตอร์ทั้งหมด
1,020,350,976
20ชั้น
640หัวความสนใจ (32 ต่อชั้น)
5,504เซลล์ MLP ต่อชั้น
2,048มิติกระแสหลัก
65,536คำในคลังคำ
4,096token ต่อบริบท
ทุกชั้น
–

ภาพบนสุดคือโครงสร้างจริงของ TomYum Ai: 20 เปลือกรอบแกนคลังคำ (แกนกลาง = คลังคำ 65,536 คำ, เปลือกในสุด = ชั้น 1, นอกสุด = ชั้น 20, วงนอกสุด = ชั้นทำนาย) เส้นโค้งสว่างคือหัวความสนใจ 32 เส้นต่อชั้น · ทุกเปลือกมีเซลล์ประสาท MLP 5,504 จุดตามจริง รวม 110,080 จุด ความสว่าง = ขนาดน้ำหนักขาออกจริงจากจุดพักล่าสุด · การเอียง/หมุนของเปลือก วงแหวนรอบแกน เส้นรัศมี และกรอบเป็นการจัดภาพ · สัญญาณที่วิ่งและเซลล์ที่สว่างวาบ = การคำนวณ จำนวนตามความเร็วเรียนจริง (หยุดเมื่อพักเครื่อง) · ลากหมุน ถ่างนิ้วซูม สองนิ้วเลื่อน แตะเซลล์ดูข้อมูล แตะสองครั้งพุ่งเข้าเซลล์ · ตัวเลขการเทรนอัปเดตทุก ~1 นาที · เทคนิคการเทรน: Muon + AdamW · BF16