面向写过代码、但不做 AI 的人。不堆公式、不引论文。 每页都有可以点、可以拖的小实验——从「字怎么变成 token」到「为什么会编瞎话」。
Q / K / V 就是「问题、标签、正文」。点词看权重,拖滑杆看长对话为什么吃显存。
开始实验模型眼里没有「字」,只有 token。动手看中英文怎么切,上下文预算怎么算。
开始实验句子变成坐标,就能算「像不像」。对比关键词搜索漏掉了什么。
开始实验总参数很大,每次只叫几个专家。点 token 看路由,算激活占比。
开始实验它不是会撒谎,只是在猜下一个词。调温度、玩滚雪球、当标注员。
开始实验