TechLab
Interactive Explainer

五件大模型里
值得亲手拧一遍的事

面向写过代码、但不做 AI 的人。不堆公式、不引论文。 每页都有可以点、可以拖的小实验——从「字怎么变成 token」到「为什么会编瞎话」。

Attention

注意力机制在干什么

Q / K / V 就是「问题、标签、正文」。点词看权重,拖滑杆看长对话为什么吃显存。

开始实验
Tokenizer

Tokenizer 分词

模型眼里没有「字」,只有 token。动手看中英文怎么切,上下文预算怎么算。

开始实验
Embedding

Embedding 语义向量

句子变成坐标,就能算「像不像」。对比关键词搜索漏掉了什么。

开始实验
MoE

MoE 混合专家

总参数很大,每次只叫几个专家。点 token 看路由,算激活占比。

开始实验
Hallucination

AI 为什么会编瞎话

它不是会撒谎,只是在猜下一个词。调温度、玩滚雪球、当标注员。

开始实验
面向有计算机基础的读者 · 交互为机制示意 · TechLab