什么是位置编码 Positional Encoding：模型是怎么知道词的前后顺序的

位置编码给每个词标上它在句中的位置，补上模型本身看不出顺序的信息。没有它，模型看到的文字就像一袋被打乱的积木。

什么是预训练 Pretraining：大模型是怎么被喂出来的

预训练是在海量通用文本上做语言建模的训练阶段，让模型先学会识字、语法和世界常识。它决定了一个模型的知识底座，也决定了上限大致在哪。

什么是指令微调 Instruction Tuning：从会接着写到听懂人话

指令微调是在预训练之后，用大量「指令加答案」的样本再训练一轮，让模型学会按要求作答。它是聊天机器人能做到听话的关键一步。

什么是 RLHF：人类反馈是怎么把 AI 调得更有分寸的

涌现能力指某些能力在小模型上几乎看不到，规模变大后突然出现。它解释了为什么参数与数据的规模竞赛曾被寄予厚望，也提醒我们规模不等于可靠。

什么是奖励模型 Reward Model：给 AI 答案打分的老师是怎么训出来的

奖励模型是学来做偏好打分的中间模型，它根据人类排序学会给优 answer 更高分。没有它，强化学习就缺少可以优化的目标。

什么是涌现能力 Emergent Abilities：模型大到一定程度为什么会突然变聪明

什么是灾难性遗忘：给 AI 教新东西为什么会让它忘了旧的

灾难性遗忘指模型在学新数据时把旧能力冲掉的现象。它是微调的老问题，也提醒我们：别指望一次会话就把新知识永久装进模型里。

什么是长上下文 Long Context：一份材料到底能塞给 AI 多长

长上下文指模型单次能处理的输入长度上限。窗口大只代表放得下，不代表读得懂，长材料的中间部分往往最容易被忽略。

为什么 AI 会编出不存在的参考文献：逐字生成是怎么把小错滚成大错的

大语言模型是逐字预测下一个词，遇到不会的内容时最顺的做法就是补一句像样的。编造由此发生，而不是因为它故意造假。