晚上十一点，你躺床上，手机屏幕亮着。手指戳了“明天南京”四个字，输入法啪一下蹦出“天气”。你点了一下，完事。整个过程不到一秒。你可能觉得手机挺懂你。说实话，它未必懂。它只是在做模型推理。
这四个字听起来挺唬人。拆开看，没那么玄。模型，就是一堆数字。推理，就是拿这些数字算来算去。算啥？算你下一个字最可能是什么。就这么简单。当然，算的过程不简单，但道理就这么个道理。
它不是在“想”，是在算概率
你给模型一句话，它不会像人一样琢磨“这句话啥意思”。它把字变成数字，然后一层一层算。最后输出一个长长的列表，上面写着：下一个词是“天气”的概率多少，是“下雨”的概率多少，是“热”的概率多少。然后挑一个。挑完，把新词加到句子里，再来一遍。一个词一个词往外蹦。
像接龙。但比接龙狠多了。你接龙靠脑子，它靠矩阵乘法。一秒钟算几万次、几百万次，甚至更多。你感觉它秒回，其实是它在后台疯狂算账。
拿生活里的事打个比方。你妈问你晚上回不回来吃饭。你还没开口，她心里已经算上了：今天下雨，你加班，冰箱里还有剩菜，上次你打电话说最近忙。几个因素一叠加，她猜你大概率不回来。她不是百分百确定，她是猜。模型推理也这德性。它不保证对，它挑概率高的那个。
不过话说回来，你妈猜你，用的是生活经验。模型用的是参数。参数是啥？就是它训练时留下的数字。训练像学生刷题，推理像学生考试。刷题的时候，它看大量文本，调参数。考试的时候，参数固定了，它拿你给的问题算答案。你每问一次，它就跑一次推理。训练一次，推理无数次。
误区：它不是搜索，也不是真的懂你
很多人以为，问模型一个问题，它就去数据库里翻。翻到了，抄给你。不是。它没有一本现成的答案本。它把看过的东西压进参数里，然后根据你的问题，现场捏一个回答出来。像你把一本菜谱揉成面团，再根据客人点的菜，捏出个差不多的饺子。形状像，味道不一定对。
所以它会胡说。一本正经地胡说。你问它南京哪家鸭子店好吃，它可能给你编一个不存在的店名。地址、电话、营业时间，编得跟真的一样。这叫幻觉。不是它故意骗你。它只是在算：哪个词接上去最顺嘴。顺嘴，不等于真。
再打个比方。你喝多了，朋友问你“那个谁电话多少”。你脑子一热，张嘴就报一串数字。听起来像真的，其实你根本没存。模型不喝酒，但它也会干这种事。
所以别把它当百科全书。它更像一个嘴快、记性杂、偶尔不靠谱的实习生。你可以让它帮你起个草稿、换个说法、找找灵感。但关键信息，自己核一遍。别偷懒。
模型推理快慢，跟什么有关
你问它一个问题，它为啥有时候快，有时候慢？原因不少。
模型大小算一个。参数越多，算得越多。大模型像大饭店，后厨几十个灶。小模型像路边摊，一个锅。大饭店能做大菜，但点火也慢。
你输入多长，它输出多长，也影响速度。它每生成一个字，都要算一遍。你让它写两千字，它就得算两千次。像你写毛笔字，每写一个字都要蘸墨。写短句快，写长文慢。
硬件也关键。GPU 像大灶，CPU 像小煤气灶。模型推理要并行算，GPU 擅长这个。手机为啥跑不动大模型？算力小，电池热，内存也不够。所以大部分大模型推理在云端。你手机只负责传话和显示。
这就带来一个问题：你的问题要传到别人机房。隐私敏感的东西，别乱问。对吧？现在有些手机开始搞本地小模型推理，做输入法联想、相册分类、语音转文字。这些不需要联网。但真正的大模型，还是云端为主。
还有个容易混的地方。你对着智能音箱说“放周杰伦”。它先听懂你，这是语音模型推理。然后去找歌，这是搜索。然后播放。两码事。别把搜索和推理搅一起。
为什么你感觉它像人
因为模型推理不是每次都选概率最高的词。如果只选最高的，回答会很死板。像机器人念稿。所以有个参数叫温度。温度低，它保守，选最稳的词。温度高，它敢冒险，选冷门词。创意多了，胡话也多了。
像你点菜。温度低，你点常吃的。温度高，你点没吃过的。模型也一样。所以同一个问题，你问两遍，答案可能不一样。不是它精神分裂，是它在按概率抽签。
还有上下文窗口。它只能记住一定长度的对话。超了，就忘。像你开会，前面说的记不住。所以重要的事，要么放前面，要么重复说。别指望它记住你半小时前随口提的一句话。
模型推理这东西，说穿了就是算概率。算得快，不代表算得对。你下次看到输入法猜中你，或者 ChatGPT 秒回你，可以笑一下：哦，又在算呢。
别神化它。也别怕它。它就是个工具。用好了，省事。用不好，添乱。就这样。