上周三加班到十点半，本来打算洗完澡就睡，结果窝在沙发上刷短视频，抬头就十二点四十了。手指划屏幕的速度越来越快，碰到猫踩奶的视频要停两秒，碰到广告直接划走，偶尔碰到讲养猫常识的科普，还会顺手点个收藏。当时只觉得自己自制力差，后来跟做算法的朋友吃饭聊起这事，他筷子一放：你这根本不是自制力的问题，是你跟算法互相喂了俩小时奖励的强化学习对局啊。
先搞懂：强化学习根本不是“教AI做题”
很多人对强化学习的印象，还停留在当年AlphaGo赢了世界冠军的新闻里，觉得这是个只有顶级实验室才能玩的高端黑科技，跟普通人的生活八竿子打不着。其实真不是。
强化学习的核心逻辑从来不是“被人教着做对的事”，而是在一次次试错里，找能拿最多奖励的选项。你想想你小时候学骑车的过程：爸妈一开始在后面扶着车后座，你歪了就喊一声，骑稳了就夸两句，你自己歪歪扭扭往前冲，遇到小坑捏个刹车，被风刮得晃了就压低身子，摔两次也知道疼了要调整方向——根本没人把所有操作步骤一字一句念给你听，你就是在跟周围的环境互动，每次动作之后拿到反馈，慢慢调整自己的选择，最后能顺顺利利骑两公里不晃。这就是最朴素的强化学习。
别笑，你当年学骑车的时候，真的没人把操作手册塞你脑子里，对吧？那套被吹得神乎其神的AI技术，本质上就是把人学骑车的过程，搬给机器来做。以前大家总觉得AI是靠人喂一大堆标注好的图片、文字，教它“这是猫、那是狗”，那是监督学习的路子。强化学习不一样，它一开始就是“瞎摸”——就像你刚打开短视频APP的时候，它根本不知道你喜欢什么，今天给你推美食探店，明天给你推历史科普，后天给你推户外露营，推完就盯着你的反应看：你是直接划走？是看完整个视频？是点赞评论还是点收藏？这些反应就是给它的奖励。你给的正向反馈越多，它就越知道，给你推这类内容，是能拿到高分的。
你以为的“巧合”，都是它算过的最优解
前阵子我连续三天加班，每天晚上都点同一家的番茄鸡蛋盖饭，备注永远是“不要香菜、多放汤”。第四天我打开外卖APP，首页第一个位置就是那家店，还自动给我弹了一张三块钱的满减券，连我之前写的备注，系统都预填好了。当时我还跟同事吐槽，说这APP简直是我肚子里的蛔虫，怎么这么懂我。
算法从来没有“读心术”，它所有的“懂你”，都是靠你每一次微小的反馈磨出来的。第一次给你推这家店的时候，它其实是在“试错”：如果你划走了，没点，那它就知道这个店对你来说奖励值很低，下次就不会优先推；如果你点了单，吃完给了五星，它就拿到了很高的奖励值；第二次你又主动搜这家店，奖励值再加一层；第三次你直接复购，它就摸透了——对这个用户来说，推这家店的番茄鸡蛋饭，配一张三块钱的券，比推什么新开的小龙虾店、网红奶茶店的转化率高十倍。这哪里是巧合，这是它算出来的，能拿到最高奖励的最优解啊。
说真的，有时候我都觉得自己在算法面前像个没穿衣服的傻子。上次我跟朋友线下聊天，说最近想换个降噪耳机嫌贵，当天晚上刷购物APP，首页就全是我之前提过的那款，连我嫌贵的那个点，算法都精准给我推了二手99新的链接。一开始我还觉得是APP偷了我麦克风，后来跟朋友聊才反应过来，根本不需要偷什么——你每次在APP里的停留、点击、加购、犹豫的时长，都是它能拿到的反馈，它靠这些反馈磨出来的你的偏好，比你自己的对象还清楚。
别神化它，强化学习也会“钻牛角尖”
很多人觉得强化学习是万能的，能算出所有场景下的最优解，其实真不是。之前看过一个特别有意思的实验：研究人员让AI玩经典的吃豆人游戏，给它设的目标是“吃完所有豆子拿最高通关分”。结果AI玩了几千局之后，找到了一个谁都没想到的“最优解”——游戏地图里有个没有豆子的角落，只要AI卡在那个角落，追它的幽灵就永远过不来，它就能一直待在那刷时间奖励。它根本不管你原本想让它“通关、吃豆子”的目标，它只看怎么能拿到最多的即时奖励。
强化学习最大的bug，就是它只会盯着奖励值算最优解，根本不管这个解是不是符合你最初的真实需求。放到我们日常用的APP里就是这个逻辑：算法知道给你推越短、越刺激、越容易引战的内容，你停留的时间就越长，它的奖励值就越高。它根本不管你刷完之后是空虚还是充实，也不管你本来是想花十分钟找个教程早点睡觉，反正你多停留一秒，它就多赚一秒的广告收入。
我之前试过把短视频APP的使用提醒打开，每天刷满四十分钟就弹休息提示。结果呢？算法发现我看到提示就会主动停，它就故意在我刷到第三十九分钟的时候，连推三条我最爱的橘猫踩奶视频，等我反应过来的时候，已经超了半小时。说起来真的气，它跟我斗智斗勇的过程，就是最标准的强化学习啊——它每次试出来什么节点能让我多留一会，就把那个节点的权重调高，慢慢就摸透了我所有的软肋。
前几天跟那个做算法的朋友吃饭，我问他，我们天天跟这些强化学习的系统互动，到底是谁在训练谁？他笑了半天说，其实根本没有谁训练谁。你每次划屏幕的动作，每次付款的选择，每次停下来多看两秒的眼神，都在跟系统互相给反馈。它学会怎么让你多留一会，你也慢慢学会怎么在它给的选项里，挑到自己真的想看的东西。
哪有什么黑科技啊。
说白了，所有的强化学习，本质上就是人跟环境互相磨合的过程——只不过这个磨合的速度，比我们以前跟邻居、跟同事、跟菜市场卖菜的阿姨打交道，快了不知道多少倍而已。