这般感觉属实不少。跟AI对话，对方总是温文尔雅的。便是问些蠢问题，它也不予嘲笑，还能条理分明地分点来答，末了加句"还有什么可以帮到你"。人们常以为这是AI天性如此，错得离谱。早年那些刚诞生的AI，口无遮拦得很，比楼下烧烤摊喝高了的大哥还狂躁，你说什么它就能接出一句让你咋舌的回应。
时间回溯一下。现今能陪你聊天的大模型，第一道关卡是预训练。这说白了就是公司从网上搜集了海量文本，让模型去学习。它做的事简单却狠辣：你对它说前半句，它就猜后半句最可能是什么。前面写"今天天气真"，它就去计算后面跟"好"还是"烂"的概率高。如此字字往下推，它将人类互联网上几十年的信息全吞下肚，书里的、论坛上的、新闻中的，连评论区争吵的都包含在内。
问题就出在这里。互联网是什么样，大家心知肚明。既有知识也有粗口，有真相也有偏见，有正经科普也有营销号满嘴胡诌。模型却不管这些，它只负责模仿。谁写得多它就学谁的语气，谁出现得频繁它就记住谁的逻辑。所以预训练完的模型，是个啥都懂点但又啥都不挑的续写狂魔。你问它如何看待某个群体，它能顺嘴给你几句歧视言论；你问它一道数学题，它能一本正经编个错答案还编得滴水不漏。这种状态叫什么？叫能说但不会懂理，像是个背了全天下的书却没正经上过学的小孩。
你随便逗它一句，它可能回你一堆不三不四的话，或者突然开始破口大骂，或者干脆把你的上一句复制粘贴当答案糊弄你。它脑子里没有对错这根弦，只有概率大小。你以为它在认真思考，其实它只是在玩一个高级版的文字接龙。这也是为何早年模型时常翻车，一句话说得人眉头紧锁，根本没法拿出去示人。
公司又该如何是好？总不能把这么个野孩子直接推出来见人。这时候就需要第二道工序，即今天要聊的主角，RLHF。这串字母拆开念是基于人类反馈的强化学习，听着拗口，实则核心就一句话：教模型什么叫好的回答。前面预训练是让它长脑子，这一步是让它学做人。
具体怎么教？第一步最笨也最有效，叫人上。公司雇用了一堆标注员，给同一个问题甩出好几个不同的回答，然后让这些人排序。这个回答更靠谱排前位，那个回答满嘴胡话排后位，这个回答虽然对但态度恶劣的也往后挪。如此一份份地比，比出一大堆谁好谁坏的数据。这一步特别像你妈给你挑相亲对象，不是看谁绝对完美，是看谁相对更顺眼。
光靠人一个个盯不行，人累死也盯不过来每天几亿次对话。因此第二步，用这些排序数据训练一个专门的裁判，行话叫奖励模型。你就把它理解成公司培养了一个唯利是图的评委，专门学人类那套审美：人喜欢的样子它就给高分，人讨厌的样子它就打低分。这个评委自己不上场答题，它的活儿就是打分，而且打得飞快，一秒钟就能给成千上万句回答判分。
这里头有个细节挺聪明。人类给回答排序，比直接打分靠谱得多。你想啊，让一个人给一句回答打几分，他心里没谱，八十分还是八十五分全凭当天心情。但让他在两个回答里挑更好的那个，他一下子就能选出来。RLHF就钻了这个空子，把难办的打分变成好办的二选一，再用这些二选一的数据去教奖励模型学会那把尺子。说白了，人类懒得量，但人类很会比，于是工程师就把活儿设计成人类最擅长的事。
第三步才轮到强化学习登场，这也是RLHF里那个RL的本来面目。模型开始自己答题，每答完一道，奖励模型就给它打个分。分高，相当于训狗时丢过去一块零食，模型就知道自己刚才那路数走对了，往后多往这方向靠；分低，相当于没零食还挨了下，它就收敛。就这么来回刷，模型一点点把自己的说话方式往人类爱听的方向拧。注意，它学的不是知识，预训练阶段知识早灌完了，它现在学的是讨好人类的姿势。这就跟训狗一模一样：你不用跟狗讲道理，你只要在它做对时给肉干，做错时给棍子，它自然就学会了如何讨你欢心。
