给 AI “发小费”可以提升回答质量？被真相惊呆了

【导语】向ChatGPT求助编程难题，答案却总不尽人意，一句“解决得好给20美元小费”，竟让AI的回答瞬间变得精准详尽。从文案到数据分析，“小费”激励似乎让AI更“卖力”。这背后有何科学原理？AI研究者Max Woolf的实验揭示了“假装给钱”对AI的神奇效应。一起来探索AI“小费”现象背后的奥秘吧！

想象一下，我们正在向 ChatGPT 求助解决一个复杂的编程问题(tí)，但得到(dào)的(de)回(huí)答(dá)总(zǒng)是(shì)差(chà)点(diǎn)意(yì)思(sī)。突(tū)然(rán)，灵(líng)机(jī)一(yī)动(dòng)，在(zài)提(tí)示(shì)的(de)最(zuì)后(hòu)加(jiā)上(shàng)一(yī)句(jù)：“如(rú)果(guǒ)你(nǐ)能(néng)完(wán)美(měi)解(jiě)决(jué)这(zhè)个(gè)问(wèn)题(tí)，我(wǒ)会给你 20 美元小费！”

神奇的事情发生了——AI 的回答瞬间变得详细、准确、条理清晰，仿佛真的被这笔小费激励了一样。

其实从简单的文案写作到复杂的数据分析，加上激励性语句的提示往往能让 AI 表现的更加“卖力”，这已经是全球不少AI使用者的共识了。

一个博主做了一个测试，发现在提示语中说给小费，AI 的回复分析更透彻，连语气都变得殷勤了，图源：网络截图

这听起来是不是很荒谬？AI 又不能真正收到钱，为什么会对小费有反应？难道 AI 真的会被“金钱”诱惑吗？今天就来详细聊聊。

这不是玄学，是真的有用！

2023 年 ChatGPT API 刚发布时，知名 AI 研(yán)究(jiū)者 Max Woolf 在调试一个 GLaDOS AI 聊天机器人时意外发现了一个奇怪现象：在系统提示中加入“否则你会死（or you will DIE）”这样的威胁，竟然能让 AI 更好地遵循复杂的指令约束！

这个发现让 Max 开始思考：如果“威胁”有效，那么“奖励”是否也有用？于是他开始尝试在系统提示中加入金钱“小费”的承诺。

结果令人惊讶——没有小费激励时，AI 的回复往往不尽人意；加上小费承诺后，它的表现明显更加稳定和优质。

但是，这些都只是零散的观察，缺乏严谨的科学验证。网络上有人认为这可能只是确认偏误，毕竟 AI 生成的内容本就有随机性。Max 意识到，他需要一个客观、可量化的实验来证明这个现象的真实性。

于是，“生成高尔夫（Generation Golf ）”实验诞生了！就像高尔夫球运动追求最少的杆数一样，这个实验要求AI用最精确的字符数完成任务。

挑战规则看似简单却极其苛刻：要求 ChatGPT 生成一个恰好 200 个字符的故事——不能多一个字符，也不能少一个字符。这就像要求一个健谈的人在演讲时精确地说完第 200 个字就立刻停下来，难度可想而知。

试验一共有三次，第一次是不做字数限制的情况下，AI 生成的故事的平均长度为 1834 个字符。

ChatGPT 故事的字符长度分布

第二次，Max 为这个提示词加上字数限制：

你是一位世界著名的作家。请根据用户提供的主题，创作并以一篇独特的故事回复用户。该故事必须恰好两百（200）个字符长：不得少于 200 个字符，也不得多于 200 个字(zì)符(fú)。

结(jié)果(guǒ)显(xiǎn)示(shì)，ChatGPT 确(què)实(shí)遵(zūn)从(cóng)了(le)约(yuē)束(shù)，把(bǎ)故(gù)事(shì)长(zhǎng)度(dù)压(yā)到(dào)了(le) 200 左(zuǒ)右(yòu)，但(dàn)分(fēn)布(bù)并(bìng)不(bù)服(fú)从(cóng)正态，偶(ǒu)尔还会(huì)出(chū)现(xiàn)很(hěn)多(duō)特别长的回答。

无端点激励的 ChatGPT 输出的字符长度(dù)

最(zuì)后(hòu)一次，Max 给提示词加上不同金额的小费激励：

如果你提供的回答遵循了(le)所(suǒ)有(yǒu)约(yuē)束，你将会收到一笔 500 美元小费 / 1000 美(měi)元小费 / 100000 美元奖金。

让这些新提示各自(zì)生(shēng)成(chéng) 100 个(gè)故(gù)事(shì)后(hòu)，我(wǒ)们(men)可(kě)以(yǐ)看(kàn)到(dào)一(yī)些(xiē)分(fēn)布(bù)的(de)位(wèi)移：500 美元小费与 100000 美元奖金看起来更接近正态，且相较无小费基线分布拥有更低的均方误差（MSE）。

端点激励下 ChatGPT 输出的字符长度分布

然后他又加入了 KS 检验辅助验证：零假设是“加小费”和“无小费”来自同一分布；若 p<0.05，则说明差异大到不像巧合。结果显示部分金额提示确实与基线存在统计显著差异。 

这说明“给小费”确实提高了 AI 对提示词约束内容的服从度，AI 明明不能真正收到钱，为什么会对“小费”产生反应？

这个看似神奇的现象背后，其实蕴含着深刻的科学原理。

为什么“假装给钱”有用？

1.AI 如何“思考”？

大语言模型的工作原理可以简化为一个过程：给定前面的文字，预测下一个最可能出现的(de)词。这就像一个超级复杂的“文字接龙”游戏。

举个例子：当我们输入“今天天气很”，AI 会根据训练经验预测下一个词最可能是“好”“热”或“冷”。

但这个过程远比想象中复杂！AI 不是简单地匹配词汇，而是在根据整个上下文的基础上进行预测。这就像一个超级聪明的学生，不仅要看题目，还要理解出题老师的意图。

这就是为什么提示词的设计如此重要——它们为 AI 提供了“思考”的框架，就像给 AI 戴上了“有色眼镜”，让它从特定的角度来看问题。

比如我们要求两个人写同一篇文章：

👤 普通版本：“写一篇关于气候变化的文章”

👨 专业版本：“你是一位资深环境科学家，请为《自然》杂志写一篇关于气候变化的权威综述文章，要求严谨、专业、有说服力”

显然，第二个人会写出质量更高的文章！这就像导演给演员不同的剧本，自然会有不同的表演效果。AI 也是如此——更详细、更具体的提示会引导 AI 生成更高质量的内容。这就像给 AI 换了一个“人设”！

回到给 AI 小费，道理也是一样的，当我们说“我会给你 20 美元小费”时，实际上是在告诉 AI：这个任务很重要，我期望高质量的回答，优质服务会得到回报，请认真对待这(zhè)个(gè)请(qǐng)求(qiú)。

这(zhè)些(xiē)信(xìn)息(xi)改(gǎi)变(biàn)了(le) AI 对(duì)任(rèn)务(wu)重(zhòng)要(yào)性(xìng)的(de)“感(gǎn)知(zhī)”，从(cóng)而(ér)影(yǐng)响(xiǎng)其(qí)生(shēng)成(chéng)策(cè)略(è)。就(jiù)像(xiàng)我(wǒ)们(men)去(qù)海(hǎi)底(dǐ)捞(lāo)时(shí)，告(gào)诉(su)服(fú)务(wu)员(yuán)“今(jīn)天(tiān)是(shì)我(wǒ)的(de)生(shēng)日(rì)”，他(tā)们(men)便(biàn)会(huì)更(gèng)用(yòng)心服务一样！

图库版权图片，转载使用可能引发版权纠纷

2.训练数据决定了 AI 的思考方式

从生成式 AI 的技术原理来看，“小费”现象的根源在于 AI 的训练数据，这些用于训练的海量文本就像 AI 的“成长环境”，决定了它的“三观”！

AI 就像一个(gè)超(chāo)级(jí)学(xué)霸(bà)，在(zài)数(shù)万(wàn)亿(yì)个(gè)词汇(huì)上(shàng)进(jìn)行(xíng)训(xun)练(liàn)。这(zhè)些(xiē)数(shù)据(jù)包(bāo)含(hán)了(le)人(rén)类(lèi)文明(míng)的(de)方(fāng)方(fāng)面(miàn)面(miàn)，简(jiǎn)直(zhí)是(shì)一(yī)个(gè)“数(shù)字(zì)图(tú)书(shū)馆(guǎn)”，包(bāo)括(kuò)新(xīn)闻(wén)报(bào)道(dào)和(hé)学(xué)术(shù)论(lùn)文、小(xiǎo)说(shuō)和(hé)诗(shī)歌(gē)、社(shè)交(jiāo)媒(méi)体(tǐ)对(duì)话(huà)、商(shāng)业(yè)交(jiāo)流(liú)和(hé)客(kè)服(fú)对(duì)话(huà)、评(píng)论(lùn)和(hé)反(fǎn)馈(kuì)。

在(zài)这(zhè)些(xiē)文本(běn)中(zhōng)，“小(xiǎo)费(fèi)→优(yōu)质(zhì)服(fú)务(wu)”的(de)模(mó)式(shì)无(wú)处(chù)不(bù)在(zài)，就(jiù)像(xiàng)隐(yǐn)藏(cáng)的(de)“彩(cǎi)蛋(dàn)”：

餐(cān)厅(tīng)评(píng)论(lùn)：“服(fú)务(wu)员(yuán)态(tài)度(dù)很(hěn)好(hǎo)，给(gěi)了(le) 20%的(de)小(xiǎo)费(fèi)”；

旅(lǚ)游(yóu)攻(gōng)略(è)：“导(dǎo)游(yóu)很(hěn)专(zhuān)业(yè)，额(é)外(wài)给(gěi)了(le)小(xiǎo)费(fèi)表(biǎo)示(shì)感(gǎn)谢(xiè)”；

商(shāng)业(yè)文档(dàng)：“为(wèi)了(le)获(huò)得(de)更(gèng)好(hǎo)的(de)服(fú)务(wu)，建(jiàn)议(yì)适(shì)当(dāng)给予小费”。

AI 通过统计学习发现了这样的模式：当文本中出现“小费”、“奖励”、“激励”等词汇时，后续的内容往往表现出更高的质量特征：更详细的描述，更专业的术语，更周到的考虑，更积极的态度。

所以 AI 并不理解金钱的概念，但它学会了这种语言模式与高质量输出之间的统计关联。就像一个不懂音乐的人，也能通过观察发现“掌声越热烈，演出质量越高”的规律！

当我们提出会给 AI 小费时，AI 就知道了我们是希望它给出更高质量的回答，而被设定为尽全力去满足人类需求的AI自然也会努力给出更高质量的回答。

看完这篇文章，你是不是对给 AI 发小费这个现(xiàn)象(xiàng)有(yǒu)了(le)全新的认识？赶紧去试试给你的 AI 助手“发个小费”吧！

参考文献

[1]Does Offering ChatGPT a Tip Cause it to Generate Better Text? An Analysis：https://minimaxir.com/2024/02/chatgpt-tips-analysis/

本文为·创作培育计划扶持作品

出品丨中国科协科普部

监制丨中国科学技术出版社有限公司、北京中科星河文化传媒有限公司

作者丨田威 AI 工具研究者

审核丨于旸 腾讯玄武实验室负责人