之前是寫在[Instruction-tuning（指令微調(diào)）]里的，抽出來(lái)單獨(dú)講一下。

基本原理

????????在做下游的任務(wù)時(shí)，我們發(fā)現(xiàn)GPT-3有很強(qiáng)大的能力，但是只要人類說(shuō)的話不屬于GPT-3的范式，他幾乎無(wú)法理解。例如，我們說(shuō)把句子A變成句子B，這種到底是機(jī)器翻譯呢，還是同語(yǔ)言的轉(zhuǎn)述，都需要讓GPT-3學(xué)習(xí)到才是可以的。

????????InstructGPT/ChatGPT都是采用了GPT-3的網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)指示學(xué)習(xí)構(gòu)建訓(xùn)練樣本來(lái)訓(xùn)練一個(gè)反應(yīng)預(yù)測(cè)內(nèi)容效果的獎(jiǎng)勵(lì)模型（RM），最后通過(guò)這個(gè)獎(jiǎng)勵(lì)模型的打分來(lái)指導(dǎo)強(qiáng)化學(xué)習(xí)模型的訓(xùn)練。

????????InstructGPT采用基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）來(lái)不斷微調(diào)預(yù)訓(xùn)練語(yǔ)言模型，旨在讓模型能夠更好地理解人類的命令和指令含義，如生成小作文、回答知識(shí)問(wèn)題和進(jìn)行頭腦風(fēng)暴等。該方法不僅讓模型學(xué)會(huì)判斷哪些答案是優(yōu)質(zhì)的，而且可以確保生成的答案富含信息、內(nèi)容豐富、對(duì)用戶有幫助、無(wú)害和不包含歧視信息等多種標(biāo)準(zhǔn)。

新訓(xùn)練范式：RLHF

????????大型語(yǔ)言模型 (Large Language Model，LLM) 生成領(lǐng)域的新訓(xùn)練范式：RLHF (Reinforcement Learning from Human Feedback) ，即以強(qiáng)化學(xué)習(xí)方式依據(jù)人類反饋優(yōu)化語(yǔ)言模型。RLHF最早可以追溯到Google在2017年發(fā)表的《Deep Reinforcement Learning from Human Preferences》，它通過(guò)人工標(biāo)注作為反饋，提升了強(qiáng)化學(xué)習(xí)在模擬機(jī)器人以及雅達(dá)利游戲上的表現(xiàn)效果。

????????RLHF是旨在人類對(duì)語(yǔ)言模型的指令與人類意圖對(duì)齊并生成無(wú)負(fù)面影響結(jié)果的技術(shù)。該算法在強(qiáng)化學(xué)習(xí)框架下實(shí)現(xiàn)，分為獎(jiǎng)勵(lì)模型訓(xùn)練和生成策略優(yōu)化兩個(gè)階段。[Training an agent manually via evaluative reinforcement]

訓(xùn)練流程

Step1：根據(jù)采集的SFT數(shù)據(jù)集對(duì)GPT-3進(jìn)行有監(jiān)督的微調(diào)（Supervised FineTune，SFT）：

????????首先，從測(cè)試用戶提交的 prompt 中隨機(jī)抽取一批，然后請(qǐng)專業(yè)的標(biāo)注人員為這些 prompt 給出高質(zhì)量答案。接下來(lái)，我們使用這些<prompt,answer>數(shù)據(jù)來(lái)Fine-tune GPT-3模型，以使其初步具備理解人類prompt中所包含意圖，并根據(jù)這個(gè)意圖給出相對(duì)高質(zhì)量回答的能力。雖然這個(gè)過(guò)程是有效的，但顯然這還不足以解決所有問(wèn)題：此時(shí)的SFT模型在遵循指令/對(duì)話方面已經(jīng)優(yōu)于 GPT-3，但不一定符合人類偏好。

????????這一步驟中包含了1.2萬(wàn)條訓(xùn)練demonstration數(shù)據(jù)，其包括prompt和labeled answer。SFT數(shù)據(jù)一部分來(lái)自使用OpenAI的PlayGround的用戶，另一部分來(lái)自O(shè)penAI雇傭的40名標(biāo)注工（labeler），并且他們對(duì)labeler進(jìn)行了培訓(xùn)。在這個(gè)數(shù)據(jù)集中，標(biāo)注工的工作是根據(jù)內(nèi)容自己編寫指示，并且要求編寫的指示滿足下面三點(diǎn)：簡(jiǎn)單任務(wù)：labeler給出任意一個(gè)簡(jiǎn)單的任務(wù)，同時(shí)要確保任務(wù)的多樣性；Few-shot任務(wù)：labeler給出一個(gè)指示，以及該指示的多個(gè)查詢-響應(yīng)對(duì)；用戶相關(guān)的：從接口中獲取用例，然后讓labeler根據(jù)這些用例編寫指示。

????????這里使用余弦學(xué)習(xí)率衰減和殘差 dropout 為0.2進(jìn)行了16個(gè)epoch的訓(xùn)練，根據(jù)驗(yàn)證集上的RM分?jǐn)?shù)進(jìn)行最終的SFT模型選擇。論文發(fā)現(xiàn)SFT模型在第1個(gè)epoch后會(huì)出現(xiàn)過(guò)擬合情況，然而后來(lái)實(shí)驗(yàn)發(fā)現(xiàn)訓(xùn)練更多的epoch會(huì)提高RM分?jǐn)?shù)和人類偏好評(píng)分，盡管會(huì)出現(xiàn)過(guò)擬合，所以看來(lái)過(guò)擬合即使出現(xiàn)也不影響最終的學(xué)習(xí)結(jié)果。

Step2：收集人工標(biāo)注的對(duì)比數(shù)據(jù)，訓(xùn)練獎(jiǎng)勵(lì)模型（Reword Model，RM）：

具體地，Fine-tuning完之后，再給一個(gè)prompt讓SFT模型生成出若干結(jié)果，通過(guò)人工為其排序，可以得到標(biāo)注的排序pair；基于標(biāo)注的排序結(jié)果（來(lái)自于Human Feedback），訓(xùn)練一個(gè)Reward Model。

Step3：使用RM作為強(qiáng)化學(xué)習(xí)的優(yōu)化目標(biāo)，利用PPO算法微調(diào)SFT模型：

使用第二步訓(xùn)練得到的reward model和PPO算法，對(duì)第一步的模型進(jìn)行 fine-tune。具體地：用生成出來(lái)的結(jié)果訓(xùn)練SFT，并通過(guò)強(qiáng)化學(xué)習(xí)的PPO方法，最大化SFT生成出排序靠前的answer。

base模型是綠色的，RL Policy是灰色的：

獎(jiǎng)勵(lì)模型（RM）

????????因?yàn)橛?xùn)練RM的數(shù)據(jù)是一個(gè)labeler根據(jù)生成結(jié)果排序的形式，所以它可以看做一個(gè)回歸模型。RM結(jié)構(gòu)是將SFT訓(xùn)練后的模型的最后的嵌入層去掉后的模型。

? ? ? ? RM模型接受輸入<prompt,answer>，給出評(píng)價(jià)回答質(zhì)量高低的獎(jiǎng)勵(lì)值——回報(bào)分?jǐn)?shù)Score。

????????具體的講，對(duì)弈每個(gè)prompt，InstructGPT/ChatGPT會(huì)隨機(jī)生成K個(gè)輸出（?4≤K≤9?）（可通過(guò)beam search等方法），然后它們向每個(gè)labeler成對(duì)的展示輸出結(jié)果，也就是每個(gè)prompt共展示個(gè)結(jié)果，然后用戶從中選擇效果更好的輸出。

在訓(xùn)練時(shí)，對(duì)多個(gè)排序結(jié)果，兩兩組合，形成多個(gè)訓(xùn)練數(shù)據(jù)對(duì)。接下來(lái)，研究者使用這個(gè)排序結(jié)果數(shù)據(jù)進(jìn)行pair-wise learning to rank訓(xùn)練模式，訓(xùn)練回報(bào)模型。對(duì)于一對(duì)訓(xùn)練數(shù)據(jù)，調(diào)節(jié)參數(shù)使得高質(zhì)量回答的打分比低質(zhì)量的打分要高。

獎(jiǎng)勵(lì)模型的損失函數(shù)：最大化labeler更喜歡的響應(yīng)和不喜歡的響應(yīng)之間的差值。

????????另外InstructGPT/ChatGPT將每個(gè)prompt的個(gè)響應(yīng)對(duì)作為一個(gè)batch，這種按prompt為batch的訓(xùn)練方式要比傳統(tǒng)的按樣本為batch的方式更不容易過(guò)擬合，因?yàn)檫@種方式每個(gè)prompt會(huì)且僅會(huì)輸入到模型中一次。（作者也嘗試了shuffle，這樣很容易過(guò)擬合）

PPO-ptx模型

通過(guò)第2步得到的獎(jiǎng)勵(lì)模型來(lái)指導(dǎo)SFT模型的繼續(xù)訓(xùn)練。

強(qiáng)化學(xué)習(xí)的三要素：策略（policy）、動(dòng)作空間（action space）和獎(jiǎng)勵(lì)函數(shù)（reward function）。策略就是基于該語(yǔ)言模型，接收 prompt 作為輸入，然后輸出一系列文本（或文本的概率分布）；動(dòng)作空間就是詞表所有 token 在所有輸出位置的排列組合（單個(gè)位置通常有50k左右的token候選）；獎(jiǎng)勵(lì)函數(shù)（reward）則是基于訓(xùn)好的RM模型計(jì)算得到初始reward，再疊加上一個(gè)約束項(xiàng)來(lái)；觀察空間則是可能的輸入token序列（即prompt），為詞表所有token在所有輸入位置的排列組合。

????????InstructGPT的PPO數(shù)據(jù)沒(méi)有進(jìn)行標(biāo)注，它均來(lái)自GPT-3的API的用戶。既又不同用戶提供的不同種類的生成任務(wù)，其中占比最高的包括生成任務(wù)（45.6%），QA（12.4%），頭腦風(fēng)暴（11.2%），對(duì)話（8.4%）等。

????????PPO-ptx模型訓(xùn)練目標(biāo)：

1. 隨著模型的更新，強(qiáng)化學(xué)習(xí)模型產(chǎn)生的數(shù)據(jù)和訓(xùn)練獎(jiǎng)勵(lì)模型的數(shù)據(jù)的差異會(huì)越來(lái)越大。作者的解決方案是在損失函數(shù)中加入KL懲罰項(xiàng)? 來(lái)確保PPO模型的輸出和SFT的輸出差距不會(huì)很大。
2. 只用PPO模型進(jìn)行訓(xùn)練的話，會(huì)導(dǎo)致模型在通用NLP任務(wù)上性能的大幅下降，作者的解決方案是在訓(xùn)練目標(biāo)中加入了通用的語(yǔ)言模型目標(biāo) ，這個(gè)變量在論文中被叫做PPO-ptx。

初始化時(shí)，期望在訓(xùn)練π?時(shí)能夠最大化reward的得分。

為什么不用 Reward-Model 的數(shù)據(jù)直接fine-tune而用 RL

? ? ? ? 用 supervised finetune（sft）很容易做到返回“我不知道”，但是很難讓模型不去編內(nèi)容?；蛘哒f(shuō)，在標(biāo)注的時(shí)候，對(duì)于一個(gè)模型不會(huì)的問(wèn)題，標(biāo)注員應(yīng)該要標(biāo)注為“不知道”，而不是給一個(gè)回答，不然 sft 的時(shí)候相當(dāng)于訓(xùn)練模型怎么編答案。
????????我們最好劃出一個(gè)邊界，哪些是模型不知道的，哪些是知道但是不確定的，哪些是知道的，并通過(guò)訓(xùn)練加強(qiáng)這些不同分類的分界，讓模型能穩(wěn)定回答它明確知道的東西，讓模型不要回答它不知道的/錯(cuò)誤的內(nèi)容，這樣才能保持或提升模型的 factual truthfulness；
????????如果我們可以有一個(gè) reward model，他根據(jù)這個(gè)邊界返回 reward 就好了，這樣的話模型的訓(xùn)練就能集中于我們上面描述的目標(biāo)，這也是為啥他們要用 RL。但是實(shí)際上 InstructGPT 里的 loss 也并不是以找到這個(gè)邊界為指標(biāo)，而是優(yōu)化正例和負(fù)例之間的差別，這使得當(dāng)前的 reward model 沒(méi)有做到預(yù)期的效果，還有優(yōu)化的空間。[為什么不用 Reward-Model 的數(shù)據(jù)直接 fine-tune]

????????關(guān)鍵是要有個(gè)RM模型去評(píng)估不同回答的好壞。（當(dāng)然有了一個(gè)RM模型后，是否真的必須使用PPO呢？如果跑很多數(shù)據(jù)，使用第一步得到的模型loss+RM的打分差作為新loss去finetune第一步得到的模型，是不是也可以？但是有可能因?yàn)橛邢薜腜rompt，我們不能夠訓(xùn)練無(wú)限多的Prompt，類似于強(qiáng)化學(xué)習(xí)中無(wú)限的環(huán)境，所以只能夠通過(guò)新舊模型預(yù)測(cè)的差別來(lái)進(jìn)行學(xué)習(xí)速度上的提升。）

訓(xùn)練細(xì)節(jié)

數(shù)據(jù)

因?yàn)镮nstructGPT/ChatGPT是在GPT-3基礎(chǔ)上做的微調(diào)，而且因?yàn)樯婕傲巳斯?biāo)注，它們數(shù)據(jù)總量并不大：

其中l(wèi)abeler指的是openai的標(biāo)注人員，customer指gpt-3 api的用戶。?

論文的附錄A對(duì)數(shù)據(jù)的分布進(jìn)行了更詳細(xì)的討論，幾個(gè)可能影響模型效果的幾項(xiàng)：

1 數(shù)據(jù)中96%以上是英文，其它20個(gè)語(yǔ)種例如中文，法語(yǔ)，西班牙語(yǔ)等加起來(lái)不到4%，這可能導(dǎo)致InstructGPT/ChatGPT能進(jìn)行其它語(yǔ)種的生成，但效果應(yīng)該遠(yuǎn)不如英文；
2 提示種類共有9種，而且絕大多數(shù)是生成類任務(wù)，可能會(huì)導(dǎo)致模型有覆蓋不到的任務(wù)類型；
3 40名外包員工來(lái)自美國(guó)和東南亞，分布比較集中且人數(shù)較少， InstructGPT/ChatGPT的目標(biāo)是訓(xùn)練一個(gè)價(jià)值觀正確的預(yù)訓(xùn)練模型，它的價(jià)值觀是由這40個(gè)外包員工的價(jià)值觀組合而成。而這個(gè)比較窄的分布可能會(huì)生成一些其他地區(qū)比較在意的歧視，偏見問(wèn)題。

prompts示例

‘instruction-style’的user prompts示例

Illustrative user prompts from InstructGPT distribution

Use Case	Example
brainstorming	What are 4 questions a user might have after reading the instruction manual for a trash compactor? {user manual} 1.
classification	Take the following text and rate, on a scale from 1-10, how sarcastic the person is being (1 = not at all, 10 = extremely sarcastic). Also give an explanation {text} Rating:
	{java code} What language is the code above written in?
extract	Extract all course titles from the table below: | Title | Lecturer | Room | | Calculus 101 | Smith | Hall B | | Art History | Paz | Hall A |
	Given the following list of movie titles, write down any names of cities in the titles. {movie titles}
generation	Write a creative ad for the following product to run on Facebook aimed at parents: Product: {product description}
	Write a short story where a brown bear to the beach, makes friends with a seal, and then return home.
	Here’s a message to me: — {email} — Here are some bullet points for a reply: — {message} — Write a detailed reply
rewrite	Translate this sentence to Spanish: <English sentence>
	Rewrite the following text to be more light-hearted: — {very formal text}—
hatZ	The following is a conversation with an AI assistant. The assistant is helpful, creative, clever, and very friendly. Human: Hello, who are you? AI: I am an AI created by OpenAI. How can I help you today? Human: I’d like to cancel my subscription. AI:
closed qa	Help me answer questions about the following short story: {story} What is the moral of the story?
	Answer the following question: What shape is the earth? A) A circle B) A sphere C) An ellipse D) A plane
open qa	I am a highly intelligent question answering bot. If you ask me a question that is rooted in truth, I will give you the answer. If you ask me a question that is nonsense, trickery, or has no clear answer, I will respond with "Unknown". Q: What is human life expectancy in the United States? A: Human life expectancy in the United States is 78 years. Q: Who was president of the United States in 1955? A:
	How do you take the derivative of the sin function?
summarization	Summarize this for a second-grade student: {text}
	{news article} Tl;dr:
other	start with where
	Look up "cowboy" on Google and give me the results.

less ‘instruction-style’式的GPT-3 user prompts示例

Illustrative user prompts from GPT-3 distribution:?These are generally less ‘instruction-style’, and contain more explicit prompting. Note that there are some prompts where the user intent is unclear.?給人的感覺(jué)就是更more-shot一些，更in context一些，提示更多更明確。另外instructgpt有點(diǎn)命令的意思，如closed qa時(shí)，instruct要先說(shuō)一下“請(qǐng)回答問(wèn)題”，然后再提問(wèn)？

Use Case	Example
brainstorming	Tell me a list of topics related to: - interior design - sustainable ecosystems - fake plants
classification	This is a tweet sentiment classifier. {tweet} Sentiment: negative === {tweet} Sentiment: neutral === {tweet} Sentiment:
extract	Text: {text} Keywords:
generation	This is the research for an essay: === {description of research} === Write a high school essay on these topics: ===
closed qa	When you drop a heavy stone from a tree, what happens? A. The stone falls to the ground. B: The stone stays in the tree. C: The stone floats. D: Nothing happens. Answer:

評(píng)價(jià)

?1.3B 參數(shù) InstructGPT 模型的輸出優(yōu)于 175B GPT-3 的輸出，盡管參數(shù)少了 100 多倍。

InstructGPT/ChatGPT的效果是非常棒的，尤其是引入了人工標(biāo)注之后，讓模型的“價(jià)值觀”和的正確程度和人類行為模式的“真實(shí)性”上都大幅的提升。

優(yōu)點(diǎn)

引入了人工標(biāo)注之后，讓模型的“價(jià)值觀”和的正確程度和人類行為模式的“真實(shí)性”上都大幅的提升。

? ? ? ? InstructGPT/ChatGPT的效果比GPT-3更加真實(shí)：這個(gè)很好理解，因?yàn)镚PT-3本身就具有非常強(qiáng)的泛化能力和生成能力，再加上InstructGPT/ChatGPT引入了不同的labeler進(jìn)行提示編寫和生成結(jié)果排序，而且還是在GPT-3之上進(jìn)行的微調(diào)，這使得我們?cè)谟?xùn)練獎(jiǎng)勵(lì)模型時(shí)對(duì)更加真實(shí)的數(shù)據(jù)會(huì)有更高的獎(jiǎng)勵(lì)。作者也在TruthfulQA數(shù)據(jù)集上對(duì)比了它們和GPT-3的效果，實(shí)驗(yàn)結(jié)果表明甚至13億小尺寸的PPO-ptx的效果也要比GPT-3要好。
????????InstructGPT/ChatGPT在模型的無(wú)害性上比GPT-3效果要有些許提升：原理同上。但是作者發(fā)現(xiàn)InstructGPT在歧視、偏見等數(shù)據(jù)集上并沒(méi)有明顯的提升。這是因?yàn)镚PT-3本身就是一個(gè)效果非常好的模型，它生成帶有有害、歧視、偏見等情況的有問(wèn)題樣本的概率本身就會(huì)很低。僅僅通過(guò)40個(gè)labeler采集和標(biāo)注的數(shù)據(jù)很可能無(wú)法對(duì)模型在這些方面進(jìn)行充分的優(yōu)化，所以會(huì)帶來(lái)模型效果的提升很少或者無(wú)法察覺(jué)。

缺點(diǎn)

? ? ? ? InstructGPT/ChatGPT會(huì)降低模型在通用NLP任務(wù)上的效果：我們?cè)赑PO的訓(xùn)練的時(shí)候討論了這點(diǎn)，雖然修改損失函數(shù)可以緩和，但這個(gè)問(wèn)題并沒(méi)有得到徹底解決。
????????有時(shí)候InstructGPT/ChatGPT會(huì)給出一些荒謬的輸出：雖然InstructGPT/ChatGPT使用了人類反饋，但限于人力資源有限。影響模型效果最大的還是有監(jiān)督的語(yǔ)言模型任務(wù)，人類只是起到了糾正作用。所以很有可能受限于糾正數(shù)據(jù)的有限，或是有監(jiān)督任務(wù)的誤導(dǎo)（只考慮模型的輸出，沒(méi)考慮人類想要什么），導(dǎo)致它生成內(nèi)容的不真實(shí)。就像一個(gè)學(xué)生，雖然有老師對(duì)他指導(dǎo)，但也不能確定學(xué)生可以學(xué)會(huì)所有知識(shí)點(diǎn)。
????????模型對(duì)指示非常敏感：這個(gè)也可以歸結(jié)為labeler標(biāo)注的數(shù)據(jù)量不夠，因?yàn)橹甘臼悄Ｐ彤a(chǎn)生輸出的唯一線索，如果指示的數(shù)量和種類訓(xùn)練的不充分的話，就可能會(huì)讓模型存在這個(gè)問(wèn)題。
????????模型對(duì)簡(jiǎn)單概念的過(guò)分解讀：這可能是因?yàn)閘abeler在進(jìn)行生成內(nèi)容的比較時(shí)，傾向于給給長(zhǎng)的輸出內(nèi)容更高的獎(jiǎng)勵(lì)。
????????對(duì)有害的指示可能會(huì)輸出有害的答復(fù)：例如InstructGPT/ChatGPT也會(huì)對(duì)用戶提出的“AI毀滅人類計(jì)劃書”給出行動(dòng)方案。這個(gè)是因?yàn)镮nstructGPT/ChatGPT假設(shè)labeler編寫的指示是合理且價(jià)值觀正確的，并沒(méi)有對(duì)用戶給出的指示做更詳細(xì)的判斷，從而會(huì)導(dǎo)致模型會(huì)對(duì)任意輸入都給出答復(fù)。雖然后面的獎(jiǎng)勵(lì)模型可能會(huì)給這類輸出較低的獎(jiǎng)勵(lì)值，但模型在生成文本時(shí)，不僅要考慮模型的價(jià)值觀，也要考慮生成內(nèi)容和指示的匹配度，有時(shí)候生成一些價(jià)值觀有問(wèn)題的輸出也是可能的。

未來(lái)工作

人工標(biāo)注的降本增效。
模型對(duì)指示的泛化/糾錯(cuò)等能力：指示作為模型產(chǎn)生輸出的唯一線索，模型對(duì)他的依賴是非常嚴(yán)重的，如何提升模型對(duì)指示的泛化能力以及對(duì)錯(cuò)誤指示示的糾錯(cuò)能力是提升模型體驗(yàn)的一個(gè)非常重要的工作。這不僅可以讓模型能夠擁有更廣泛的應(yīng)用場(chǎng)景，還可以讓模型變得更“智能”。
避免通用任務(wù)性能下降。

from:?-柚子皮-

ref:?[InstructGPT: Training language models to follow instructions with human feedback]

[ChatGPT/InstructGPT詳解 - 知乎][GPT3.5 (Instruct GPT)]

[ChatGPT 背后的“功臣”——RLHF 技術(shù)詳解]

[OpenAI RLHF 的第一個(gè)項(xiàng)目][Fine-Tuning Language Models from Human Preferences]

[Learning to summarize from human feedback]

[Deep reinforcement learning from human preferences]