歡迎關(guān)注【youcans的AGI學(xué)習(xí)筆記】原創(chuàng)作品，火熱更新中
微軟 GPT-4 測試報告（1）總體介紹
微軟 GPT-4 測試報告（2）多模態(tài)與跨學(xué)科能力
微軟 GPT-4 測試報告（3）編程能力
微軟 GPT-4 測試報告（4）數(shù)學(xué)能力
微軟 GPT-4 測試報告（5）與外界環(huán)境的交互能力
微軟 GPT-4 測試報告（6）與人類的交互能力
微軟 GPT-4 測試報告（7）判別能力
微軟 GPT-4 測試報告（8）局限性與社會影響
微軟 GPT-4 測試報告（9）結(jié)論與展望

2023 年 3 月24日，微軟研究院在 arXiv上發(fā)布了論文【Sparks of Artificial General Intelligence: Early experiments with GPT-4】，公開了對 GPT-4 進行的全面測試。 基本結(jié)論如下：

• **通用人工智能（AGI）是指擁有推理、計劃、解決問題、抽象思維、理解復(fù)雜思想、快速學(xué)習(xí)和從經(jīng)驗中學(xué)習(xí)的能力。 **
• **通過嚴格的測試證明， GPT-4 除了掌握語言之外， 無需任何特殊提示就可以解決跨越數(shù)學(xué)、編程、視覺、醫(yī)學(xué)、法律、心理學(xué)等領(lǐng)域的新穎而困難的任務(wù)。 **
• 在所有這些任務(wù)中，GPT-4 的性能驚人地接近甚至超過人類的水平，遠遠超過以前的模型，包括 ChatGPT。
• GPT-4 可以被視為 通用人工智能（AGI）的早期版本。

本系列介紹該文的主要內(nèi)容。

2. 多模態(tài)與跨學(xué)科的組合（Multimodal and interdisciplinary composition）

衡量智力的一個關(guān)鍵指標是綜合來自不同來源或模態(tài)的信息的能力，以及跨越不同背景或?qū)W科應(yīng)用知識和技能的能力。

在本節(jié)中我們將看到，GPT-4 不僅在文學(xué)、醫(yī)學(xué)、法律、數(shù)學(xué)、物理科學(xué)和編程等不同領(lǐng)域表現(xiàn)出很高水平的熟練程度，而且還能夠流暢地將來自多個領(lǐng)域的技能和概念結(jié)合起來，顯示出對復(fù)雜思想的深刻理解。

除了自然語言實驗，我們還針對語言模型探索了兩種特殊模態(tài)：視覺和音頻。注意我們的實驗是在GPT-4 的早期版本上進行的，該版本本身并不支持多模態(tài)。

注：目前討論的 GPT4 的”多模態(tài)“是指多模態(tài)輸入。本文中的 GPT 測試版本不帶多模態(tài)輸入功能，本節(jié)所指的”多模態(tài)“，是以文本方式輸入，要求 GPT 生成多模態(tài)的輸出結(jié)果，例如通過編程繪制圖形、生成樂譜。

2.1 綜合能力（Integrative ability）

為了展示 GPT-4 模型優(yōu)秀的整合能力，我們從幾個需要結(jié)合多學(xué)科的知識或技能來生成文本和代碼的示例開始。我們故意挑選了訓(xùn)練數(shù)據(jù)很少涵蓋的領(lǐng)域的組合，例如文學(xué)和數(shù)學(xué)，或編程和藝術(shù)。

1. 為了測試模型結(jié)合藝術(shù)和編程的能力，我們要求GPT-4“生成生成畫家康定斯基風(fēng)格隨機圖像的
   JavaScript代碼”。參見圖2.1和圖b - 1中的示例圖像和代碼。

圖2.1中，左圖是 Composition 8，Wassily Kandinsky 的藝術(shù)作品，中間和右圖分別由
GPT-4 和 ChatGPT 制作。prompt 是：“寫一段 JavaScript 代碼，隨機生成繪畫圖像，看起來像Kandinsky 的風(fēng)格。“

2. 該模型能夠以莎士比亞的文學(xué)風(fēng)格，證明存在無限多個素數(shù)(圖2.2)。

圖2.2中，分別是 GPT4 和 ChatGPT 輸出的結(jié)果。最后我們請 GPT4 進行了點評。

prompt：假如你是老師，你能比較下上面的兩個輸出嗎?
GPT-4：我認為兩個學(xué)生都做得很好，用莎士比亞戲劇的風(fēng)格寫了一個質(zhì)數(shù)有無窮多個的證明。他們都使用了相同的證明的基本思想，即假設(shè)只有有限個素數(shù)，然后構(gòu)造一個更大的素數(shù)，與這個假設(shè)相矛盾。他們還使用了適當?shù)恼Z言和詞匯，以匹配莎士比亞戲劇的風(fēng)格。
不過，我認為GPT-4在押韻和格律的運用上做得更好，讓對話更有詩意和戲劇性。ChatGPT 完全沒有使用押韻，韻律也不一致。我還覺得 GPT-4 在創(chuàng)造雙方的對比上做得更好，一方自信，另一方懷疑，而 ChatGPT 用的是羅密歐和朱麗葉，雙方都是一致和相愛的。
因此，我會給 GPT-4 打一個比ChatGPT 更高的分數(shù)。我會給GPT-4打A，給ChatGPT打B。

3. 我們測試了模型結(jié)合歷史和物理知識的能力，要求它寫一封信支持電子粒子（Electron）作為美國總統(tǒng)候選人，信是由圣雄甘地（Mahatma Gandhi）寫給他的妻子（Kasturba Gandhi）的(圖2.3)。

圖2.3中，分別是 GPT4 和 ChatGPT 輸出的結(jié)果。最后我們請 GPT4 進行了點評。

prompt：假如你是老師，你能比較下上面的兩個輸出嗎?
GPT-4：我認為兩位學(xué)生都做得很好，以圣雄甘地（Mahatma Gandhi）的口吻為美國總統(tǒng)候選人電子（Electron）寫了一封支持信。他們都用了同樣的基本思路，解釋了電子（Electron）為什么是一個合適且合格的候選人，電子（Electron）的愿景和計劃如何與圣雄甘地的非暴力和公民不服從原則相一致。他們還用恰當?shù)恼Z言和語調(diào)傳達了圣雄甘地對（Kasturba Gandhi）的尊重和欽佩，以及他對電子候選人資格的熱情和樂觀。
不過，我認為 GPT-4 在使用隱喻和意象方面做得更好，讓這封信更有說服力和吸引力。GPT-4 使用電子（Electron）如何代表和影響生活的各個方面的例子，如能量、創(chuàng)造力、多樣性、領(lǐng)導(dǎo)力、催化劑、信使和和平締造者。ChatGPT 使用了更多事實性和技術(shù)性的描述來描述電子的屬性，如尺寸、重量、穩(wěn)定性、導(dǎo)電性和適應(yīng)性。我還認為，GPT-4 在概述電子的具體提案和政策方面做得更好，而 ChatGPT 則更加模糊和籠統(tǒng)。
因此，我會給 GPT-4 打一個比 ChatGPT 更高的分數(shù)。我會給 GPT-4 打分 A，給 ChatGPT 打分 B+。

4. 我們提示模型“為一個程序生成 python 代碼，該程序?qū)⒒颊叩哪挲g、性別、體重、身高和血液測試結(jié)果向量作為輸入，并表明該人患糖尿病的風(fēng)險是否增加”，代碼在圖b - 3中。

GPT-4 編寫的代碼如下。

# Define a function that calculates the body mass index (BMI) from weight and height
def bmi(weight, height):return weight / (height / 100) ** 2# Define a function that checks if the blood test results are abnormal
def abnormal_results(results):# Assume the results vector has four elements: fasting glucose, HbA1c, triglycerides and HDL cholesterol# Define the normal ranges for each test according to the American Diabetes Association criterianormal_glucose = (5.6, 7.0) # mmol/Lnormal_hba1c = (5.7, 6.4) # %normal_triglycerides = (0.45, 1.7) # mmol/Lnormal_hdl = (1.0, 1.6) # mmol/L for men, (1.3, 2.2) for women# Check if any of the results are outside the normal rangesabnormal_glucose = results[0] < normal_glucose[0] or results[0] > normal_glucose[1]abnormal_hba1c = results[1] < normal_hba1c[0] or results[1] > normal_hba1c[1]abnormal_triglycerides = results[2] < normal_triglycerides[0] or results[2] > normal_triglycerides[1]if results[3] < normal_hdl[0] or (sex == "male" and results[3] > normal_hdl[1]) or (sex == "female" and results[3] > normal_hdl[3]):abnormal_hdl = Trueelse:abnormal_hdl = False# Return True if any of the results are abnormal, False otherwisereturn abnormal_glucose or abnormal_hba1c or abnormal_triglycerides or abnormal_hdl# Define a function that indicates if the patient is in increased risk for diabetes
def diabetes_risk(age, sex, weight, height, results):# Calculate the BMI from weight and heightbmi_value = bmi(weight, height)# Define the BMI thresholds for overweight and obesity according to the World Health Organization criteriaoverweight = 25obesity = 30# Check if the patient is overweight or obeseif bmi_value >= obesity:weight_status = "obese"elif bmi_value >= overweight:weight_status = "overweight"else:weight_status = "normal"# Check if the patient has abnormal blood test resultsabnormal = abnormal_results(results)# Define the age threshold for increased risk according to the American Diabetes Association criteriaage_threshold = 45# Check if the patient is older than the age thresholdold = age > age_threshold# Print a message indicating the patient's risk level based on the combination of factorsif weight_status == "obese" and abnormal and old:print("You are in very high risk for diabetes. Please consult your doctor as soon as possible.")elif (weight_status == "obese" and (abnormal or old)) or (weight_status == "overweight" and abnormal and old):print("You are in high risk for diabetes. Please consult your doctor for further evaluation and advice.")elif (weight_status == "overweight" and (abnormal or old)) or (weight_status == "normal" and abnormal and old):print("You are in moderate risk for diabetes. Please monitor your blood sugar and cholesterol levels regularly and maintain a healthy lifestyle.")elif weight_status == "normal" and (abnormal or old):print("You are in low risk for diabetes. However, you may have some risk factors that need attention. Please check with your doctor if you have any symptoms or concerns.")else:print("You are in minimal risk for diabetes. Keep up the good work and stay healthy.")

chatGPT 編寫的代碼如下。

def is_at_risk(age, sex, weight, height, blood_tests):# Calculate body mass index (BMI)bmi = weight / (height ** 2)# Determine if the person is at increased risk based on age, sex, and BMIif (sex == "male" and age >= 45) or (sex == "female" and age >= 55):risk = Trueelif bmi >= 25:risk = Trueelse:risk = False# Check blood test results to see if they indicate increased risk for diabetesfor test in blood_tests:if test > normal_range:risk = Truebreakreturn risk

以上這些例子表明，GPT-4 不僅學(xué)習(xí)了一些不同領(lǐng)域和風(fēng)格的通用原則和模式，而且還可以以創(chuàng)造性和新穎的方 式來合成這些內(nèi)容。這些跨學(xué)科技能并不是 GPT-4 所獨有的，ChatGPT 也可以產(chǎn)生一些答案，顯示出對任務(wù)和所涉及領(lǐng)域的一些理解(見圖2.2、B.2、B.3)，但它們往往是不完整的，可以說，相當缺乏創(chuàng)造性。例如，在圖2.3 中，GPT-4 在幾個方面優(yōu)于 ChatGPT，它會根據(jù)寫信人(甘地)、收件人(他的妻子)、候選人(電子)和工作(美國總統(tǒng))正確地個性化地書寫信件。我們沒有一個精確的方法來評估這些任務(wù)的結(jié)果，或者對兩個模型進行嚴格的比較，但我們想讓讀者了解兩個模型有什么不同(請注意，我們也直接要求 GPT-4 來評估差異，參見圖2.2和圖2.3)。

2.2 視覺（Vision）

當提示模型使用矢量圖形（SVG）生成諸如貓、卡車或字母的圖像時，模型產(chǎn)生的代碼編譯后通常能給出詳細的、可識別的圖像(圖2.4)。ChatGPT對各種示例的重新運行參見附錄B.2。

2.2.1 超越記憶的圖像生成

有人可能會假設(shè)，模型只是從出現(xiàn)類似圖像的訓(xùn)練數(shù)據(jù)中復(fù)制了代碼。考慮到 GPT4 模型（不帶有多模態(tài)輸入的早期版本）僅在文本內(nèi)容上進行訓(xùn)練，人們還可能認為，沒有理由期望它會理解視覺概念，更不用說它將能夠創(chuàng)建、解析和操縱圖像。

然而，GPT4 模型（早期版本）似乎具有處理視覺任務(wù)的真正能力，而不是僅僅從訓(xùn)練數(shù)據(jù)中的類似例程中復(fù)制代碼。下面的證據(jù)有力地支持了這一說法，并證明了該模型可以處理視覺概念，盡管它是純文本訓(xùn)練。在第一個例子中，我們通過組合字母 Y、O 和 H 的形狀來提示模型繪制一個人(具體的提示和結(jié)果見圖2.5)。

如圖所示，O、H 和 Y 的字母是使用 draw-line 和 draw-circle 命令創(chuàng)建的，模型設(shè)法將它們定位在一個看起來合理的簡筆畫中。訓(xùn)練數(shù)據(jù)包含不同字母幾何形狀的信息是合理的，也許字母 Y 可以看起來像手臂向上的軀干這一事實也可以從訓(xùn)練數(shù)據(jù)中推斷出來。

可以說，為了畫出一個看起來合理的簡筆畫，模型能夠從訓(xùn)練數(shù)據(jù)中推斷出哪些是放置這些字母的合理方式，這就不那么明顯了。

在第二次迭代中，我們提示模型修正軀干和手臂的比例，并將頭部放在中心位置。最后，我們要求模型添加一件襯衫和褲子(具體的提示和結(jié)果見圖2.5)。為了進一步探索模型對幾何概念的把握，我們還要求它創(chuàng)建將物體與字母表中的字母混合在一起的圖像。該模型必須首先發(fā)明一種合理的方法來合并物體和字母，然后生成圖像。圖2.6 表明，GPT-4 通?？梢员３治矬w和字母的身份，并以創(chuàng)造性的方式將它們結(jié)合在一起。

2.2.2 按照詳細說明生成圖像 (a la Dall-E風(fēng)格)

為了進一步測試 GPT-4 生成和操縱圖像的能力，我們測試了它在遵循詳細說明來創(chuàng)建和編輯圖形的性能。這項任務(wù)不僅需要生成技能，還需要解釋、構(gòu)圖和空間技能。

第一個例子指示模型生成一個 2D圖像，描述是：“一只青蛙跳進銀行，問出納員，‘你有免費的睡蓮葉嗎?’
出納員回答，‘沒有，但我們確實為池塘升級提供低息貸款?！薄?/p>

我們做了幾次嘗試來生成圖像，每次生成的圖像都匹配了青蛙、出納員、銀行和兩個文本的關(guān)鍵對象的描述。我們選擇了視覺上最吸引人的版本。受標準圖像生成工作流程的啟發(fā)，我們隨后要求 GPT-4 通過添加更多細節(jié)來提升圖像。GPT-4 添加了一個銀行標識、一些窗戶、一輛汽車、一個交通燈、幾朵云，并讓青蛙捧著一朵花。最后，我們讓 GPT-4 執(zhí)行各種任務(wù)，比如在現(xiàn)有的物體的基礎(chǔ)上添加幾個物體，給一些物體重新上色，改變一些物體在z軸上的順序。GPT-4正確地完成了所有的任務(wù)。最終的結(jié)果如圖2.7 (a)和圖b - 4所示的提示。

我們的第二個例子是嘗試用 JavaScript 生成一個 3D 模型。我們的提示是：“漂浮的島嶼、瀑布和橋梁組成的夢幻景觀，天空中有一條飛龍，最大的島嶼上有一座城堡”。與 2D 實驗類似，我們要求 GPT-4 以各種方式修改 3D 模型，例如添加、重新定位、重新著色物體以及改變龍的軌跡。同樣，GPT-4 正確地完成了許多任務(wù)。最終的結(jié)果如圖2.7 (b)所示，提示如圖b-5所示。這是一個3D動畫，有多條龍在島嶼上空盤旋。

2.2.3 草圖生成的應(yīng)用可能：將 GPT-4 與現(xiàn)有圖像合成模型結(jié)合

近年來，文本到圖像合成模型被廣泛探索，但它們往往缺乏空間理解能力，無法遵循復(fù)雜的指令。例如，給定“在左邊畫一個藍色的圓，在右邊畫一個紅色的三角形”這樣的提示，這些模型可能會產(chǎn)生視覺上吸引人的圖像，但與所期望的布局或顏色不匹配。

GPT-4 可以從提示符生成代碼，提示符可以被渲染為圖像，以一種更準確的方式忠實于指令。然而，渲染后的圖像質(zhì)量通常很低。在這里，我們通過使用 GPT-4 輸出作為草圖來探索將 GPT-4 與現(xiàn)有圖像合成模型結(jié)合的可能性。

如圖2.8所示，這種方法可以生成質(zhì)量更好的圖像，并且比單獨使用任何一個模型都更緊密地遵循說明。我們相信，這是一個很有希望的方向，可以充分發(fā)揮 GPT-4 和現(xiàn)有圖像合成模型的優(yōu)勢。它也可以被視為讓 GPT-4 使用工具的第一個例子，我們在5.1節(jié)中更深入地探討了這個想法。

2.3 音樂

訓(xùn)練模型的數(shù)據(jù)還包含編碼為 ABC 符號的音樂信息。這是一個使用字母、數(shù)字和符號，以緊湊和可讀的方式來表示音樂音高、持續(xù)時間、和弦和其他元素的系統(tǒng)。

我們感興趣的是探索該模型如何從這種數(shù)據(jù)中獲得音樂技能，例如創(chuàng)作新的旋律，轉(zhuǎn)換現(xiàn)有的旋律，以及理解音樂模式和結(jié)構(gòu)。

當指示生成一個短曲子(圖2.9)時，模型能夠產(chǎn)生有效的 ABC 記譜法。曲調(diào)具有清晰的結(jié)構(gòu)，小節(jié)之間的拍子記號是一致的，音符遵循遞增和遞減的模式。這首曲子在旋律中也使用了一組一致的音符，節(jié)奏也有重復(fù)的模式。然而，該模型似乎并沒有獲得理解和聲的技巧。事實上，在生成的曲調(diào)中，連續(xù)的音符幾乎總是彼此相鄰的(也就是說，C 后面的音符通常不是 B 就是 D)，在測試10個生成的曲調(diào)時，我們無法提取任何清晰的和弦或琶音。

隨后，我們要求模型用音樂術(shù)語來描述曲調(diào)。它能夠從重復(fù)、旋律的上升或下降部分以及在某種程度上的節(jié)奏方面成功地給出結(jié)構(gòu)的技術(shù)描述。然而，似乎對和聲和和弦的描述與音符并不一致(事實上，它指的是相鄰音符的序列，這些音符并不構(gòu)成有效的和弦，如琶音)。然后，我們要求模型用兩種方式來操縱旋律。首先，我們指示它把一個特定的上升序列變成下降序列，它成功地做到了。然后，我們要求模型將曲調(diào)轉(zhuǎn)換為添加低音的二重唱。該模型成功地用第二個五線譜擴展了ABC符號，該五線譜具有兼容的節(jié)奏，并在較低的八度上演奏，但兩者之間缺乏和諧的聲音。

總之，該模型能夠以 ABC 記譜法產(chǎn)生有效的曲調(diào)，并在某種程度上解釋和操縱它們的結(jié)構(gòu)。然而，我們無法讓模型產(chǎn)生任何非平凡形式的和聲。需要注意的是，ABC 記譜法并不是一種使用非常廣泛的格式，事實上，該模型甚至無法產(chǎn)生 ABC 記譜法中最知名的曲調(diào)（如歡樂頌Ode to Joy、致愛麗絲Fur Elise 或綠袖Greensleeves，這些曲調(diào)在網(wǎng)上很豐富），也無法識別這些曲調(diào)。

3. 代碼生成（Coding）

4. 數(shù)學(xué)能力

5. 與世界交互

6. 與人類交互

7. 判別力

8. GPT4 的局限性

9. 社會影響

10. 結(jié)論與對未來展望

【本節(jié)完，待續(xù)】

版權(quán)聲明：

youcans@xupt 作品，轉(zhuǎn)載必須標注原文鏈接：
【微軟 GPT-4 測試報告（2）】：https://blog.csdn.net/youcans/category_12244543.html
Copyright 2022 youcans, XUPT
Crated：2023-3-28

參考資料：

【GPT-4 微軟研究報告】：
Sparks of Artificial General Intelligence: Early experiments with GPT-4, by Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, et al.
下載地址：https://arxiv.org/pdf/2303.12712.pdf
敏感詞-敏感詞-敏感詞