介紹

從LLMs的市場(chǎng)采用情況可以清楚地看出，LLMs工具的開(kāi)發(fā)遠(yuǎn)遠(yuǎn)領(lǐng)先于LLMs的實(shí)施；由于顯而易見(jiàn)的原因，現(xiàn)實(shí)世界中的客戶面臨執(zhí)行滯后。

從工具的角度來(lái)看，大部分關(guān)注和考慮都集中在LLMs第 4 階段，但很快組織就會(huì)了解到，任何成功的人工智能實(shí)施都需要成功的數(shù)據(jù)策略。因此，LLMs第 5 階段將受到更多關(guān)注。

當(dāng)LLM實(shí)現(xiàn)從第一階段轉(zhuǎn)移到第二階段，從設(shè)計(jì)時(shí)使用轉(zhuǎn)移到運(yùn)行時(shí)使用時(shí)，人們認(rèn)識(shí)到數(shù)據(jù)需要在推理時(shí)傳遞給LLM 。

大量研究強(qiáng)調(diào)了情境學(xué)習(xí) (ICL)的重要性，因此注入高度簡(jiǎn)潔、簡(jiǎn)明且情境相關(guān)的數(shù)據(jù)提示的重要性。

將LLMs投入生產(chǎn)

我最近在 LinkedIn 上詢問(wèn)將LLMs投入生產(chǎn)面臨的挑戰(zhàn)是什么，以下是提出的前五個(gè)問(wèn)題。這些擔(dān)憂之所以存在，是因?yàn)?LLM 主要由 LLM 提供商托管并通過(guò) API 提供。

使用商用 API 引入了幾乎無(wú)法管理的操作組件。

理想的情況是組織在本地安裝了可以使用的LLMs。但這帶來(lái)了大多數(shù)組織無(wú)法解決的挑戰(zhàn)，例如托管、處理能力和其他技術(shù)需求。

是的，有“原始”開(kāi)源模型可用，但這里的障礙又是托管、微調(diào)、技術(shù)專(zhuān)業(yè)知識(shí)等。

這些問(wèn)題可以通過(guò)使用小語(yǔ)言模型來(lái)解決，在大多數(shù)情況下，這對(duì)于對(duì)話式人工智能的實(shí)現(xiàn)來(lái)說(shuō)已經(jīng)足夠了。

LLM 顛覆：第一階段

AI 輔助和加速 NLU 開(kāi)發(fā)

LLM 實(shí)施的第一階段側(cè)重于機(jī)器人開(kāi)發(fā)過(guò)程，特別是加速?NLU開(kāi)發(fā)。

真正導(dǎo)致LLM 第一階段?中斷的原因是 LLM 功能是在設(shè)計(jì)時(shí)而不是運(yùn)行時(shí)引入的。

這意味著推理延遲、大量使用、成本和 LLM 響應(yīng)偏差等元素可能僅限于開(kāi)發(fā)，而不會(huì)在生產(chǎn)環(huán)境中暴露給客戶。

在上面的例子中，一個(gè)復(fù)雜的句子被提交給LLM，LLM能夠從句子中提取所有相關(guān)實(shí)體并計(jì)算出行的總?cè)藬?shù)。

引入LLMs是為了協(xié)助 NLU 的開(kāi)發(fā)，其形式是將現(xiàn)有客戶話語(yǔ)聚類(lèi)到語(yǔ)義相似的分組中以進(jìn)行意圖檢測(cè)。一旦定義了意圖標(biāo)簽和描述，就可以定義意圖訓(xùn)練話語(yǔ)。

LLMs還可以用于實(shí)體檢測(cè)等。

考慮下圖，對(duì)話式人工智能實(shí)際上只需要如下所示的五個(gè)元素。傳統(tǒng)的 NLU 引擎可以與 SLM 結(jié)合使用。

自從聊天機(jī)器人出現(xiàn)以來(lái)，我們的夢(mèng)想就是擁有可靠、簡(jiǎn)潔、連貫且經(jīng)濟(jì)實(shí)惠的 NLG 功能。加上基本的內(nèi)置邏輯和常識(shí)推理能力。

除此之外，還提供了管理對(duì)話上下文和狀態(tài)的靈活途徑，以及比 NLU 更知識(shí)密集的解決方案，SLM 似乎是完美的選擇。

小語(yǔ)言模型 (SLM) 是 NLU 的良好配套技術(shù)。SLM 可以在本地運(yùn)行，開(kāi)源模型可用于執(zhí)行自然語(yǔ)言生成 (NLG)、對(duì)話和上下文管理、常識(shí)推理、閑聊等任務(wù)。

將 NLU 與 SLM 結(jié)合使用來(lái)支持聊天機(jī)器人開(kāi)發(fā)框架是非常可行的。

在本地運(yùn)行 SLM 并使用增強(qiáng)生成方法和上下文學(xué)習(xí)可以解決推理延遲、令牌成本、模型漂移、數(shù)據(jù)隱私、數(shù)據(jù)治理等障礙。

人工智能輔助和加速聊天機(jī)器人開(kāi)發(fā)

文案寫(xiě)作和人物角色

LLMs顛覆的下一階段是使用LLMs/生成式人工智能進(jìn)行聊天機(jī)器人和語(yǔ)音機(jī)器人文案寫(xiě)作，并改進(jìn)機(jī)器人響應(yīng)消息。

這種方法再次在設(shè)計(jì)時(shí)而不是運(yùn)行時(shí)引入，充當(dāng)機(jī)器人開(kāi)發(fā)人員制作和改進(jìn)機(jī)器人響應(yīng)副本的助手。

設(shè)計(jì)師還可以向LLMs描述機(jī)器人的角色、語(yǔ)氣和其他個(gè)性特征，以便制作一致且簡(jiǎn)潔的用戶界面。

這是LLMs協(xié)助從設(shè)計(jì)時(shí)間擴(kuò)展到運(yùn)行時(shí)間的轉(zhuǎn)折點(diǎn)。

LLM 用于動(dòng)態(tài)生成響應(yīng)并將其呈現(xiàn)給用戶。第一個(gè)實(shí)現(xiàn)使用 LLM 來(lái)回答域外問(wèn)題，或根據(jù)文檔搜索和 QnA 制作簡(jiǎn)潔的響應(yīng)。

LLMs首次用于：

• 數(shù)據(jù)和上下文增強(qiáng)響應(yīng)。
• 自然語(yǔ)言生成（NLG）
• 對(duì)話管理；即使只有一兩個(gè)對(duì)話回合。

第一階段非常注重在設(shè)計(jì)時(shí)利用 LLM 和 Gen-AI，這在減輕不良用戶體驗(yàn)、成本、延遲和任何推理異常方面具有許多優(yōu)勢(shì)。

就客戶面臨畸變或用戶體驗(yàn)失敗的風(fēng)險(xiǎn)而言，在設(shè)計(jì)時(shí)引入LLMs是一種安全的途徑。這也是一種降低成本且無(wú)需面對(duì)客戶和 PII 數(shù)據(jù)發(fā)送到云端的挑戰(zhàn)的方法。

Flow Generation

接下來(lái)是LLMs和生成人工智能 (Gen-AI) 的更高級(jí)實(shí)現(xiàn)，開(kāi)發(fā)人員向機(jī)器人描述如何開(kāi)發(fā) UI 以及特定功能的要求。

隨后，開(kāi)發(fā) UI 啟動(dòng)，利用LLMs和生成式人工智能，它生成了流程，其中包含 API 占位符、所需的變量和 NLU 組件。

LLMs顛覆：第二階段

文本編輯

第二階段是在將機(jī)器人響應(yīng)發(fā)送給用戶之前使用LLMs來(lái)編輯文本。例如，在不同的聊天機(jī)器人媒介上，適當(dāng)?shù)南⒋笮〔煌?。因?#xff0c;可以通過(guò)要求LLMs總結(jié)、提取關(guān)鍵點(diǎn)并根據(jù)用戶情緒改變響應(yīng)語(yǔ)氣來(lái)輕松控制機(jī)器人響應(yīng)。

這意味著消息抽象層的硬性要求在某種程度上被廢棄。在任何聊天機(jī)器人/對(duì)話式人工智能開(kāi)發(fā)框架中，消息抽象層的工作就是保存一整套機(jī)器人響應(yīng)消息。

這些機(jī)器人響應(yīng)消息具有占位符，需要填充上下文特定數(shù)據(jù)以響應(yīng)用戶。

必須為每種模式和媒介定義不同的響應(yīng)集。LLMs讓即時(shí)制定回復(fù)變得更加容易。這就是我們一直在等待的NLG（自然語(yǔ)言生成）工具。

文檔搜索和文檔聊天

聊天機(jī)器人可以在推理時(shí)獲得一份文檔、一條信息，這使得LLMs能夠有一個(gè)對(duì)話的參考框架。

擴(kuò)展這種方法有兩個(gè)障礙，第一個(gè)是有限的 LLM 上下文窗口的障礙，以及擴(kuò)展這種方法。

RAG

Rag解決了上述問(wèn)題。請(qǐng)?jiān)诖颂庨喿x有關(guān) RAG 的更多信息。

提示鏈接

提示鏈接已進(jìn)入對(duì)話式 AI 開(kāi)發(fā) UI，能夠創(chuàng)建由一個(gè)或多個(gè)傳遞給 LLM 的提示組成的流程節(jié)點(diǎn)。

較長(zhǎng)的對(duì)話回合可以與一系列提示串在一起，其中一個(gè)提示的輸出充當(dāng)另一個(gè)提示的輸入。

在這些提示節(jié)點(diǎn)之間是決策和數(shù)據(jù)處理節(jié)點(diǎn)……因此提示節(jié)點(diǎn)與傳統(tǒng)的對(duì)話流創(chuàng)建非常相似，但具有長(zhǎng)期以來(lái)渴望的靈活性。

LLMs顛覆：第三階段

Custom Playgrounds

技術(shù)供應(yīng)商開(kāi)始創(chuàng)建自己的具有額外功能的定制游樂(lè)場(chǎng)，并充當(dāng) IDE 和協(xié)作空間。

這使得用戶不再僅僅使用基于LLMs的游樂(lè)場(chǎng)。定制游樂(lè)場(chǎng)提供了對(duì)多個(gè)模型的訪問(wèn)，以進(jìn)行實(shí)驗(yàn)、協(xié)作和各種起始代碼生成選項(xiàng)。

The Vercel Playground

Prompt Hubs

Haystack和LangChain都推出了基于社區(qū)的開(kāi)放提示中心。

提示中心有助于編碼和聚合不同提示工程方法的最佳實(shí)踐。Gen-Apps 的愿景是成為 LLM 不可知論者，在申請(qǐng)的不同階段使用不同的模型。

無(wú)代碼微調(diào)

雖然微調(diào)改變了 LLM 的行為，并且RAG為推理提供了上下文參考，但微調(diào)在最近并未受到應(yīng)有的關(guān)注。有人可能會(huì)說(shuō)這是由于幾個(gè)原因造成的……在此處內(nèi)容。

LLM 顛覆：第四階段

即時(shí)管道

在機(jī)器學(xué)習(xí)中，管道可以被描述為端到端的構(gòu)造，它編排事件和數(shù)據(jù)流。

管道由觸發(fā)器啟動(dòng)或啟動(dòng)；并基于某些事件和參數(shù)，遵循產(chǎn)生輸出的流程。

在提示管道的情況下，流程在大多數(shù)情況下是由用戶請(qǐng)求啟動(dòng)的。該請(qǐng)求被定向到特定的提示模板。

在這里內(nèi)容。

自主代理

代理以自主方式使用預(yù)先分配的工具來(lái)執(zhí)行一項(xiàng)或多項(xiàng)操作。代理遵循思想鏈推理方法。

自主代理的概念一開(kāi)始可能會(huì)讓人望而生畏，請(qǐng)?jiān)诖颂巸?nèi)容……

編排

從現(xiàn)在開(kāi)始，市場(chǎng)還沒(méi)有真正跟上……編排是指為一個(gè)應(yīng)用程序編排多個(gè)LLMs。

LLMs托管

困擾 LLM 實(shí)施的大多數(shù)問(wèn)題都與 LLM 不是自托管或托管在私有數(shù)據(jù)中心/云中有關(guān)。

如果LLMs是自托管和管理的，那么推理、模型?漂移、數(shù)據(jù)治理等方面的延遲響應(yīng)都是可以解決的因素。

LLMs顛覆：第五階段

數(shù)據(jù)發(fā)現(xiàn)

數(shù)據(jù)發(fā)現(xiàn)是識(shí)別企業(yè)內(nèi)可用于 LLM 微調(diào)的任何數(shù)據(jù)的過(guò)程。最好的起點(diǎn)是聯(lián)系中心的現(xiàn)有客戶對(duì)話，可以是基于語(yǔ)音或文本的對(duì)話。其他值得發(fā)現(xiàn)的良好數(shù)據(jù)來(lái)源包括客戶電子郵件、之前的聊天記錄等。

Kore XO 平臺(tái)的這個(gè)示例展示了如何根據(jù)語(yǔ)義相似性導(dǎo)入和聚類(lèi)不同的信息源。

這些數(shù)據(jù)應(yīng)該通過(guò)人工智能加速數(shù)據(jù)生產(chǎn)力工具（潛在空間）發(fā)現(xiàn)，其中客戶話語(yǔ)根據(jù)語(yǔ)義相似性進(jìn)行分組，這些集群可以直觀地表示如下所示，它們實(shí)際上是意圖或分類(lèi)；分類(lèi)對(duì)于LLMs來(lái)說(shuō)仍然很重要。

數(shù)據(jù)設(shè)計(jì)

數(shù)據(jù)設(shè)計(jì)是下一步，將發(fā)現(xiàn)的數(shù)據(jù)轉(zhuǎn)換為 LLM 微調(diào)所需的格式。需要以特定方式對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化和格式化，以用作可選的訓(xùn)練數(shù)據(jù)。設(shè)計(jì)階段是對(duì)發(fā)現(xiàn)階段的補(bǔ)充，在這個(gè)階段，我們知道哪些數(shù)據(jù)是重要的，并且將對(duì)用戶和客戶產(chǎn)生最重大的影響。

因此，數(shù)據(jù)設(shè)計(jì)有兩個(gè)方面，即數(shù)據(jù)的實(shí)際技術(shù)格式化以及訓(xùn)練數(shù)據(jù)的實(shí)際內(nèi)容和語(yǔ)義。

數(shù)據(jù)開(kāi)發(fā)

此步驟需要在運(yùn)營(yíng)方面持續(xù)監(jiān)控和觀察客戶行為和數(shù)據(jù)性能?？梢酝ㄟ^(guò)使用模型中觀察到的漏洞來(lái)擴(kuò)充訓(xùn)練數(shù)據(jù)來(lái)開(kāi)發(fā)數(shù)據(jù)。

數(shù)據(jù)傳輸

數(shù)據(jù)交付可以最好地描述為向一個(gè)或多個(gè)模型注入與推理時(shí)的用例、行業(yè)和特定用戶上下文相關(guān)的數(shù)據(jù)的過(guò)程。

LLMs會(huì)引用注入到提示中的上下文數(shù)據(jù)塊，以在每個(gè)實(shí)例中提供準(zhǔn)確的響應(yīng)。

通常，各種數(shù)據(jù)傳輸方法被認(rèn)為是相互排斥的，而一種方法被認(rèn)為是最終的解決方案。

這種觀點(diǎn)通常是由無(wú)知、缺乏理解、尋求權(quán)宜之計(jì)的組織或供應(yīng)商將其特定產(chǎn)品作為靈丹妙藥來(lái)推動(dòng)的。

事實(shí)上，對(duì)于企業(yè)實(shí)施來(lái)說(shuō)，靈活性和可管理性必然需要復(fù)雜性。

這適用于任何LLMs實(shí)施以及向LLMs交付數(shù)據(jù)所遵循的方法。答案不是一種特定的方法，例如RAG或Prompt Chaining；而是一種方法。而是一種平衡的多管齊下的方法。