計(jì)算機(jī)行業(yè)專(zhuān)題：大語(yǔ)言模型的前世、今生與未來(lái).pdf

計(jì)算機(jī)行業(yè)專(zhuān)題：大語(yǔ)言模型的前世、今生與未來(lái)。大語(yǔ)言模型：NLP 技術(shù)的奇點(diǎn)時(shí)刻。語(yǔ)言模型的核心是對(duì)任意一段文本序 列進(jìn)行概率建模，用一個(gè)高維向量來(lái)表示一個(gè) token 的全部特征。我們將深度 學(xué)習(xí)應(yīng)用于 NLP 領(lǐng)域的范式轉(zhuǎn)移總結(jié)為"有監(jiān)督的機(jī)器學(xué)習(xí)->預(yù)訓(xùn)練+微調(diào)-> 預(yù)訓(xùn)練+提示"。其中，ChatGPT 的橫空出世開(kāi)啟了“預(yù)訓(xùn)練+提示”的新范式， 這主要得益于 OpenAI 對(duì)生成類(lèi)模型（GPT）和算法規(guī)模化（Scalability）這兩 個(gè)基礎(chǔ)技術(shù)路線的成功押注，大語(yǔ)言模型“涌現(xiàn)”出了解決復(fù)雜問(wèn)題的通用能 力，催生了本輪全球范圍內(nèi)的生成式 AI 浪潮。

大模型應(yīng)用：數(shù)據(jù)感知與代理能力。如何將個(gè)人的個(gè)性化私有數(shù)據(jù)和企業(yè) 多年積累的行業(yè)專(zhuān)有知識(shí)嫁接到大模型的通用能力上，是大模型在垂直領(lǐng)域 商業(yè)化落地的核心技術(shù)問(wèn)題。我們?cè)趫?bào)告中詳細(xì)列舉了三種目前業(yè)內(nèi)主流的 實(shí)踐方法，并對(duì)其優(yōu)劣進(jìn)行了比較分析。除了獲取外部數(shù)據(jù)外，通過(guò)增加代理 能力（Agent），讓大語(yǔ)言模型具備自主理解、規(guī)劃、執(zhí)行復(fù)雜任務(wù)的能力，同 時(shí)與計(jì)算機(jī)內(nèi)部環(huán)境，甚至物理世界進(jìn)行交互，這也將顯著打開(kāi)大模型應(yīng)用的 想象空間。此外，我們認(rèn)為提升模型支持的上下文長(zhǎng)度是應(yīng)用創(chuàng)新的關(guān)鍵靶 點(diǎn)，模型小型化也將助力大模型應(yīng)用的商業(yè)化落地。

應(yīng)用分析框架：通用能力與外部能力的組合。大模型應(yīng)用可以被總結(jié)為， 在基座模型的通用能力上，疊加一些其他的可實(shí)現(xiàn)的外部能力，這就包括上述 的數(shù)據(jù)感知（可連接其他外部數(shù)據(jù)源）和代理能力（允許大模型與環(huán)境互動(dòng)）。 根據(jù)這一范式，我們可以將現(xiàn)階段大模型的應(yīng)用邊界歸納為通用認(rèn)知能力與 上述兩種外部能力的排列組合。基于此，展望未來(lái)大模型新應(yīng)用的靶點(diǎn)可總結(jié) 為：①通用能力的增強(qiáng)（上下文長(zhǎng)度、復(fù)雜推理、數(shù)學(xué)、代碼、多模態(tài)等）、 ②外部能力的擴(kuò)充（處理非結(jié)構(gòu)化數(shù)據(jù)、使用更復(fù)雜的工具、與物理世界的交 互等）