GenAI應(yīng)用關(guān)鍵技術(shù)有哪些？

在GenAI領(lǐng)域中，有四種關(guān)鍵技術(shù)：模型訓(xùn)練(Model Training)、微調(diào)(Fine Tuning)、檢索增強(qiáng)生成(RAG)和提示詞工程(Prompt Engineering)。

1.模型訓(xùn)練

模型訓(xùn)練類似于AI系統(tǒng)開發(fā)的基礎(chǔ)階段(例如重新開發(fā)一個ChatGPT)。它涉及從零開 始構(gòu)建AI模型的過程，類似于將種子培育成長成一棵大樹。這個過程非常重要，因 為它奠定了AI的基本能力和智能。 主要適用的場景包括： 1. 新領(lǐng)域：當(dāng)涉足現(xiàn)有模型不適用或不足的領(lǐng)域時。例如，開發(fā)一種尚未被探索 的新型醫(yī)學(xué)診斷AI 2. 基于獨(dú)特數(shù)據(jù)集應(yīng)用：在數(shù)據(jù)對特定需求具有獨(dú)特性的情況下，例如公司使用 客戶數(shù)據(jù)來預(yù)測購買模式。 3. 創(chuàng)新和研究：非常適合研究和開發(fā)，用于測試新理論或模型。模型訓(xùn)練是人工 智能發(fā)展的基石，提供了無與倫比的定制化和創(chuàng)新潛力。然而，它需要大量數(shù) 據(jù)和GPU計算資源和開發(fā)資源，成本很高，并帶有固有的風(fēng)險，因此更適用 于需要定制解決方案或在人工智能應(yīng)用領(lǐng)域開辟新天地的情況。

2.微調(diào)

微調(diào)類似于磨練技藝嫻熟的藝術(shù)家，使其在特定類型中表現(xiàn)出色。它涉及對經(jīng)過預(yù) 訓(xùn)練的模型進(jìn)行調(diào)整，即對已經(jīng)從大規(guī)模數(shù)據(jù)集中學(xué)到一般模式的模型進(jìn)行專門任 務(wù)或數(shù)據(jù)集方面的進(jìn)一步提高。這一過程對于將通用人工智能模型適應(yīng)特殊需求至 關(guān)重要。例如基于醫(yī)學(xué)文獻(xiàn)訓(xùn)練微調(diào)成一套更適合回答健康護(hù)理相關(guān)的問題。 微調(diào)主要的適用場景包括: 1. 特定任務(wù)應(yīng)用：適用于需要模型的一般理解與特定需求相匹配的任務(wù)，例如 使語言模型適應(yīng)醫(yī)學(xué)術(shù)語。 2. 有限資源：適用于無法負(fù)擔(dān)完整模型訓(xùn)練所需的大量資源的情況。 3. 提升模型性能：當(dāng)您需要提高預(yù)訓(xùn)練模型在特定領(lǐng)域準(zhǔn)確性時。 在 GenAI 中，微調(diào)是將通用模型轉(zhuǎn)變?yōu)閷I(yè)模型的藝術(shù)。它在效率和性能增強(qiáng)之 間取得平衡，非常適合有針對性改進(jìn)的場景。這種方法最適用于基礎(chǔ)扎實但需要特 定專業(yè)知識的情況。

3.RAG

（1）RAG介紹 RAG，即檢索增強(qiáng)生成（Retrieval-Augmented Generation），是一種結(jié)合了信息檢 索（Retrieval）和文本生成（Generation）的人工智能技術(shù)。RAG是GenAI領(lǐng)域的重 大進(jìn)展，它通過整合外部知識源來增強(qiáng)傳統(tǒng)的大語言模型 (LLM)。這種方法 拓寬了人工智能的視野，使其能夠訪問和利用除初始訓(xùn)練數(shù)據(jù)之外的大量信息?？?以將 RAG 想象為一位學(xué)者，除了擁有自己的知識外，還可以即時訪問到一座全面 的圖書館。

RAG架構(gòu)的工作流程，整體分為五步： 1. 用戶向Chatbot（LLM應(yīng)用）提出問題 2. 根據(jù)問題在向量數(shù)據(jù)庫(提前將知識庫的文檔向量化)檢索匹配相關(guān)的上下 文段落信息 3. 將檢索結(jié)果的top_k條段落進(jìn)行排序,，將提示詞和組裝的段落以及用戶問 題三者形成最終的提示詞prompt 4. 將prompt提交給大模型 5. 大模型生成輸出并返回給Chatbot，進(jìn)而返回給用戶。

RAG的優(yōu)勢： 1. 提高答案準(zhǔn)確性：通過引用外部知識庫中的信息，RAG可以提供更準(zhǔn)確的回 答 2. 增加用戶信任：用戶可以通過引用的來源來驗證答案的準(zhǔn)確性 3. 便于知識更新和引入特定領(lǐng)域知識：RAG通過結(jié)合LLM的參數(shù)化知識和外部 知識庫的非參數(shù)化知識，有效地解決了知識更新的問題 4. 減少幻覺問題：RAG能夠減少語言模型中的幻覺問題，使生成的響應(yīng)更準(zhǔn) 確、可靠。

RAG的應(yīng)用場景： 1. 問答系統(tǒng)：在問答系統(tǒng)中，RAG通過檢索大量信息并生成精準(zhǔn)、詳細(xì)的答 案，提高了回答的準(zhǔn)確性和信息的豐富度 2. 內(nèi)容創(chuàng)作：RAG可以根據(jù)給定的主題或關(guān)鍵詞生成豐富且有深度的文章， 節(jié)省大量的時間和人力資源 3. 數(shù)據(jù)分析與挖掘：RAG能夠在大規(guī)模數(shù)據(jù)集中快速檢索信息，為數(shù)據(jù)分析 提供了一個強(qiáng)大的工具 RAG技術(shù)通過結(jié)合最新的大語言模型和外部知識庫，為AI在自然語言處理領(lǐng)域 的應(yīng)用提供了新的可能性，尤其是在需要處理大量信息和提供準(zhǔn)確回答的場景 中。

其中Graph RAG（Graph Retrieval-Augmented Generation）是一種結(jié)合知識圖譜和圖數(shù) 據(jù)庫的檢索增強(qiáng)技術(shù)。它通過構(gòu)建圖模型的知識表達(dá)，將實體和關(guān)系之間的聯(lián)系用圖 的形式進(jìn)行展示，并利用大語言模型（Large Language Model, LLM）進(jìn)行檢索增 強(qiáng)。Graph RAG的核心在于將知識圖譜等價于一個超大規(guī)模的詞匯表，其中實體和關(guān) 系對應(yīng)于單詞，使得在檢索時能夠?qū)嶓w和關(guān)系作為單元進(jìn)行聯(lián)合建模。

raph RAG的處理流程劃分為兩個主要階段： 1. 第一階段，Index in time。該階段中系統(tǒng)不僅將知識以圖譜的形式進(jìn)行存儲，以 便于后續(xù)的檢索和引用，同時還會執(zhí)行傳統(tǒng) RAG 流程中的 Split & Embedding操 作。 2. 第二階段，Query Time。Split & Embedding 的操作帶來的最大益處在于能夠迅速 鎖定與查詢最為相關(guān)的知識點(diǎn)。此外，通過利用知識圖譜（KG）中知識點(diǎn)之間 的關(guān)聯(lián)關(guān)系或語義鏈接，系統(tǒng)可以快速地識別出在語義層面上相關(guān)或接近的知 識。這些知識點(diǎn)隨后被提供給大語言模型，從而使其能夠生成更為貼切的答案。 同時，這一過程也有助于防止語言模型產(chǎn)生虛假或不合邏輯的回答，提高了結(jié)果 的可靠性。

Graph RAG的主要特點(diǎn)： 1. 知識圖譜集成：Graph RAG利用知識圖譜來增強(qiáng)語言模型的理解能力，使得模型 能夠更好地理解實體間的關(guān)系和上下文信息。 2. 檢索增強(qiáng)：通過結(jié)合圖數(shù)據(jù)庫的查詢能力，Graph RAG能夠提供更準(zhǔn)確、相關(guān)和 多樣化的信息來滿足用戶的需求。 3. 上下文學(xué)習(xí)：Graph RAG支持In-Context Learning，即在向模型提出問題時，提供 相關(guān)的上下文信息作為背景知識，從而生成更符合預(yù)期的響應(yīng)。 4. 處理復(fù)雜查詢：Graph RAG特別適合處理復(fù)雜或多義詞查詢，因為它能夠利用知 識圖譜中的結(jié)構(gòu)化信息來解決歧義問題。 5. 表達(dá)和推理能力提升：通過圖技術(shù)構(gòu)建的知識圖譜，Graph RAG能夠幫助大語言 模型更好地理解實體間的關(guān)系，提升模型的表達(dá)和推理能力。 6. 適應(yīng)性強(qiáng)：Graph RAG技術(shù)可以適配不同的大語言模型框架，如Llama Index、LangChain等，使得開發(fā)者可以專注于LLM的編排邏輯和pipeline設(shè)計。 Graph RAG作為一種新興的技術(shù)，正在逐漸展現(xiàn)出其在信息檢索和處理領(lǐng)域的潛力， 尤其是在需要處理大量結(jié)構(gòu)化數(shù)據(jù)和復(fù)雜上下文信息的場景中。隨著技術(shù)的進(jìn)一步 發(fā)展，Graph RAG有望在更多領(lǐng)域得到應(yīng)用和推廣。

4.提示詞工程

提示詞工程（PromptEngineering，縮寫為PE）是一種AI技術(shù)，它通過設(shè)計和改進(jìn)AI的 提示詞來提高AI的表現(xiàn)。PE關(guān)注提示詞的開發(fā)和優(yōu)化，幫助用戶將大模型用于各場 景和研究領(lǐng)域。

提示詞（prompt）在人工智能場景下指給模型的一個初始輸入或提示，用于引導(dǎo)模型 生成特定的輸出。提示詞可以是一個問題、一段文字描述，甚至可以是帶有一堆參數(shù) 的文字描述。AI模型會基于提示詞所提供的信息，生成對應(yīng)的文本，亦或者圖片。 比如，我們在ChatGPT中輸入：中國的首都是什么？ 這個問題就是提示詞。掌握了提 示詞工程相關(guān)技能將有助于用戶更好地了解大模型的能力和局限性。

5.LangChain

在人工智能領(lǐng)域，大語言模型（LLMs）如GPT-3.5和GPT-4等已經(jīng)成為了自然語言 處理（NLP）的強(qiáng)大工具。它們能夠生成連貫的文本、回答問題、甚至創(chuàng)作詩歌和 故事。然而，盡管這些模型在處理語言方面表現(xiàn)出色，但它們在實際應(yīng)用中的潛力 仍然受限。為了克服這些限制并充分發(fā)揮LLMs的能力，LangChain應(yīng)運(yùn)而生。 LangChain是哈里森-蔡斯（Harrison Chase）于2022年10月發(fā)起的一個基于LLM的應(yīng) 用開發(fā)框架開源項目，是目前大模型應(yīng)用開發(fā)的最主流框架之一。它提供了一套工 具和組件，使得開發(fā)者能夠?qū)LMs與外部數(shù)據(jù)源和計算能力結(jié)合起來，從而創(chuàng)建 更加智能和功能豐富的應(yīng)用。LangChain圍繞將不同組件“鏈接”在一起的核心概 念構(gòu)建，通過統(tǒng)一的接口簡化了與 GPT-3.5、GPT-4、llama、文心一言、通義千問 等 LLM 合作的過程，使得開發(fā)者可以輕松創(chuàng)建定制的高級用例。

截至2024年3月，LangChain平臺已實現(xiàn)了與包括亞馬遜、谷歌及微軟Azure在內(nèi) 的主 流云存儲系統(tǒng)的深度整合，并且封裝了涵蓋新聞資訊、影視資料和氣象信息的多樣 化API接口。此外，LangChain提供了對Google Drive文檔、電子表格及演示 文稿內(nèi)容 的自動化總結(jié)、抽取與創(chuàng)建能力；同時涵蓋了Google搜索與Microsoft Bing搜索引擎 的網(wǎng)絡(luò)信息檢索功能。在自然語言處理領(lǐng)域，它成功對接了OpenAI、 Anthropic 和 Hugging Face等多家知名機(jī)構(gòu)的語言模型資源。 在編程與 代碼管理方面，LangChain支持Python與JavaScript代碼的自動生成、靜態(tài)分 析與調(diào)試功能，并采用Milvus與Weaviate向量數(shù)據(jù)庫系統(tǒng)分別用于存儲與檢索高維向 量嵌入及緩存相關(guān)對象。為加速數(shù)據(jù)訪問性能，系統(tǒng)配備了Redis作為緩存數(shù)據(jù)存儲 方案，并通過Python Requests Wrapper及其他API請求手段確保了與各類服務(wù)的 無縫 交互。在并發(fā)處理層面，該平臺能夠?qū)崟r追蹤并記錄線程與異步子進(jìn)程運(yùn)行中的堆 棧符號信息。截至2024年3月，LangChain已具備讀取超過50種不同文檔類型和數(shù)據(jù) 源的強(qiáng)大能力，展現(xiàn)出廣泛的應(yīng)用潛力和卓越的技術(shù)適應(yīng)性。