國內外GenAI大模型發展現狀如何？

Claude是由美國人工智能初創公司Anthropic開發的大語言模型。

1.國外大模型

（1）ChatGPT

ChatGPT（Chat Generative Pre-trained Transformer）是由OpenAI研發的一款聊天機 器人程序，于2022年11月30日發布。它是基于GPT-3.5模型的一個專門優化用于對話 生成的語言模型。ChatGPT能夠根據用戶輸入的文本產生智能化的回答，并且具備連 續對話的能力，能夠捕捉用戶的意圖，理解上下文，并在多輪對話中提高準確率。

截至2023年12月，ChatGPT已無可爭議地成為全球范圍內增長速度空前的消費級軟件 應用典范，其用戶基數在以突破1.8億大關，并在此背景下，促使OpenAI公司的估值 躍升至800億美元的新高度。ChatGPT這一劃時代產品的發布不僅引發了全球科技界 的廣泛關注，還強有力地激發了市場對同類競品的研發熱潮，諸如Gemini、 ErnieBot、 LLaMA 以及Claude等項目應運而生。值得注意的是，ChatGPT在線服務提 供了兩個迭代版本，分別基于GPT-3.5和更為先進的GPT-4架構構建而成。這兩個版 本均隸屬于OpenAI專有的生成預訓練轉換器（Generative Pre-trained Transformer，GPT）模型系列，該系列的設計靈感與核心技術基礎源自谷歌所研發 的Transformer架構。為了滿足不同用戶的需求， ChatGPT 允許普通用戶免費體驗基 于GPT-3.5版本的服務；而對于追求更高級功能和持續更新內容的用戶，則通過商業 化品牌“Chat GPT Plus”提供基于GPT-4版本及其后續優化功能的付費訂閱服務。

（2）Gemini

Gemini 是由Google DeepMind團隊研發的人工智能模型，是LaMDA和PaLM2的繼 任者，于2023年12月6日發布。這是一個多模態模型家族，支持文本、圖像、音 頻、視頻和代碼的全方位理解和生成。Gemini模型家族包含三個針對不同應用場景 優化的版本：Gemini Ultra作為旗艦版，專為數據中心級別的高性能計算環境設 計；Gemini Pro則定位為通用型解決方案，能在多種工作任務上展現高效性能， 并且特別適用于企業級應用及云端服務；而小巧靈活的Gemini Nano，則通過高度 優化實現了在資源受限的移動設備上的高效運行，為智能手機和平板電腦等移動平 臺帶來了強大且實時的AI交互體驗。Gemini的設計使其能夠原生地支持多模態能 力，即從一開始就在不同模態上進行預訓練，并利用額外的多模態數據進行微調， 以提高其有效性。

（3）Claude

Claude是由美國人工智能初創公司Anthropic開發的大語言模型，Anthropic成立于 2021年，是一家專注于人工智能安全和研究的公司，旨在建立可靠、可解釋、可操 縱的人工智能系統。Claude模型提供了API和Slack機器人兩種訪問方式，其中API訪 問需要申請并通過后才能使用，而Slack機器人目前處于beta版本，不收費。

Claude是由Anthropic公司于2023年3月首次推出的語言模型系列的初代版本，盡管在 編碼、數學推理等方面尚存在一定的性能局限性，但依然在執行多樣化任務上展現 出了顯著的能力。針對用戶的不同需求，Claude推出了兩種優化版本：常規版 Claude和響應速度更快、成本更低廉、運行更為輕巧的Claude Instant。后者將輸入 上下文的處理能力提升至容納10萬token，約等同于7.5萬個英文單詞的內容量。同 年7月11日，Anthropic發布了Claude系列的重要迭代產品——Claude2，該版本對公 眾開放使用，而其前身Claude1則僅限于經Anthropic審核批準的特定用戶群 體。Claude2實現了一次重大飛躍，將上下文窗口從原來的9,000個token擴展到了10 萬個token，并新增了上傳PDF和其他文檔的功能，使得Claude能夠閱讀、總結文件 內容并輔助完成相關任務。11月份發布的Claude2.1版本中，聊天機器人的處 理能力再度翻倍，token擴大至20萬個，相當于500頁的書面材料。 Anthropic在2024 年3月4日正式推出了革新性的Claude3系列，Claude3分為三個型號，按功能強大程 度依次排列為Haiku、Sonnet和旗艦款Opus。默認配置的Claude3 Opus token為20萬 個，而在特殊應用場景下，該窗口可擴展至高達100萬個token,且在知識深度、數學 處理和復雜任務解決方面展現出了超越GPT-4和Gemini 1.0 Ultra的實力。

（4）LLaMA

LLaMA（全稱為“大語言模型Meta AI”）是Meta AI于2023年2月推出的自回歸式 大語言模型系列，它囊括了多種參數規模的版本，其參數量分別為7 億、130億、330億以及650億。通常情況下，頂級LLM僅能通過有限或專屬API途徑 訪問，而Meta則破例在非商業許可框架下向全球研究社群開放了LLaMA模型權重 的下載權限。值得關注的是，在LLaMA發布后短短一周內，其模型權重即通過 BitTorrent在網絡論壇4chan上被公開泄露給了公眾。 2023年7月18日，Meta與微軟攜手推出了LLaMA系列的迭代升級產品—— LLaMA-2，標志著雙方在大語言模型技術領域的合作邁入了新的階段。當 日，Meta正式揭曉了三種不同規模配置的LLaMA-2模型，參數量分別達到了70 億、130億以及700億。盡管在架構設計上，LLaMA-2延續了前代LLaMA-1的基本框 架，但值得注意的是，在構建基礎模型的過程中，Meta引入了相較于LLaMA-1多出 40%的數據進行訓練，從而提升了模型對廣泛語境和任務的理解能 力。LLaMA-2產品系列不僅包括針對通用自然語言處理任務的基礎模型，而且還推 出了經過對話場景微調優化的變體——LLaMA-2 Chat，專為提升人機交互體驗而 打造。相比于其前身LLaMA-1，LLaMA-2的一大突破性舉措在于所有模型權重的全 面開放，并且對于廣泛的商業應用場景，提供免費使用的權限，此舉無疑拓寬了 LLaMA-2在業界的應用范圍和影響力。

（5）Mixtral

Mixtral是由MistralAI開發的一款大語言模型，它采用了專家混合（MoE）架構，這 種架構通過一個網關網絡將輸入數據分配給被稱為“專家”的特定神經網絡組 件。Mixtral 8x7B模型由八個各自擁有70億參數的專家組成，這種設計提高了模型 訓練和運算的效率及可擴展性。Mixtral8x7B在多個領域表現出色，包括綜合性任 務、數據分析、問題解決和編程支持等。 2023年9月27日，Mistral AI通過官方BitTorrent磁力鏈接以及Hugging Face平臺發布了 Mistral 7B模型，該模型采用了擁有7億個訓練參數，并且嚴格遵循Apache2.0開源許 可證，為全球開發者和研究者提供了自由訪問和使用的權限。2023年12月9 日，Mistral AI發布了Mixtral 8x7B，其構建在稀疏專家混合（MoE）的革新框架之 上，盡管總體參數量達到了467億之多，但得益于MoE技術的高效性，對于每個 Token僅激活12.9億相關參數進行運算。此款模型支持包括法語、西班牙語、意大 利語、英語及德語在內的五大語言環境，并在多項基準測試中表現卓越，聲稱已成 功超越了Meta公司的LLaMA 270B模型的性能水平。2024年2月26日面世的Mistral Large，則是Mistral AI的又一旗艦產品，被定位為緊隨OpenAI GPT-4之后的頂級 大模型。它不僅支持多種語言處理任務，還具備編程能力，在多領域應用上展示了 強大的適應性和創造性。用戶現可通過Microsoft Azure云端平臺便捷使用這款高 性能模型。Mistral Medium型號則是在廣泛的多語言文本和代碼數據集上進行深 度訓練后推出的，其綜合性能評價位于Claude模型與GPT-4之間，為尋求平衡資源 占用與處理效能需求的用戶提供了一個理想的選擇。最后，Mistral Small作為輕量 化解決方案，旨在提供低延遲響應且性能不俗的小型模型。相較于Mixtral 8x7B， 它在保證快速響應的同時，實現了更優的性能指標，從而在有限計算資源場景下展 現出極高的實用價值。

2.國內大模型

（1）百度-文心一言

文心一言（英文名：ERNIE Bot）是百度基于文心大模型技術研發的知識增強大語 言模型，被外界譽為“中國版ChatGPT”。其核心理念在于運用深度學習算法和大 規模語料庫，模擬人類的語言理解和生成能力，從而為用戶提供智能化、個性化的 服務。能夠實現與人對話互動，回答問題，協助創作，高效便捷地幫助人們獲取信 息、知識和靈感，并且在文學創作、商業文案創作、數理邏輯推算、中文理解、多 模式生成方面有很好的應用前景。

文心一言最早應該可以追溯到2010年百度成立的“自然語言處理部”，2019年3月16 日，百度正式發布知識增強的文心大模型ERNIE1.0，該模型基于飛槳深度學習平臺 打造，通過將數據與知識融合，提升了大模型學習效率及學習效果。2019年7月31 日，百度文心大模型升級到2.0。ERNIE 2.0通過持續學習框架，持續學習大規模語料 中的詞法、語法、語義等知識，在共計16個中英文任務上取得全球最好效 果。2021年7月6日，百度發布文心大模型 3.0 (ERNIE 3.0)。ERNIE 3.0首次在千億級預 訓練模型中引入大規模知識圖譜，ERNIE 3.0刷新54個中文NLP任務基準，并在國際 權威的復雜語言理解評測SuperGLUE上, 以超越人類水平0.8個百分點的成績登頂全球 榜首。2023年3月16日，百度新一代大語言模型文心一言正式啟動邀測。2023年8月31 日，文心一言率先向全社會全面開放。開放首日，文心一言共計回復網友超3342萬 個問題。2023年10月17日，百度世界2023大會上，李彥宏宣布文心大模型4.0正式發 布，開啟邀請測試。

（2）阿里-通義

阿里通義是阿里云推出的一系列人工智能產品和服務平臺，旨在提供類人智慧的 通用智能服務。這些產品和服務包括通義千問、通義智文等，它們支持多種API接 口，使得AI應用開發變得更加簡單和高效。通義千問（Qwen）是阿里云推出的一 款超大規模語言模型，采用了阿里云自主研發的大規模預訓練語言模型架構，通過 先進的深度學習技術和海量數據訓練而成。通義智文是另一個阿里云的AI產品， 它可能包含了文本生成、內容理解、自動摘要、情感分析等功能，旨在幫助用戶高 效地處理和創造文本內容。 目前，通義千問的綜合性能已經超過GPT-3.5，加速追趕GPT-4。2023年12月1日， 阿里云舉辦發布會，正式發布并開源“業界最強開源大模型”通義千問720億參數 模型Qwen-72B。同時，通義千問開源了18億參數模型Qwen-1.8B和音頻大模型 Qwen-Audio。至此，通義千問共開源18億、70億、140億、720億參數的4款大語言 模型，以及視覺理解、音頻理解兩款多模態大模型，實現了“全尺寸、全模態”開 源。自此，阿里云大模型的開源邏輯更加清晰，即通過開源的方式提供技術產品， 降低門檻，推動技術普惠，為企業客戶到個人開發者提供多元化、全方位的技術服 務。在通義千問的基礎上創建的大模型、小模型越豐富，AI生態就越繁榮。

（3）訊飛-星火認知大模型

訊飛星火認知大模型是由科大訊飛推出的新一代認知智能大模型。基于訊飛最新的 認知智能大模型技術，經歷了各類數據和知識的充分學習訓練，可以和人類進行自 然交流，解答問題，高效完成各領域認知智能需求。 訊飛星火V2.0已具備“代碼生成、代碼補齊、代碼糾錯、代碼解釋、單元測試生 成”等能力，并且在業界參考測試集與真實應用場景均達到優異效果，逼近國外領 軍者。星火認知大模型V3.0的快速落地，更是推動著訊飛大模型能力迅速迫近行業 前列，其在數學自動提煉規律、小樣本學習、代碼項目級理解能力以及多模態指令 跟隨與細節表達等方面進行了進一步升級，這些能力的提升將融入星火金融大模型 中，為大模型在金融行業的落地應用帶來全新機遇。2024年1月30日，科大訊飛發 布了基于首個全國產算力平臺「飛行一號」訓練的全民開放大模型——訊飛星火 V3.5版本。相較于上一個版本，訊飛星火V3.5版本在文本生成、語言理解、知識問 答、邏輯推理、數學能力、代碼能力、多模態能力等七大核心能力上均實現大幅提 升，進一步逼近GPT-4 Turbo的最新水平。

（4）華為-盤古大模型

華為盤古大模型是華為云推出的一系列人工智能大模型，旨在通過強大的計算能 力和先進的算法，解決行業難題并釋放AI的生產力。該模型涵蓋了NLP大模 型、CV大模型、多模態大模型、預測大模型和科學計算大模型五大類別，旨在為 氣象、醫藥、水務、機械等領域提供強大的科學計算能力。盤古大模型的研發不僅 體現了華為在AI技術領域的深厚積累，也展示了華為在推進AI技術產業化應用方 面的決心和能力。 在2021年4月，盤古大模型1.0就已經發布，早于今天大部分的大模型。2022年11月7 日的華為全聯接大會2022中國站上發布了盤古氣象大模型、盤古海浪大模型、盤古 礦山大模型、盤古OCR大模型等新服務。2023年7月舉行的華為開發者大會上，華 為云曾發布了盤古大模型3.0，是中國首個全棧自主的AI大模型，該模型已具備文 生圖、文生文、文生代碼、文生視頻等多模態能力，提供5+N+X的三層解耦架 構：L0層有5個基礎大模型，提供滿足行業場景的多種技能；L1層是N個行業大模 型，提供使用行業數據訓練的行業大模型；L2層為客戶提供更多細化場景模型，它 更加專注于某個具體應用場景或特定業務。華為常務董事、華為云CEO張平安表 示，盤古大模型聚焦產品研發、軟件工程、生產供應、市場營銷、客戶運營等價值 場景，致力于深耕行業，如政務、金融、制造、煤礦、鐵路、制藥、氣象等。