AI模型分析報告：從世界模型看算力需求變化.pdf

AI模型分析報告：從世界模型看算力需求變化。Sora 是第一個表現(xiàn)出"涌現(xiàn)"能力的視頻生成模型：隨著模型規(guī)模增大而出現(xiàn)“理解世界”的能力。雖然許多 LLM，如 ChatGPT 和 GPT-4，表現(xiàn)出涌現(xiàn)能力，但在 Sora 出現(xiàn)之前，展示類似能力的視覺模型一直很少。根據(jù) Sora 的技術 報告，它是第一個表現(xiàn)出確認的涌現(xiàn)能力的視覺模型，標志著計算機視覺領域的一個重要里程碑。

Sora 的成功源于 Diffusion Transformer 架構的引入，和過去多年高質量數(shù)據(jù)的積累。 從架構上看，視頻生成模型的技術路線開始收斂，Sora 的 Diffusion Transformer 架構證實了有效 scale-up 也即是 增加算力能夠對提升視頻生成的精細度和效果，是視頻生成領域的"GPT-3 時刻"。類似于 GPT-3 證明了更大的訓練量、 模型參數(shù)量、Token 數(shù)量，訓練效果越好。引入了 Transformer 的 Sora 也表現(xiàn)出了同樣的趨勢，OpenAI 進行了 32x 訓練量和 1x、4x 訓練量的對比，從結果上看，32x 訓練量的生成效果遠遠強于 1x 和 4x 的生成效果。在 Sora 發(fā)布后 Google、Snap 也發(fā)布了采用類似技術的視頻生成模型，確定了 Diffusion Transformer 的視頻生成路線，并且算力的 需求會大大提升。

從數(shù)據(jù)上看，高質量的數(shù)據(jù)對視頻生成模型的訓練至關重要，Sora 利用自有工具增強訓練數(shù)據(jù)集與提示工程。OpenAI 訓練了專用的視頻字幕模型來為視頻生成詳細描述，生成高質量的視頻-字幕對，用于微調 Sora 以提高其指令跟隨 能力。同時為了確保用戶提示與訓練數(shù)據(jù)中這些描述性標題的格式保持一致，Sora 執(zhí)行了一個額外的提示擴展步驟， 即調用 GPT-4V 模型將用戶輸入擴展到詳細的描述性提示。

我們認為，隨著 Diffusion Transformer 類模型大量應用于圖像及視頻生成，推理需求將大幅增加，與 LLM 推理更需 要內存帶寬的資源需求不同，視覺模型推理將對芯片本身算力和內存容量提出更高要求。Sora 的 DiT 和大語言模型 在推理時的邏輯不同，Diffusion 需要約 20 Steps 優(yōu)化過程，每次均是計算的完整的 patch，訪存需求也會大大下降， 從 LLM 推理的訪存密集型場景轉變成算力密集型場景。

Sora 高質量的視頻生成對影視和游戲行業(yè)的影響是最直接而深遠的，降低制作門檻并且很有可能重塑影視和游戲制 作的流程與格局。高質量的視頻生成對于影視行業(yè)的工作流會有深遠的影響，前期可以替代掉分鏡以及概念片制作， 后期可以取代部分特效制作。對于游戲行業(yè)，游戲開發(fā)人員可能會使用它來生成自定義的視覺效果，甚至是從玩家敘 述中生成角色動作。