很多時候工程架構(gòu)解決的是復(fù)雜性問題，對于 LLM 來說，模型結(jié)構(gòu)相對固定，結(jié)構(gòu)核心部分已經(jīng)變成全手寫以達(dá)成最佳性能，好像所有的 LLM 模型幾乎可以使用同一套 API。

AI推理需求即將爆發(fā)，甚至也可以說已經(jīng)爆發(fā)的2025年，真正適配AI大模型大規(guī)模落地的底層AI infra應(yīng)該是什么樣的？

DeepSeek V3 作為目前公開資料可以看到的最復(fù)雜、最精巧的大模型 infra 設(shè)計，緊密結(jié)合算法和Infra，可以說在模型的部署上是最高端的一波了，真正發(fā)揮出了模型的極致性能。DeepSeek 把路走通以后，也許未來很多大模型框架，都會往沿著這個方向繼續(xù)演進(jìn)。

我整理了DeepSeek的資源大全，涉及到DeepSeek 的官方鏈接、開源項目、專業(yè)的技術(shù)分析文章，以及不斷更新的行業(yè)資訊，你想知道的關(guān)于 DeepSeek 的一切，都可以在這里找到。掃碼免費領(lǐng)取??（下滑還有更多福利）

研夢非凡3月11日晚（周二）邀請了手握10余篇頂會的楊導(dǎo)師給大家從DeepSeek-V3 的技術(shù)報告入手，深入探討 AI Infrastructure 的關(guān)鍵技術(shù)與創(chuàng)新實踐，展示如何通過高效的計算集群、訓(xùn)練框架、低精度訓(xùn)練以及推理部署優(yōu)化，推動大規(guī)模語言模型的性能與效率提升。

掃碼預(yù)約直播課領(lǐng)資料+福利

課程內(nèi)容

1. 計算集群（Compute Clusters）

如何構(gòu)建高效、可擴(kuò)展的計算集群，以支持 DeepSeek-V3 這種擁有 6710 億參數(shù) 的大規(guī)模混合專家模型（MoE）的訓(xùn)練與推理。

2. 訓(xùn)練框架優(yōu)化（Training Framework）

• DualPipe 與計算-通信重疊：通過 DualPipe 技術(shù)實現(xiàn)計算與通信的高效重疊，最大化硬件利用率。

• 跨節(jié)點全對全通信的高效實現(xiàn)：優(yōu)化多節(jié)點間的通信效率，減少訓(xùn)練中的瓶 頸。

• 極致內(nèi)存節(jié)省與最小開銷：在保證性能的同時，顯著降低內(nèi)存占用，提升訓(xùn)練穩(wěn)定性。

3. FP8 低精度訓(xùn)練（FP8 Training）

• 混合精度框架：通過混合精度訓(xùn)練加速模型收斂，同時保持高精度模型的性 能。

• 量化與乘法精度提升：在低精度訓(xùn)練中通過量化與乘法優(yōu)化，進(jìn)一步提升模 型精度。

• 低精度存儲與通信：減少存儲與通信開銷，顯著降低訓(xùn)練成本。

4. 推理與部署（Inference and Deployment）

• Prefilling 與 Decoding 優(yōu)化：通過預(yù)填充和解碼階段的優(yōu)化，提升推理效率，降低延遲。

• 硬件設(shè)計建議：針對通信與計算硬件的優(yōu)化建議，為未來 AI 基礎(chǔ)設(shè)施的設(shè)計提供參考。

楊導(dǎo)師

【簡介】畢業(yè)于知名計算機(jī)名校。博士期間研究方向聚焦為計算機(jī)視覺，自然語言處理，高效的深度學(xué)習(xí)訓(xùn)練和推理方法，大語言模型輕量化與高效微調(diào)技術(shù)。

曾在多家公司擔(dān)任算法研究員，并進(jìn)行計算機(jī)視覺，高效模型壓縮算法，多模態(tài)大語言模型的研究，包括模型量化，剪枝，蒸餾，編譯以及高效稀疏化訓(xùn)練與推理。

【科研成果】在國際頂級會議CVPR,ICCV, EMNLP等發(fā)表13篇論文，并擔(dān)任CVPR,ICCV,ECCV,ICML,ICLR, NeurIPS等重要會議和期刊的審稿人。

多項發(fā)明專利，指導(dǎo)學(xué)生有耐心，教學(xué)嚴(yán)謹(jǐn)，思維邏輯縝密，已經(jīng)指導(dǎo)數(shù)十篇論文。對于成果好的學(xué)生，幫助學(xué)生寫推薦信和指導(dǎo)申請碩/博申請。

研夢非凡可指導(dǎo)的研究方向

主流方向科研論文常用方法

掃碼預(yù)約直播課領(lǐng)資料+福利

夢非凡科研論文指導(dǎo)方案

idea并不是直接拍腦門拍出來的，是一遍一遍實驗、跑代碼、改模型、思路修正的過程中產(chǎn)生的。研夢非凡1V1定制化論文指導(dǎo)，和研夢導(dǎo)師一起找idea，研夢導(dǎo)師指導(dǎo)實驗，共同解決數(shù)據(jù)問題。授之以漁——搭建論文寫作框架，增刪改查，針對性實驗指導(dǎo)！哪里薄弱補(bǔ)哪里！

全程1v1論文輔導(dǎo)掃碼咨詢助教

研夢非凡導(dǎo)師團(tuán)隊

研夢非凡的導(dǎo)師來自海外QStop50、國內(nèi)華五、C9、985高校的教授/博士導(dǎo)師/博士后，世界500強(qiáng)公司算法工程師，以及國內(nèi)外知名人工智能實驗室研究員。

這是一支實力強(qiáng)大的高學(xué)歷導(dǎo)師團(tuán)隊，在計算機(jī)科學(xué)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等領(lǐng)域，積累了豐富的科研經(jīng)歷，研究成果也發(fā)表在國際各大頂級會議和期刊上，在指導(dǎo)學(xué)員的過程中，全程秉持初心，堅持手把手個性化帶教。包括但不限于以下導(dǎo)師～～

<<< 左右滑動見更多 >>>

掃碼預(yù)約研夢非凡1v1導(dǎo)師meeting

研夢非凡隸屬于蘇州研途教育，深耕考研輔導(dǎo)行業(yè)13年，累計服務(wù)1w+付費學(xué)員（60%高校學(xué)生/教師，40%職場精英）；科研為本，質(zhì)量為先！我們有：500+ 國內(nèi)外頂尖高校博士/教授，互聯(lián)網(wǎng)大廠/獨角獸公司的高級算法科學(xué)家組成的教師團(tuán)隊;深度定制的科研服務(wù)，根據(jù)每位學(xué)員的實際情況，提供個性化的科研輔導(dǎo)方案，確保交付結(jié)果;一站式、全方位科研支持，從選題到方案設(shè)計，從實驗實施到論文撰寫、成果發(fā)表，4V1全流程保姆式服務(wù)！