4月9日-13日，2024 ASC世界大學生超級計算機競賽（ASC24）總決賽即將在上海大學舉行。從全球300多支參賽隊伍中晉級的25支隊伍將繼續(xù)向AI大模型優(yōu)化發(fā)起挑戰(zhàn)——參賽隊伍要基于開源大語言模型AquilaChat2-34B，構建并優(yōu)化推理引擎，在組委會提供的樣本數(shù)據集上使用4比特及以下量化來進行推理，在保證精度的前提下提升推理速度。各參賽隊伍需要充分了解并掌握大模型常見的量化策略與并行方法，并學習使用各種技術來優(yōu)化推理過程。

推理優(yōu)化：大模型應用落地關鍵

隨著大模型技術的飛速發(fā)展，AIGC技術的切實落地應用成為焦點。然而，AI大模型龐大的參數(shù)量面臨著巨大的計算資源需求與計算效率挑戰(zhàn)。在技術發(fā)展的同時，只有不斷提高大模型的運行效率、減少資源消耗并改善用戶體驗，才能讓大模型實現(xiàn)規(guī)模化應用，將生產力和創(chuàng)新力更好釋放到千行百業(yè)。

因此，大模型推理優(yōu)化技術已經成為AIGC領域的前沿技術課題，其是指對具有大量參數(shù)的復雜AI大模型進行有效的推理運行過程優(yōu)化，實現(xiàn)更低延遲和更高吞吐量，使得大規(guī)模AI模型能夠在有限的計算資源下高效運行，大幅降低對計算設備的需求與計算成本。

ASC超算競賽一直聚焦前沿科學，引導大學生學習、使用最新的計算產品和技術，探索和解決當下最緊迫的科技創(chuàng)新問題。一直以來，ASC競賽特別關注人工智能領域的最新動態(tài)，已經連續(xù)多年將AI熱點技術納入賽題，這不僅推動了超算與AI計算的融合發(fā)展，也為培養(yǎng)下一代的AI計算人才提供了寶貴的機會和平臺。

大模型4 bit量化：在精度與效率之間追求極致平衡

模型量化（Model Quantization）是大模型推理優(yōu)化的主流技術之一，旨在通過減少表示權重或激活值所需的位數(shù)來實現(xiàn)模型壓縮，降低模型的大小和計算復雜度。然而，壓縮模型可能會影響其性能，如何在壓縮的同時保持模型精度，是量化技術的核心挑戰(zhàn)。

ASC24總決賽將要求參賽選手基于開源大語言模型Aquila2-34B進行量化推理加速。Aquila2-34B是智源研究院發(fā)布的悟道?天鷹340億參數(shù)開源中英雙語大模型，在推理、泛化等方面表現(xiàn)出色，在智能體、代碼生成、文獻檢索等場景方面取得了一系列成績。

在大模型推理優(yōu)化比拼中，參賽選手需要將AquilaChat2-34B所需的推理權重減少到4 bit及以下。當前，低位量化技術已經成為大模型量化的重點趨勢，相較于FP16（半精度浮點）或者8 bit的量化要求，4 bit及以下量化能夠更大程度減少模型的內存占用和計算資源消耗，但對于精度損失的控制挑戰(zhàn)也更大。本屆ASC參賽選手們要在保證推理精度的前提下盡可能提升推理速度，以減少推理時間。

要想在這道賽題中取得佳績，各參賽隊伍需要充分了解并掌握大模型量化的策略與方法，并在3000W的限制下進行數(shù)據并行加快推理，在精度損失和計算效率之間追求極致平衡。

大模型推理優(yōu)化賽題，不但可以讓參賽選手掌握大模型量化策略，探索更加有效的推理加速技術，降低大模型應用落地門檻，激發(fā)他們深度參與人工智能產業(yè)的熱情，同時也預示著超級計算領域正在主動擁抱大模型，并將在大模型應用中發(fā)揮重要作用。大賽鼓勵參賽隊伍做更多更深的優(yōu)化工作，將大模型的推理性能提升到極致，也期待競賽中涌現(xiàn)出令人驚喜的高質量創(chuàng)新成果，未來頂尖人工智能科學家也許就來自本次參賽隊伍當中。

ASC世界大學生超級計算機競賽（ASC Student Supercomputer Challenge）由中國發(fā)起組織，并得到亞洲及歐美相關專家和機構支持，旨在通過大賽平臺推動各國及地區(qū)間超算青年人才交流和培養(yǎng)，提升超算應用水平和研發(fā)能力,發(fā)揮超算的科技驅動力，促進科技與產業(yè)創(chuàng)新。ASC超算大賽迄今已舉行至第十一屆，吸引來自全球六大洲上萬名大學生報名參賽，是全球最大規(guī)模的大學生超算競賽。