北京
騰訊最近真的猛，產(chǎn)品增長快不算，模型也庫庫發(fā)布
3D、視頻和 LLM 在GitHub上總Star數(shù)都超過2.6萬了
剛才發(fā)布了混元 T1 推理模型的正式版，推理速度極快（首字秒回）而且支持超常文本處理
模型基于混元Turbo S訓(xùn)練
而且這次的正式版比前段時(shí)間上線騰訊元寶的混元T1-preview在各項(xiàng)測試上都有大幅提升
混元T1已在騰訊云官網(wǎng)上線，輸入價(jià)格為每百萬tokens 1元，輸出價(jià)格為每百萬tokens 4元。
混元 Turbo S 這個模型也很有意思，采用Hybrid-Mamba-Transformer融合模式，應(yīng)該是業(yè)界首次將混合Mamba架構(gòu)無損應(yīng)用于超大型推理模型。
Mamba 架構(gòu)相較于 Transformer 可以處理更長的上下文，同時(shí)可以大幅降低推理時(shí)的內(nèi)存占用和算力成本。
混元T1能有效解決長文推理中常見的上下文丟失和長距離信息依賴問題。同時(shí)，混合Mamba架構(gòu)針對長序列處理進(jìn)行了專項(xiàng)優(yōu)化，通過高效的計(jì)算方式，在確保長文本信息捕捉能力的同時(shí)大幅降低資源消耗。
他們這個混合架構(gòu)可以確保長文本信息捕捉能力的同時(shí)大幅降低資源消耗，在相近的激活參數(shù)量下，實(shí)現(xiàn)了解碼速度提升2倍。而且首字時(shí)延低于1秒，實(shí)際應(yīng)用中可以做到秒回。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
