99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

編碼器-解碼器架構的復興?谷歌一口氣發布32個T5Gemma模型

0
分享至



機器之心報道

編輯:Panda

今天是 xAI 的大日子,伊隆?馬斯克早早就宣布了會在今天發布 Grok 4 大模型,AI 社區的眼球也已經向其聚攏,就等著看他的直播(等了挺久)。當然,考慮到 Grok 這些天的「失控」表現,自然也有不少人是在等著看笑話。

盡管如此,谷歌似乎也并不在意被奪走的目光,接連對 Gemma 系列模型進行了更新。

首先,谷歌發布了一系列用于健康 AI 開發的多模態模型MedGemma,其中包含 4B 和 27B 兩個大小的幾個不同模型:MedGemma 4B Multimodal、MedGemma 27B Text 和 MedGemma 27B Multimodal。

該系列模型能夠根據醫療圖像和文本描述輔助診斷并提供醫療建議,整體表現也是相當不錯。



Hugging Face:https://huggingface.co/collections/google/medgemma-release-680aade845f90bec6a3f60c4

而本文的重點并不是它,而是谷歌今天發布的編碼器-解碼器架構的 Gemma 系列模型:T5Gemma



從名字也能看出來,這個 Gemma 系列模型與 T5(The Text-to-Text Transfer Transformer)模型關系密切。而 T5 模型實際上就是編碼器-解碼器(encoder-decoder)架構的模型,并不同于目前主流的僅解碼器(decoder-only)架構。

當然,雖然僅解碼器架構是目前 LLM 的主流,但實際上,編碼器-解碼器憑借高推理效率、設計靈活性以及更豐富的編碼器表征,在某些實際任務中其實非常好用,比如摘要、翻譯、問答等。

似乎正因為此,谷歌一直沒有放棄編碼器-解碼器架構,T5Gemma 便是其最新成果。

具體來說,T5Gemma 使用了一種名為「適應(adaptation)」的技術來將已經完成預訓練的僅解碼器模型轉換為編碼器 - 解碼器架構。

T5Gemma 基于 Gemma 2 框架,包含經過適應的 Gemma 2 2B 和 9B 模型,以及一組全新訓練的 T5 尺寸模型(Small、Base、Large 和 XL)。另外還包含預訓練和指令微調模型的多種變體版本。此外,T5Gemma 還提供了多種大小的編碼器與解碼器配置。不僅如此,谷歌還發布了使用 PrefixLM 或 UL2 這兩個不同目標訓練的模型。

總的算下來,谷歌這一次就發布了32個不同的 T5Gemma 模型。



  • Hugging Face:https://huggingface.co/collections/google/t5gemma-686ba262fe290b881d21ec86
  • Kaggle:https://www.kaggle.com/models/google/t5gemma

雖然熱度遠不及 Grok 4,但 T5Gemma 依然備受好評:



有人更是認為它是「LLM 時代編碼器-解碼器模型的強勢回歸」。



不過也有人吐嘈模型太多,讓人不知道怎么選。



從僅解碼器到編碼器-解碼器

對于 T5Gemma,谷歌研究的問題是:能否基于經過預訓練的僅解碼器模型構建頂級編碼器-解碼器模型?

谷歌為此探索了上述的適應技術,其核心思想是使用已預訓練的僅解碼器模型的權重來初始化編碼器-解碼器模型的參數,然后通過基于 UL2 或 PrefixLM 的預訓練進一步調整這些參數。



方法概況,展示了如何使用經過預訓練的僅解碼器模型的參數初始化新的編碼器-解碼器模型。

這種適應方法高度靈活,并且支持組合不同大小的模型。例如,可以將大型編碼器與小型解碼器(例如,9B 編碼器與 2B 解碼器)配對,創建一個「不平衡」模型。

如此一來,便可以針對具體任務權衡地選擇質量與效率,比如在摘要任務中,對輸入的深度理解比生成輸出的復雜性更為重要。

實際上,谷歌已經在今年 4 月份發布了關于適應技術的論文



  • 論文標題:Encoder-Decoder Gemma: Improving the Quality-Efficiency Trade-Off via Adaptation
  • 論文地址:https://arxiv.org/pdf/2504.06225

T5Gemma 的表現如何?

在谷歌的實驗中,T5Gemma 模型的性能與僅解碼器的 Gemma 模型相當,甚至更勝一籌,在多個基準測試(例如用于衡量所學習到的表征質量的 SuperGLUE)中,T5Gemma 幾乎主導了質量-推理效率的帕累托邊界。



在給定的推理計算水平下,編碼器-解碼器模型始終能提供更佳性能,并且在一系列基準測試中引領質量-效率邊界。

這種性能優勢并非僅限于理論層面,它也能轉化為實際的質量和速度。在測量在 GSM8K(數學推理任務)上的實際延遲時,T5Gemma 取得了顯著優勢。

例如,T5Gemma 9B-9B 的準確度高于 Gemma 2 9B,但延遲時間相似。更驚人是,T5Gemma 9B-2B 的準確度顯著高于 2B-2B 模型,但其延遲時間幾乎與規模小得多的 Gemma 2 2B 模型相同。

總體而言,這些實驗表明,編碼器-解碼器適應確實是一種靈活而強大的方法,可以更好地平衡質量和推理速度。

編碼器-解碼器模型能否獲得與僅解碼器模型類似的能力?

谷歌的答案是:可以!

T5Gemma 在指令微調前后都表現優良。

經過預訓練后,T5Gemma 在需要推理的復雜任務上取得了亮眼的進步。

例如,T5Gemma 9B-9B 在 GSM8K 上的得分比 Gemma 2 9B 模型高出 9 分以上,在 DROP(閱讀理解任務)上的得分比 Gemma 2 9B 模型高出 4 分。這表明,通過適應初始化的編碼器 - 解碼器架構有潛力創建更強大、性能更佳的基礎模型。



經過微調的 T5Gemma 模型在多個推理密集型基準測試上相比僅解碼器的 Gemma 2 取得了顯著提升。

這些預訓練帶來的基礎性改進奠定了基礎,支撐起指令微調后更顯著的提升。

例如,如果對比 Gemma 2 IT 與 T5Gemma IT,可以看到性能差距全面顯著擴大。T5Gemma 2B-2B IT 的 MMLU 得分比 Gemma 2 2B 提高了近 12 分,其 GSM8K 得分也從 58.0% 提升至 70.7%??雌饋?,經過適應后的架構不僅可能提供更好的起點,而且還能更有效地響應指令微調。最終構建出一個功能更強大、更實用的最終模型。



經過微調 + RLHF 后的模型的詳細結果,表明后訓練可以顯著提升編碼器-解碼器架構的性能。

你認為 T5Gemma 能帶來編碼器-解碼器模型的復興嗎?

https://developers.googleblog.com/en/t5gemma/

https://x.com/googleaidevs/status/1942977474339496208

https://research.google/blog/medgemma-our-most-capable-open-models-for-health-ai-development/

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
宣布了!正式簽約聯手杜蘭特!NBA生涯第三次同隊

宣布了!正式簽約聯手杜蘭特!NBA生涯第三次同隊

籃球實戰寶典
2025-07-11 23:41:50
原來吳越當初沒說謊,看了央視鏡頭才發現,宋佳的面相早就變了

原來吳越當初沒說謊,看了央視鏡頭才發現,宋佳的面相早就變了

小椰的奶奶
2025-07-12 03:21:58
毛主席是軍事奇才,那么誰又是他最強的軍事助手呢?全軍只有一人

毛主席是軍事奇才,那么誰又是他最強的軍事助手呢?全軍只有一人

z千年歷史老號
2025-07-04 18:26:52
杜蘭特屈居第3!美媒曬NBA歷史得分手TOP20:麥迪12歐文6科比第二

杜蘭特屈居第3!美媒曬NBA歷史得分手TOP20:麥迪12歐文6科比第二

鍋子籃球
2025-07-11 16:42:46
香港9000億豪門內斗:太子苦干15年,竟被親爹聯手小媽踢出局!

香港9000億豪門內斗:太子苦干15年,竟被親爹聯手小媽踢出局!

喜歡歷史的阿繁
2025-07-04 02:53:38
特朗普下令美軍出手,不惜“同歸于盡”,也要狠狠教訓馬斯克一下

特朗普下令美軍出手,不惜“同歸于盡”,也要狠狠教訓馬斯克一下

司馬平邦
2025-07-11 19:59:45
4斷3帽!隊記:謝潑德新賽季角色提升的重要因素就是防守

4斷3帽!隊記:謝潑德新賽季角色提升的重要因素就是防守

直播吧
2025-07-12 12:06:16
用了上百年的導盲犬,被網友們噴成了一場騙局。

用了上百年的導盲犬,被網友們噴成了一場騙局。

奔波兒灞與灞波兒奔
2025-07-11 20:58:39
傳統柜子已逐漸退出中國家庭!看看年輕人的新式做法,高級又實用!

傳統柜子已逐漸退出中國家庭!看看年輕人的新式做法,高級又實用!

裝小宅
2025-07-10 12:13:59
警方最新通報:南京紅老頭系38歲男子

警方最新通報:南京紅老頭系38歲男子

微微熱評
2025-07-08 08:04:17
淚崩,37歲突如其來的失業和離婚,父母的養老金為我撐起一片天

淚崩,37歲突如其來的失業和離婚,父母的養老金為我撐起一片天

戶外小阿隋
2025-07-11 08:06:42
京東員工:39歲的人生好失敗。孩子中考失利,房貸欠100多萬

京東員工:39歲的人生好失敗。孩子中考失利,房貸欠100多萬

螞蟻大喇叭
2025-07-11 18:05:05
他不服文革判決,14年間越獄4次,流亡3萬里,居然活著熬到平反

他不服文革判決,14年間越獄4次,流亡3萬里,居然活著熬到平反

阿器談史
2025-06-21 00:39:29
高考575分被掃地出門后續:老母親哭訴,兒子黑料太多,六親不認

高考575分被掃地出門后續:老母親哭訴,兒子黑料太多,六親不認

涵豆說娛
2025-07-09 17:43:13
空腹吃了十顆荔枝,老“糖友”突發低血糖

空腹吃了十顆荔枝,老“糖友”突發低血糖

極目新聞
2025-07-10 17:42:33
253票比65票,泰國撤回重大法案,不顧中國,他信家族自斷生路?

253票比65票,泰國撤回重大法案,不顧中國,他信家族自斷生路?

博覽歷史
2025-07-11 16:19:07
哲凱賴什三戲曼聯!曝拉爵簽新中鋒策略,1500萬分成到手有助買人

哲凱賴什三戲曼聯!曝拉爵簽新中鋒策略,1500萬分成到手有助買人

羅米的曼聯博客
2025-07-12 10:54:35
俄羅斯完全撕破臉,拒絕投降必死!高超導彈洗地,軍列都被炸飛

俄羅斯完全撕破臉,拒絕投降必死!高超導彈洗地,軍列都被炸飛

深藍航跡
2025-07-09 13:00:10
楊瀚森首秀10+4+5+3帽全能:率隊狂勝開門紅 中國新星點燃全場

楊瀚森首秀10+4+5+3帽全能:率隊狂勝開門紅 中國新星點燃全場

醉臥浮生
2025-07-12 13:15:13
梁天:哥哥負債400萬離世后看清英達真面目,對宋丹丹有愧疚

梁天:哥哥負債400萬離世后看清英達真面目,對宋丹丹有愧疚

莫惟
2025-03-29 21:16:49
2025-07-12 13:59:00
機器之心Pro incentive-icons
機器之心Pro
專業的人工智能媒體
10845文章數 142374關注度
往期回顧 全部

科技要聞

黃仁勛警示AI風險:沒新想法,就集體失業

頭條要聞

牛彈琴:越南或在最后一刻遭特朗普暗算 十分失望憤怒

頭條要聞

牛彈琴:越南或在最后一刻遭特朗普暗算 十分失望憤怒

體育要聞

夏聯-開拓者大勝勇士 楊瀚森首秀10+4+5+3帽

娛樂要聞

王晶曝張國榮自殺原因 抑郁癥只是其一

財經要聞

中國超半數城市人口下滑,什么信號?

汽車要聞

小米YU7深度試駕:優點很多缺點也很多

態度原創

親子
藝術
健康
時尚
軍事航空

親子要聞

這衣服漂亮不?

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

呼吸科專家破解呼吸道九大謠言!

買包的盡頭是帆布包?她花幾十塊拿下女明星同款

軍事要聞

美國防部承認美空軍基地在6月被伊朗導彈擊中

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 舞钢市| 新巴尔虎右旗| 乐都县| 会昌县| 苏州市| 察雅县| 河南省| 勐海县| 崇信县| 莲花县| 肇州县| 东辽县| 沧州市| 海城市| 鞍山市| 白水县| 浦东新区| 桐乡市| 左权县| 辛集市| 若羌县| 拉孜县| 汕尾市| 竹溪县| 建平县| 靖州| 蒲江县| 长岛县| 土默特左旗| 肥西县| 南宫市| 普格县| 桐庐县| 武功县| 成武县| 定边县| 阳朔县| 诸城市| 芒康县| 仙居县| 治县。|