99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

編碼器-解碼器架構的復興?谷歌一口氣發布32個T5Gemma模型

0
分享至



機器之心報道

編輯:Panda

今天是 xAI 的大日子,伊隆?馬斯克早早就宣布了會在今天發布 Grok 4 大模型,AI 社區的眼球也已經向其聚攏,就等著看他的直播(等了挺久)。當然,考慮到 Grok 這些天的「失控」表現,自然也有不少人是在等著看笑話。

盡管如此,谷歌似乎也并不在意被奪走的目光,接連對 Gemma 系列模型進行了更新。

首先,谷歌發布了一系列用于健康 AI 開發的多模態模型MedGemma,其中包含 4B 和 27B 兩個大小的幾個不同模型:MedGemma 4B Multimodal、MedGemma 27B Text 和 MedGemma 27B Multimodal。

該系列模型能夠根據醫療圖像和文本描述輔助診斷并提供醫療建議,整體表現也是相當不錯。



Hugging Face:https://huggingface.co/collections/google/medgemma-release-680aade845f90bec6a3f60c4

而本文的重點并不是它,而是谷歌今天發布的編碼器-解碼器架構的 Gemma 系列模型:T5Gemma



從名字也能看出來,這個 Gemma 系列模型與 T5(The Text-to-Text Transfer Transformer)模型關系密切。而 T5 模型實際上就是編碼器-解碼器(encoder-decoder)架構的模型,并不同于目前主流的僅解碼器(decoder-only)架構。

當然,雖然僅解碼器架構是目前 LLM 的主流,但實際上,編碼器-解碼器憑借高推理效率、設計靈活性以及更豐富的編碼器表征,在某些實際任務中其實非常好用,比如摘要、翻譯、問答等。

似乎正因為此,谷歌一直沒有放棄編碼器-解碼器架構,T5Gemma 便是其最新成果。

具體來說,T5Gemma 使用了一種名為「適應(adaptation)」的技術來將已經完成預訓練的僅解碼器模型轉換為編碼器 - 解碼器架構。

T5Gemma 基于 Gemma 2 框架,包含經過適應的 Gemma 2 2B 和 9B 模型,以及一組全新訓練的 T5 尺寸模型(Small、Base、Large 和 XL)。另外還包含預訓練和指令微調模型的多種變體版本。此外,T5Gemma 還提供了多種大小的編碼器與解碼器配置。不僅如此,谷歌還發布了使用 PrefixLM 或 UL2 這兩個不同目標訓練的模型。

總的算下來,谷歌這一次就發布了32個不同的 T5Gemma 模型。



  • Hugging Face:https://huggingface.co/collections/google/t5gemma-686ba262fe290b881d21ec86
  • Kaggle:https://www.kaggle.com/models/google/t5gemma

雖然熱度遠不及 Grok 4,但 T5Gemma 依然備受好評:



有人更是認為它是「LLM 時代編碼器-解碼器模型的強勢回歸」。



不過也有人吐嘈模型太多,讓人不知道怎么選。



從僅解碼器到編碼器-解碼器

對于 T5Gemma,谷歌研究的問題是:能否基于經過預訓練的僅解碼器模型構建頂級編碼器-解碼器模型?

谷歌為此探索了上述的適應技術,其核心思想是使用已預訓練的僅解碼器模型的權重來初始化編碼器-解碼器模型的參數,然后通過基于 UL2 或 PrefixLM 的預訓練進一步調整這些參數。



方法概況,展示了如何使用經過預訓練的僅解碼器模型的參數初始化新的編碼器-解碼器模型。

這種適應方法高度靈活,并且支持組合不同大小的模型。例如,可以將大型編碼器與小型解碼器(例如,9B 編碼器與 2B 解碼器)配對,創建一個「不平衡」模型。

如此一來,便可以針對具體任務權衡地選擇質量與效率,比如在摘要任務中,對輸入的深度理解比生成輸出的復雜性更為重要。

實際上,谷歌已經在今年 4 月份發布了關于適應技術的論文



  • 論文標題:Encoder-Decoder Gemma: Improving the Quality-Efficiency Trade-Off via Adaptation
  • 論文地址:https://arxiv.org/pdf/2504.06225

T5Gemma 的表現如何?

在谷歌的實驗中,T5Gemma 模型的性能與僅解碼器的 Gemma 模型相當,甚至更勝一籌,在多個基準測試(例如用于衡量所學習到的表征質量的 SuperGLUE)中,T5Gemma 幾乎主導了質量-推理效率的帕累托邊界。



在給定的推理計算水平下,編碼器-解碼器模型始終能提供更佳性能,并且在一系列基準測試中引領質量-效率邊界。

這種性能優勢并非僅限于理論層面,它也能轉化為實際的質量和速度。在測量在 GSM8K(數學推理任務)上的實際延遲時,T5Gemma 取得了顯著優勢。

例如,T5Gemma 9B-9B 的準確度高于 Gemma 2 9B,但延遲時間相似。更驚人是,T5Gemma 9B-2B 的準確度顯著高于 2B-2B 模型,但其延遲時間幾乎與規模小得多的 Gemma 2 2B 模型相同。

總體而言,這些實驗表明,編碼器-解碼器適應確實是一種靈活而強大的方法,可以更好地平衡質量和推理速度。

編碼器-解碼器模型能否獲得與僅解碼器模型類似的能力?

谷歌的答案是:可以!

T5Gemma 在指令微調前后都表現優良。

經過預訓練后,T5Gemma 在需要推理的復雜任務上取得了亮眼的進步。

例如,T5Gemma 9B-9B 在 GSM8K 上的得分比 Gemma 2 9B 模型高出 9 分以上,在 DROP(閱讀理解任務)上的得分比 Gemma 2 9B 模型高出 4 分。這表明,通過適應初始化的編碼器 - 解碼器架構有潛力創建更強大、性能更佳的基礎模型。



經過微調的 T5Gemma 模型在多個推理密集型基準測試上相比僅解碼器的 Gemma 2 取得了顯著提升。

這些預訓練帶來的基礎性改進奠定了基礎,支撐起指令微調后更顯著的提升。

例如,如果對比 Gemma 2 IT 與 T5Gemma IT,可以看到性能差距全面顯著擴大。T5Gemma 2B-2B IT 的 MMLU 得分比 Gemma 2 2B 提高了近 12 分,其 GSM8K 得分也從 58.0% 提升至 70.7%。看起來,經過適應后的架構不僅可能提供更好的起點,而且還能更有效地響應指令微調。最終構建出一個功能更強大、更實用的最終模型。



經過微調 + RLHF 后的模型的詳細結果,表明后訓練可以顯著提升編碼器-解碼器架構的性能。

你認為 T5Gemma 能帶來編碼器-解碼器模型的復興嗎?

https://developers.googleblog.com/en/t5gemma/

https://x.com/googleaidevs/status/1942977474339496208

https://research.google/blog/medgemma-our-most-capable-open-models-for-health-ai-development/

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
已下架,七大著名酸奶全軍覆沒,實為科技糖水,購買時注意鑒別!

已下架,七大著名酸奶全軍覆沒,實為科技糖水,購買時注意鑒別!

阿天愛旅行
2025-07-10 05:57:02
沖上熱搜!短劇演員于龍向楊伊璐求婚成功,網友:磕的CP成真了

沖上熱搜!短劇演員于龍向楊伊璐求婚成功,網友:磕的CP成真了

大象新聞
2025-07-10 22:09:39
貴州即將消失的三線廠,昔日生活富足幸福滿滿,如今重組只剩老人

貴州即將消失的三線廠,昔日生活富足幸福滿滿,如今重組只剩老人

旅游探秘行者
2025-07-10 23:11:34
國內最強混血?山東找到未來核心 曲紹斌若帶他世青賽成績或更好

國內最強混血?山東找到未來核心 曲紹斌若帶他世青賽成績或更好

大嘴爵爺侃球
2025-07-10 21:31:23
李月汝18+10引熱議 美媒:扛起了這一支球隊 讓她長期留在飛翼吧

李月汝18+10引熱議 美媒:扛起了這一支球隊 讓她長期留在飛翼吧

狼叔評論
2025-07-10 11:54:06
警惕!有人體溫41℃,深度昏迷!醫院已收治多人

警惕!有人體溫41℃,深度昏迷!醫院已收治多人

極目新聞
2025-07-10 19:08:29
馬斯克呼吁美國:提前準備好下場戰爭,如不做出根本改變,會慘敗

馬斯克呼吁美國:提前準備好下場戰爭,如不做出根本改變,會慘敗

Ck的蜜糖
2025-07-11 02:19:59
欣旺達:公司計劃2026年推出第一代全固態電池產品,2027年推出第二代全固態電池產品

欣旺達:公司計劃2026年推出第一代全固態電池產品,2027年推出第二代全固態電池產品

每日經濟新聞
2025-07-10 18:13:47
一種新型的異性關系,在中年男女間悄然流行:你知我心,我知你意

一種新型的異性關系,在中年男女間悄然流行:你知我心,我知你意

阿傖說事
2025-07-07 15:42:07
真相:中國民航飛行員嚴重過剩

真相:中國民航飛行員嚴重過剩

難得君
2025-07-06 16:06:01
江西繼子被后媽冷待10年,考上清華辦升學宴,他拿出鑒定后媽呆住

江西繼子被后媽冷待10年,考上清華辦升學宴,他拿出鑒定后媽呆住

張道陵秘話
2025-05-15 19:50:15
中俄已點頭,就差特朗普簽字,菲律賓站出來,要求中國放棄核武器

中俄已點頭,就差特朗普簽字,菲律賓站出來,要求中國放棄核武器

掌青說歷史
2025-07-08 11:03:43
430萬!男子理發店充值灌腸退費遇阻,網友的關注點不一般

430萬!男子理發店充值灌腸退費遇阻,網友的關注點不一般

天氣觀察站
2025-07-11 03:20:50
為什么要遠離社會底層,給大家講幾個實際案例

為什么要遠離社會底層,給大家講幾個實際案例

侃神評故事
2025-07-10 20:21:28
下肢5個異常,糖尿病足的“最后警報”,很多人后悔沒早點知道

下肢5個異常,糖尿病足的“最后警報”,很多人后悔沒早點知道

牛鍋巴小釩
2025-07-11 01:11:47
天水鉛中毒事件,越扒越讓人后怕

天水鉛中毒事件,越扒越讓人后怕

清書先生
2025-07-08 16:48:18
7位“過氣演員”回歸普通生活,擺攤賣菜,喂豬放牛,住農村別墅

7位“過氣演員”回歸普通生活,擺攤賣菜,喂豬放牛,住農村別墅

手工制作阿殲
2025-07-04 05:51:31
長沙湘江邊“網紅打卡地”冒出大量收費座椅,城管部門:違法經營,立即整治

長沙湘江邊“網紅打卡地”冒出大量收費座椅,城管部門:違法經營,立即整治

上游新聞
2025-07-10 15:43:04
婆婆看上我的陪嫁奔馳,想偷偷轉去小姑子名下,過戶時她們傻眼了

婆婆看上我的陪嫁奔馳,想偷偷轉去小姑子名下,過戶時她們傻眼了

如煙若夢
2025-06-23 17:53:04
伊朗怒了!巴勒斯坦怒了!敘利亞怒了!黎巴嫩怒了!

伊朗怒了!巴勒斯坦怒了!敘利亞怒了!黎巴嫩怒了!

小企鵝侃世界
2025-07-09 22:24:56
2025-07-11 04:40:49
機器之心Pro incentive-icons
機器之心Pro
專業的人工智能媒體
10837文章數 142364關注度
往期回顧 全部

科技要聞

Grok4最貴訂閱月費2千,會不會三觀不正?

頭條要聞

退休人員基本養老金為何上調2% 人社部發文回應

頭條要聞

退休人員基本養老金為何上調2% 人社部發文回應

體育要聞

白衣生涯最后一舞,但魔笛的故事還沒結束

娛樂要聞

宋佳,真的好叛逆!

財經要聞

潮玩規模破千億的幕后故事

汽車要聞

靠譜奶爸的底氣 樂道L90靜態體驗

態度原創

健康
親子
教育
手機
公開課

呼吸科專家破解呼吸道九大謠言!

親子要聞

老婆懷孕了想吃40元一斤的草莓,經濟一般該買嗎?

教育要聞

成都又要新增一所“教科附”高中?最新消息來了

手機要聞

榮耀Magic8 Pro曝光,400系列激活量新突破

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 和林格尔县| 项城市| 桂阳县| 田东县| 清镇市| 保山市| 东阳市| 昌吉市| 绥德县| 乌海市| 信宜市| 石林| 通许县| 斗六市| 蒙城县| 筠连县| 元朗区| 新泰市| 泰安市| 云浮市| 托里县| 山西省| 徐汇区| 武夷山市| 新龙县| 定西市| 东丽区| 黔江区| 略阳县| 隆德县| 股票| 延寿县| 太湖县| 慈溪市| 如东县| 林口县| 华安县| 松阳县| 宽甸| 西安市| 南华县|