作者 |Anidhya Bhatnagar
譯者 | 明知山
策劃 | 丁曉昀
引 言
大概念模型(Large Concept Model,LCM)標志著自然語言處理領域的一次重大轉變,它側重于結構化推理和真正的理解,而不僅僅是預測單詞。與大語言模型(LLM)不同,LLM 在需要大量推理的任務中有時候會生成誤導性或不一致的信息,而 LCM 依賴結構化知識(如本體和因果圖),能夠模擬專家分析師的行為和思維方式。這種方法有助于 AI 把握概念之間的關系,解釋其推理過程,并做出更可靠的決策。通過解決當前 AI 的缺陷,LCM 為準確決策、科學發現和行業應用帶來了新的可能性。
本文以實際的客戶支持應用為基礎,旨在幫助技術領導層了解如何在企業環境中部署和整合 LCM。
理解 LLM 與 LCM
LLM 是基于海量文本數據訓練的 AI 模型,能夠理解和生成類似人類的文本。通過學習語言的模式和結構,LLM 可以利用這些信息進行預測,從而回答問題、生成內容或者從提供的數據或內容中提取有價值的見解。
相比之下,LCM 被訓練用于理解和推理結構化概念。LCM 捕捉更高層次的想法和關系,而不僅僅是預測下一個單詞。這使得 LCM 能夠在各種任務中進行更準確的推理、制定更復雜的決策和解決結構化的問題。
當前模型的問題
在過去的幾年里,LLM 在很大程度上改變了 AI,讓機器能夠生成類似人類的文本。然而,LLM 缺乏真正的理解能力,它們會產生“幻覺”,即給出錯誤的回答。這是因為 LLM 高度依賴于統計模式和概率,這在需要因果關系和上下文的任務中引入了不可靠性。例如,一個醫療 AI 可能會自信地描述一種不存在的藥物的副作用,或者一個法律聊天機器人可能會誤解案例法,因為它依賴于統計模式而不是真正的推理。
缺乏因果理解
當前的 AI 模型面臨的一個關鍵限制是對因果關系的理解。如果你問:“如果降雨量減少,小麥價格將如何變化?”LLMs 能會參考過去的趨勢,但可能會忽略一些與特定地區相關的關鍵因素,如土壤肥力、地區農業政策或全球供應鏈。這是因為 LLM 無法把握概念及其之間的關系——它們是基于模式來預測單詞,而不是基于結構化推理。
示例:客服的自動化
以企業的客戶支持自動化為例,在這個場景中,因果理解的這種限制變得至關重要。不同的客戶會發送電子郵件請求支持,可能涉及不同的部門和多種類型的請求,甚至在同一封電子郵件中包含多個請求或后續的請求。由于其固有的限制,基于 LLM 的 AI 系統將無法準確地對所有電子郵件進行分類。
例如,客戶的電子郵件可能會說:“盡管我上個月就提出了相同的投訴,但我的月賬單仍然不對。”基于 LLM 的系統可能會將其歸類為一般的賬單問題,而忽略了更深層次的因果信號,例如后端系統出現了影響現有賬戶賬單生成的漏洞。這可能導致重復開票或錯誤地將郵件路由到不合適的部門。
LCM 如何解決這一問題
大概念模型突破了關鍵詞的局限。因為推理是基于結構化概念,它們可以理解“重復問題”、“過去開過票”和“賬單不匹配”在概念上是相互關聯的。然后,模型利用歷史背景來識別先前票務狀態和后端問題之間的因果關系。因此,LCM 將其歸類為“系統錯誤”下的“重復關鍵問題”,將將其定位為一個技術性問題。除此之外,它還會在“財務部門”下再開一個“發票更正”的工單,解決客戶投訴并提供即時解決方案。與此同時,軟件團隊開始著手修復這個技術問題。
逐個詞元處理
LLM 面臨的另一個挑戰是它們逐個詞元處理的方式。它們一次生成一個單詞作為輸出,而不規劃響應的完整結構。這使得 LLM 難以在較長的響應中保持邏輯一致性。通常,這會導致矛盾、事實錯誤或重復陳述——就像有人在寫一篇論文時逐個單詞猜測,而不是事先規劃整體思路。
盡管 LLM 很強大,但它們缺乏深度推理能力和結構化知識,這限制了它們在醫學、金融和科學等領域的可靠性,而準確性和邏輯連貫性對這些領域來說至關重要。
示例:企業商務智能中的文本轉 SQL
我們以大型企業中處理文本轉 SQL 任務的商務智能聊天機器人為例。用戶可能會提出這樣的問題:“顯示過去八個季度中東地區白金客戶的月總收入,不包括退款和試用賬戶。”基于 LLM 的聊天機器人在這種情況下可能會生成一個部分正確的 SQL,但往往會遺漏一些關鍵組件,如排除標準、日期范圍或跨表連接。這是因為 LLM 線性地生成 SQL 查詢,逐字逐句,卻忽略了其中存在的語義結構。
LCM 如何解決這一問題
大概念模型在概念層面進行推理,解析意圖,映射約束條件,并生成一個完整且邏輯準確的 SQL 查詢。它能夠理解“不包括退款和試用賬戶”這個約束條件,并得出結論,需要與“客戶類型”和“月收入”表進行連接,從而確保端到端邏輯的一致性。
理解大概念模型
大概念模型摒棄了基于詞元的處理方式,而是專注于在抽象嵌入空間中進行層次化推理,理解其中的概念及其關系,這與人類的思維方式類似。LCM 的設計獨立于語言,能夠在語義層面獨立地處理底層推理。
例如,大語言模型可能將“干旱減少小麥產量”這一短語視為一連串孤立的單詞,而 LCM 則將其解釋為一種因果關系,進而理解更宏觀的語境。
- 知識驅動的推理
——?LCM 以定義概念關系的知識圖譜為基礎。例如,知識圖譜明確表示了“干旱 → 影響 → 農作物產量”這樣的關系,而不僅僅是預測下一個可能的單詞。
- 多模態理解
——與主要關注文本的 LLM 不同,LCM 可以處理語音、圖像,甚至手語,并通過共享的概念空間將它們連接起來。
- 邏輯與統計的混合
——LCM 結合了符號 AI(規則和邏輯)與機器學習,使它們能夠系統地進行推理。例如,給定“所有的干旱都會損害農作物,某地區正處于干旱狀態”,LCM 可以從邏輯上得出“某地區預計將遭受農作物損失”的結論。
LCM 的工作原理有何不同
無論是 LLM 還是 LCM,它們都以文本生成、總結、問答、翻譯、分類、數據和搜索增強等為目標。從這個角度來看,LCM 和 LLM 之間的根本區別在于它們如何處理這些任務。例如,在語言翻譯任務中,LLM 的表現主要取決于它們訓練時所使用的數據和語言,而 LCM 則使用語義對象和抽象表示(SONAR)。
SONAR 是一個經過訓練或結構化的嵌入空間,旨在捕捉概念的相似性和結構,而不僅僅是語言模式。它使模型能夠在密集的向量空間中更好地對抽象概念(如正義、經濟或意識)進行推理,同時保留語義和關系屬性。SONAR 自動編碼句子的能力也很強大,即把句子轉換成向量再轉換回來,幾乎沒有損失。因此,它能夠理解和翻譯 200 多種語言,而無需進行額外的語言訓練。
LLM 擅長流暢地交流,而 LCM 則在謹慎思考方面展現出優勢。
從更廣泛的視角來看,LCM 和 LLM 之間的區別如下:
概念優先的方法
LCM 采用了概念優先的方法,在進行數據驅動的學習之前,根據高層次的概念來理解和構建知識。這種方法并非完全依賴大量的非結構化數據,而是確保模型在進一步訓練之前,對給定領域內的關鍵原則、關系和層次結構有一個基礎性的理解。
這種概念優先的方法賦予了 LCM 在不同語言和語境中泛化知識的強大能力,使其遠超 LLM。例如,經過英語醫學數據訓練的 LCM 能夠用斯瓦希里語診斷疾病——不是通過簡單的直接翻譯,而是通過識別普遍的醫學概念。
LCM 標志著 AI 的進化方向,關注意義而非單純的單詞模式,從流暢的文本生成轉向真正的理解和推理。
大概念模型——架構
大概念模型建立在一種混合架構之上,這種架構結合了結構化的知識表示和神經網絡的適應性。這使它們能夠在處理現實世界的復雜性的同時進行邏輯推理,這是純統計 AI 模型的一個進步。
LCM 的核心是一個結構化、層次化的流程。輸入文本首先被分解為句子,這些句子被視為基本的概念單位。然后,這些句子通過 SONAR 進行處理。
大型概念模型的基本架構(來源)
經過編碼后,概念序列由完全在嵌入空間中運行的模型處理。這種與語言無關的方法使 LCM 能夠在不受任何特定語言或輸入格式限制的情況下進行推理,使它們能夠超越文本和語音。生成的概念隨后通過 SONAR 解碼回語言或其他模態,使模型能夠以多種語言或格式輸出,而無需重新運行模型。
在這個領域出現了兩種關鍵架構:基礎 LCM(Base-LCM),即最初的嘗試,以及基于擴散的 LCM(Diffusion-Based LCM),一種受圖像生成技術啟發的高級版本。兩者都利用了這種結構化的流程,確保 AI 響應更具邏輯性且能夠感知上下文。
基礎 LCM——第一步
基礎 LCM 架構是大型概念模型的第一步。它的工作原理與大語言模型類似,但不是預測“下一個單詞”,而是預測結構化概念空間中的“下一個概念”。
基礎 LCM 的工作原理
模型接收一系列概念,并學習預測下一個概念。它使用基于 Transformer 的架構,并增加了額外的層:
預處理網絡(PreNet):調整概念嵌入。
Transformer 解碼器:處理概念之間的關系。
后處理網絡(PostNet):將輸出映射回原始概念空間。
基礎 LCM 架構圖(來源)
訓練過程通過最小化預測概念和實際概念之間的誤差來實現,使用了均方誤差(MSE)損失。
Diffusion-Based LCM——更智能的概念預測方式
受圖像生成擴散模型的啟發,這種架構通過逐步消除“不確定性”或“噪聲”來完善下一個概念的預測。
Diffusion-Based LCM 的工作原理
以從隨機噪聲中生成一張貓的圖像為例——每一步都消除噪聲,直到出現清晰的圖像。Diffusion-Based LCM 將同樣的想法應用于概念預測,通過多個步驟逐步完善預測。
以下是兩種 Diffusion-based LCM 的方法:
單塔 LCM——在這種方法中,模型處理一系列概念,只有最后一個概念是“嘈雜的”(不確定的)。然后,逐步細化這個嘈雜的概念,直到得出清晰的預測。這與基礎 LCM 類似,不同的是它通過運行多個細化步驟來改進預測。
雙塔 LCM——在這種方法中,模型將上下文編碼與概念細化分離開來。第一個模型理解前面的概念,而第二個模型對下一個概念進行去噪。然后,模型使用交叉注意力機制來提高預測的準確性。
Diffusion-based LCM 架構圖示 | 左側——單塔 LCM | 右側——雙塔 LCM。(來源)
研究表明,Diffusion-based LCM 在 ROUGE-L 分數(衡量模型在生成摘要中保持意義的能力)和連貫性分數(評估預測的邏輯流程和一致性)方面顯著優于基礎 LCM。
基礎 LCM 和 Diffusion-Based LCM 的局限性
基礎 LCM 架構的主要問題是,LCM 在表示概念時使用的是固定的嵌入空間(如 SONAR),因此它難以處理模糊性。它更適用于處理簡單且較短的句子,但在處理復雜且關系松散的句子時會遇到困難。此外,它無法可靠地處理數字、鏈接或代碼。另一個問題是,有時候一個句子可能包含多個概念,但模型會將其視為一個單一的概念。在許多情況下,給定輸入之后可能存在多個邏輯上合理的概念,但模型只能選擇一個。這些局限性催生了 Diffusion-Based LCM,后者能夠更有效地處理多種可能性。
Diffusion-based LCM 在處理多種可能的輸出方面優于基礎 LCM,但它們也存在一些局限性。擴散模型更適合用于處理連續數據(如圖像或音頻),然而文本數據具有更強的結構化和離散性特征。這使得擴散模型更難生成準確或有意義的文本結果。Meta 嘗試通過量化模型(如 Quant-LCM)來解決這一問題,但 SONAR 空間并非為量化而設計,因此量化后的結果往往較為復雜,且難以有效應對數據稀疏性問題。
在 Meta 的消融實驗中,Diffusion-based 優于 Quant-LCM,我沒有在本文未包含這些模型的詳細信息。為了實現進一步改進,迫切需要開發一種更優的文本表示方法,以在結構化和靈活性之間達到更好的平衡。
大概念模型的實際應用
大概念模型的概念理解、結構化推理和多步邏輯思維能力使其更適合被用于需要更復雜推理、上下文和概念的應用中。接下來,我們將詳細討論基于我當前項目經驗的兩個 LCM 的實際應用場景。
高級客戶支持工單與解決方案
一家管理全球復雜基礎設施的大型組織(涵蓋商業園區、企業大樓、大學、政府機構和制造單位等)在其客戶支持運營方面面臨獨特的挑戰——規模大、多語言互動、任務復雜、大量請求重復、緊急性或嚴重性問題以及個性化需求。傳統的基于 LLM 的系統需要針對每個地區或機構類型分別部署定制化的解決方案,在應對這些挑戰時顯得力不從心。在大型概念模型通過在概念層面進行推理,而不是僅僅處理關鍵詞,帶來了變革性的優勢。LCM 能夠深入分析傳入的請求,正確分類 50 多個部門的 450 多種支持任務類型,并生成結構化的支持工單。
當 LCM 與 LLM+RAG 結合使用時,還能實現智能自動響應——確認用戶請求,根據知識庫提供自助解決方案或逐步故障排除流程,并自主處理數據庫查詢。憑借概念層面的理解和多語言能力,LCM 幫助全球支持中心用本地語言(中東、歐洲和亞洲 15 種以上的語言)提供無縫、文化敏感且高度個性化的協助。
從自然語言生成 SQL 語句
繼續上面的高級客戶支持工單與解決生態系統(涵蓋多個國家、基礎設施設施和數據庫),我們來看看數據驅動的查詢自動化,這是一項復雜程度更高的任務。盡管 LLM 能夠執行基本的文本到 SQL 翻譯,但在多步理解以及將用戶意圖精準映射到正確的數據庫、訪問權限和上下文準確的查詢方面存在困難。大概念模型通過在概念層面進行推理,從根本上為這一過程帶來了質的飛躍。它們在生成 SQL 之前會系統地理解用戶意圖、操作上下文和模式關系。
這不僅大幅減少了錯誤率,顯著提升了準確性,并且能夠更深入地理解特定于部門或地理位置的數據處理規則的細微差別。憑借多語言輸入能力,LCM 可以輕松處理 15 種以上自然語言查詢,并提供大規模的智能自動化支持解決方案。相比之下,沒有概念推理的 LLM 可能會誤解查詢、暴露敏感數據,甚至危及數據庫的完整性——而這些都是 LCM 可以有效防范的風險。
監管和合規申報
我目前正在做的另一個項目是為注冊投資顧問領域的 SEC(美國證券交易委員會)監管和合規申報實現自動化。這一領域受到嚴格監管,要求以精準、一致且具備上下文理解的方式,緊跟不斷演變的法規要求。傳統的 LLM 自動化能力通常達不到要求,因為這些任務需要深入的概念映射,理解規則并將其與復雜的金融數據映射起來,并按照監管模式和格式結構化信息。
大概念模型非常適合用于應對這一挑戰,因為它們能夠跨越多個相互關聯的合規概念進行推理,精準地對復雜的金融信息進行分類,驗證信息的完整性,并生成符合 SEC 標準的結構化輸出。在這一領域,監管機構的各種申報文件及其定期更新要求對來自不同財務披露、數據源、通信和運營細節的信息進行交叉引用和分析。LCM 提供了智能自動化功能,可用于創建申報文件的初稿,通過快速處理提升準確性、節省大量時間,進而進一步降低風險。
LCM 的局限性
盡管 LCM 相較于傳統大語言模型已經取得了顯著進步,但它們也并非毫無瑕疵。在選擇 LCM 時,必須對它們的局限性做出考量。理解這些局限性對于做出明智的架構決策來說至關重要。
LCM 需要比 LLM 更復雜的管道,這使得訓練和微調模型變得更加昂貴且極為耗費資源。
LCM 需要在概念工程和整合數據源方面進行大量的前期投資。
LCM 需要帶有概念標簽的數據集,而這些數據集目前沒有公開可用的版本。
LCM 確實更擅長結構化推理,但理解其內部概念路徑仍然很困難,這給審計工作帶來了巨大的挑戰。
LCM 的概念層在推理時也需要更多的內存和算力。
LCM 仍在興起階段,目前只有少數開源模型或數據集可用。
微調 LCM 通常需要重新構建部分概念空間或概念關系結構。
不同 AI 推理方法的比較
隨著 AI 系統的不斷發展,不同的架構展現出了不同的能力和優勢。LLM、LLM + RAG 和 LCM 代表了不同的 AI 推理和可靠性解決方案。下表對這三種架構進行了比較并突出了關鍵差異,幫助你選擇合適自己的模型。
配置 Meta 的大概念模型
讓我們開始動手探索 Meta 的大概念模型吧。
克隆代碼庫
獲取官方 LCM 代碼:
git clone https://github.com/facebookresearch/large_concept_model.git
cd large_concept_model
準備環境
在這里我使用的是配備 8 個 vCPU、30 GB 內存和 1 個 NVIDIA Tesla P4 GPU 的 Google Cloud 實例。
使用以下命令安裝 uv:
> curl -Ls https://astral.sh/uv/install.sh | bash
> echo 'export PATH="$HOME/.cargo/bin:$PATH"' >> ~/.bashrc
> source ~/.bashrc
> uv --version
克隆大概念模型代碼庫:
> git clone https://github.com/facebookresearch/large_concept_model.git
cd large_concept_model/
創建包含所有必要包的虛擬環境:
> uv sync --extra cpu --extra eval --extra data
安裝 NVIDIA 驅動程序:
> wget https://us.download.nvidia.com/tesla/535.247.01/nvidia-driver-local-repo-ubuntu2204-535.247.01_1.0-1_amd64.deb
> sudo chmod +x nvidia-driver-local-repo-ubuntu2204-535.247.01_1.0-1_amd64.deb
> sudo apt install ./nvidia-driver-local-repo-ubuntu2204-535.247.01_1.0-1_amd64.deb
> lspci | grep -i nvidia
> uname -m && cat /etc/*release
安裝 CUDA:
> wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
> sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
> wget https://developer.download.nvidia.com/compute/cuda/12.8.1/local_installers/cuda-repo-ubuntu2204-12-8-local_12.8.1-570.124.06-1_amd64.deb
> sudo dpkg -i cuda-repo-ubuntu2204-12-8-local_12.8.1-570.124.06-1_amd64.deb
> sudo cp /var/cuda-repo-ubuntu2204-12-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
> sudo apt-get update
> sudo apt-get -y install cuda-toolkit-12-8
安裝 NVIDIA 工具:
> apt install nvidia-utils-390
重啟實例
安裝 CUDA:
> sudo chmod +x cuda-repo-ubuntu2204-12-8-local_12.8.1-570.124.06-1_amd64.deb
> sudo apt install ./cuda-repo-ubuntu2204-12-8-local_12.8.1-570.124.06-1_amd64.deb
> sudo apt-get install ./nvidia-driver-local-repo-ubuntu2204-535.247.01_1.0-1_amd64.deb
> sudo apt-get install -y cuda-drivers
檢查 NVIDIA 驅動程序安裝:
> nvidia-smi
創建數據目錄:
> mkdir prep_data
安裝 build-essentials 和 g++:
> sudo apt install -y build-essential cmake g++-11
> sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-11 100
> sudo update-alternatives --config g++
> g++ --version
Fairseq2 依賴 libsndfile1,所以安裝它:
> sudo apt-get install libsndfile1
使用 uv 安裝支持 GPU 的 Torch:
> uv pip install fairseq2==v0.3.0rc1 --pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/rc/pt2.5.1/cu121 --upgrade
使用 uv 安裝 fairseq2:
> uv pip install fairseq2==v0.3.0rc1 --pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/rc/pt2.5.1/cu121 --upgrade
在環境中安裝大概念模型:
pip install -e .
測試安裝是否成功
在代碼庫的根目錄下創建 prep_data 目錄:
> mkdir prep_data
LCM 提供了一個樣本處理管道,可用于準備訓練數據,我們用它來驗證 LCM 安裝情況:
> uv run --extra data scripts/prepare_wikipedia.py prep_data/
輸出
大約 25 分鐘后,你將獲得以下輸出。這個流程清晰地展示了如何從 HuggingFace 平臺獲取數據集,并運用 SONAR 和 SaT 技術對其進行處理。腳本提供了從 HuggingFace 拉取數據的示例,并在 prep_data 文件夾中以 parquet 格式創建名為 0_467e0daf78e07283_0_0.parquet 的數據文件。
此外,你可以在實例中添加更多 GPU,并按照代碼庫中 README.md 文件的說明運行訓練。目前,Meta 尚未發布權重或訓練模型。因此,你需要自行訓練。
Meta 在實驗研究中使用的是 Finewebedu 數據集來訓練模型,因此我們無法在我們的系統上進行模型的訓練或微調。所有模型都使用 1.6B 參數進行了 25 萬優化步驟的訓練,總批量大小為 22.9 萬 概念,這一訓練過程是在 Meta 的 32 個 A100 GPU 研究超級集群上完成的。
AI 和 LCM 的未來發展之路
AI 的未來發展方向在于將大概念模型的結構化推理與大語言模型的語言流暢性相結合。這種融合可能會創造出能夠分析復雜場景并清晰傳達見解的 AI 系統。
想象一個由 AI 驅動的戰略顧問:
使用 LCM 模擬市場趨勢并預測結果。
利用 LLM 以類似人類的敘事方式闡釋決策邏輯。
持續從現實世界的反饋中學習并更新知識。
因此,這種融合方法將使專家級分析對更多人開放,同時保持人類的監督。監管機構和政府,如 美國政府,已經要求對高風險 AI 系統提供可審計的推理路徑,確保推理過程的透明度和可追溯性。
提高 AI 的可解釋性
LCM 的最大優勢之一是能夠清晰地解釋決策過程。與依賴復雜神經激活的傳統 AI 模型不同,LCM 能夠以一種人類易于理解的方式構建其推理邏輯。
例如,基于 LCM 的 AI 在推薦治療方案時能夠清楚地展示患者癥狀是如何與可能的診斷和治療方案關聯起來的。這種透明度有助于建立信任,使醫生能夠驗證并進一步改進 AI 的建議,從而獲得更好的結果。
人機協作
LCM 被設計出來是為了與人類專家并肩工作,而不是取代他們。它們按照與人類思維一致的方式來組織知識,從而成為人類的智能伙伴,而非難以捉摸的黑盒子系統。
這有望改變諸多行業,例如:
科學家可以利用 LCM 更快地驗證假設并發現見解。
商業領袖可能會依賴它們來評估市場策略并預測風險。
通過將結構化推理與靈活的 AI 相結合,LCM 開啟了一個嶄新的未來——人類和 AI 將更加高效地合作,共同解鎖更深刻的洞察,并做出更明智的決策。
結論
大概念模型是朝著能夠推理而不僅僅是預測的 AI 邁出的重要一步。通過構建知識結構,而不是單純依賴模式識別,它們解決了 AI 領域中虛假信息泛濫以及缺乏可解釋性等重大挑戰。盡管采用 LCM 需要多方協作——從完善知識提取到標準化審計——但 LCM 無疑擁有改變醫療保健、治理以及商業戰略等諸多領域的巨大潛力。AI 的未來不是取代人類判斷,而是通過更清晰的推理和更深入的見解來增強人類判斷。
參考文獻
Arxiv: Large Concept Models - Language Modeling in a Sentence Representation Space
GitHub Repo: Facebook Research - Large Concept Models
SONAR: Sentence-Level Multimodal and Language-Agnostic Representations
查看英文原文:
https://www.infoq.com/articles/lcm-paradigm-shift-ai-reasoning/
聲明:本文由 InfoQ 翻譯,未經許可禁止轉載。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.