設置星標 關注,從此你的世界多點科學~
ChatGPT這樣的大模型的成功并非偶然,每一次進化都是從無數被淘汰的算法、模型中艱難誕生。在這艱難曲折的探索中,人類智慧的金塊無疑是AI頭上的一盞明燈。反過來,大模型的進化經驗,能否成為我們人類認知進化的營養?由此,我們破繭成蝶,與AI時代同頻共振,開啟認知與智慧的躍遷。
01
為人生定義目標函數
所有的機器學習,在開始訓練前,都必須明確一個目標函數。這個函數定義了模型希望達到的理想狀態,而訓練的全部意義就在于不斷優化參數,讓模型越來越接近這個目標。正所謂學習未動,目標先行。
人類學習也遵循同樣的道理,如果我們把目標函數設定為短期、狹隘的目標,如考取某個證書、通過某次考試,那么這個目標函數的確容易實現。但是,我們得到的只是一個線性模型,目標只要稍微復雜一點、稍微變化一點,這個線性模型就再無用武之地。這在機器學習中也被稱為“局部最優”陷阱。當一個模型陷入局部最優的舒適區,就不再演化,最終錯過了更廣闊、更深遠的優化空間以抵達“全局最優”。同樣,人生的發展也會出現局部最優——在人生某個階段取得了看似不錯的成就,實際上卻限制了后續的發展空間。所以,短期看是目標達成,長期看則是機會喪失。
人本主義心理學家亞伯拉罕·馬斯洛曾經問他的學生:“你們當中,誰將成為偉大的領導者?”學生只是紅著臉,咯咯地笑,不安地蠕動。馬斯洛又問:“你們當中,誰計劃寫一本偉大的心理學著作?”學生結結巴巴地搪塞過去。馬斯洛最后問道:“你們難道不想成為一個心理學家嗎?”這時,所有學生都回答“想”。這時,馬斯洛說道:“難道你們想成為平庸的心理學家?這有什么好處,這不是自我實現。”馬斯洛解釋道,我們其實不僅僅害怕失敗,也害怕成功。
在這現象的背后,是與自尊糾纏在一起的自卑:我們對偉大的人和事物都有一種敬畏感——在面對他們時,會感到不安、焦慮、慌亂、嫉妒甚至敵意,因為他們會讓我們產生自慚形穢的卑微感。于是,當我們試圖獲得榮譽、成功、幸福等美好的事物時,還未行動,我們卻產生了“這是真的嗎”“我不行”“我不配”的自我質疑,因為陌生的陽光如同黑暗一樣可怕。
薩姆·奧爾特曼在一次接受采訪時,回憶起剛創業時遭到的嘲諷:“回想起來,一件非常成功的事情是,我們從一開始就確定了AGI的目標,而當時在業內,你甚至不能談論這個目標,因為它聽起來太瘋狂了,近乎癡人說夢。所以這立即引起了蘇茨克維的注意,也吸引了所有優秀年輕人的注意,當然,也引來了不少前輩的嘲笑。不知何故,我覺得這是一個好兆頭,它預示著某種強大的力量。我們當時是一群烏合之眾,我的年齡是最大的,大概30歲,所以當時大家覺得我們這群不負責任的年輕人什么都不懂,凈說些不切實際的話。但那些真正感興趣的人會說,‘讓我們放手一搏吧!’”
這就是OpenAI的目標函數,所以才有今日之OpenAI。
作為個人,我們的目標函數應該是什么?
在我看來,那就是構建屬于我們自己的、特立獨行的“個人知識體系”。我們的知識體系是我們認知世界的“眼睛”,正如色盲者無法正確分辨這個世界的顏色,而一個知識體系有缺陷的人不可能觸摸到這個世界的本質。
進入AGI時代,個人知識體系的重要性被無限放大,這是因為AI正在逐漸接管那些標準化、結構化的信息處理任務,而唯有那些真正基于深層理解、價值判斷和創造性思維的能力,才屬于人的不可替代的能力。而這些能力,恰恰植根于獨特的個人知識體系之中。所以,不斷擁抱新的經驗、新的知識,更新推理思維鏈,打破認知邊界,都是在構建一個能與世界深度對話、與自我持續共鳴的個人知識體系。
“蘭葉春葳蕤,桂華秋皎潔。欣欣此生意,自爾為佳節。”馬斯洛說,這才是“奔放的人生”,而不是“枯萎的人生”,因為“如果你總是想方設法掩蓋自己本有的光輝,那么你的未來注定暗淡無光”。
02
使用隨機梯度下降優化人生
在機器學習中,隨機梯度下降是被廣泛使用的優化算法之一。其原理簡單而高效:每一步都在當前的位置基礎上,找到一個大致正確的方向,然后往那個方向邁進一小步。而這個大致正確的方向,來自當前的誤差——算法通過不斷迭代調整模型參數,沿著矯正誤差最陡梯度前進,逐步找到使損失函數最小的參數值。所以,正是因為存在誤差,我們才能判斷前進的方向。
大模型只能從錯誤中學習,人也不例外。這是因為梯度下降的優化算法與大腦的預測編碼機制有異曲同工之妙。預測編碼理論認為,大腦是一個主動預測外部世界的系統,它不斷根據已有的經驗形成預測,隨后將這些預測與現實中接收到的信息進行對比。當預測與實際感知之間出現差異時,大腦就會產生誤差信號。這種誤差信號會激活大腦中與獎賞和糾錯機制相關的多巴胺系統,從而重塑大腦神經元之間的連接。
換句話說,錯誤為大腦提供了一種清晰的、明確的反饋信號,幫助我們快速地發現原有知識或方法的不足,迫使我們重新審視自己原有的信念或行為模式,并嘗試新的、更加準確的做法。與之相反,當我們的預測正確、表現良好時,大腦獲得的反饋信號是弱而模糊的。所以成功的體驗非常美好而錯誤讓人痛苦,但是我們的成長來源于如何應對、修正錯誤,因為錯誤本質上并非失敗,而是一種推動我們持續更新認知結構、增強適應能力的動力源泉。
但是,人是追求獎勵、逃避懲罰的動物,“少犯錯、不犯錯”是我們所接受的教育的核心,所以主動試錯對我們而言是知易行難。隨機梯度下降則為此提供了解決之道。
隨機梯度下降的核心魅力之一,在于它能從不確定中找到確定性——目標函數清晰,但是通向目標函數的路徑不確定。也就是說,我們不要執著于精確地規劃未來的每一步,因為這樣反而可能陷入過度分析而遲遲無法行動。我們需要做的,就是“強行起飛,粗糙開始,空中加油”——找一個大致正確的方向(梯度),然后向前走一步(下降)。
不必在乎當下的這一步是否最優,做時間的朋友,能多走幾步就多走幾步。
因為對于梯度下降這件事,起點不重要,終點才重要。起點都是初始化的隨機參數,眾生平等;終點則是損失函數的能量最小值。所以,家境是否優渥不重要,是不是名牌大學畢業不重要,年齡太大也不重要,因為這些都只是起點,或者最多只能算是“中點”而非終點。梯度下降算法能保證的是:不管起點在哪里,最后得到的解都差不多,當然前提是一直按照梯度的方向走下去。所以,堅持走。
然后,四處走走(隨機),因為每一個方向都是你對世界的新認識。包容性和靈活性是隨機梯度下降的核心魅力之二。
如果只是沿著熟悉的道路前進,雖然容易并且安全,卻可能會讓你陷入認知的局部最優陷阱——你以為自己已經理解了整個世界,實則只是固守在一個狹窄的角落。
正如隨機梯度下降強調隨機抽樣是為了避免陷入局部最優,人生也需要隨機性的探索,這樣才能發現沒有見過的風景。閱讀陌生領域的書籍,與不熟悉的人交談,嘗試未知的可能性,正是利用了隨機性帶來的認知增益。它引領我們遇到新的誤差、新的意外,并因此而激發新的學習過程,推動認知結構的重新構建。正是在隨機探索中,我們不斷修正對世界的理解,逐漸接近真實。
隨機,不僅是算法優化的策略,更是我們深入認識世界、走向自我更新的重要方法。
奧爾特曼曾經談到他的一次“四處走走”:我在26歲時賣掉了我的初創公司,然后中間空了一年。在那個年代,在硅谷這是很難想象的行為,因為那是一個根據你的職位和你所做的事確定社會地位的地方。但是如果你真的可以在兩份工作之間空出一年,我是非常推薦的,我甚至覺得這是我職業生涯里做得最對的事情。在那一年里,我讀了很多書,在很多感興趣的領域有所涉獵。……我學到了核工程知識;AI時代開始了,我學習了關于AI的理論;我學習了生物制造的相關知識。……我到很多地方旅行,從某種程度上講,我感受到了這個世界其他部分真實的樣子,我見了從事各行各業的人,并與之交談……我有充足的時間,所以如果我遇到了有意思的看起來不錯又需要幫助的人,我會幫助他們。……我沒有安排自己的時間表,所以我可以立刻飛到其他國家參加會議。我開始做這些隨機的事情。幾乎所有的事情都沒有開花結果,但是對之后事情產生深遠影響的種子已經種下了。
這個種子,最終發芽成長為OpenAI。
03
人生所需不過一份注意
GPT的T,指的是Transformer,其最核心、最精妙之處就是“注意力機制”。它會對一段文本中每個詞語與其他所有詞語之間的關系進行評估,計算出它們之間的關聯強弱程度,從而捕捉信息之間的相互關系,以實現高效而精準的信息處理。所以,學習的本質也是注意力分配的藝術。
我們所處的世界彼此相連,而非孤立隨機。在物理層面,世界由物質和能量組成,它們之間不斷地相互作用,形成復雜而穩定的秩序。在生命層面,物種之間通過復雜的生態網絡連接起來,生態鏈中每個環節互依互存,任何個體的變化都可能引發連鎖反應。在人文社會層面,每個人看似獨立,但無時無刻不在通過溝通、情感聯結與社會網絡交織在一起。文明的存續與演化,來源于人與人之間頻繁而有序的互動。
英國詩人約翰·多恩說:“沒有人是一座孤島,可以自全。......任何人的死亡都是我的損失,因為我是人類的一員,因此不要問喪鐘為誰而鳴,它就為你而鳴。”美國行為科學家阿莫斯·特沃斯基也說:“人不復雜,復雜的是人與人之間的關系。”
應當如何分配注意力來認識我們所在的這個世界呢?
第一,注意高質量的數據和人。
在機器學習領域,有一個廣為人知的第一性原理:“垃圾輸入,垃圾輸出。”再多的參數,再強大的算力,如果輸入的數據質量低下,最終訓練出來的大模型也必然表現糟糕。所以, OpenAI 在訓練初期便嚴格把控數據質量,選用了維基百科、經典書籍、科研論文、優秀代碼和高質量互聯網內容作為注意力處理的信息。這些精心挑選的材料構成了 GPT 的認知基座。
截至2024年6月,我國短視頻用戶數量達到10.5億,占整體網民的95.5%,人均每天觀看時長約151分鐘。而閱讀用戶只有短視頻用戶的一半,人均每天閱讀時長只有23分鐘。AI在學習,人類卻在沉迷。
真正與注意力門當戶對的是高質量的數據集和人。在進入某個領域前,首先精心構建你的數據集:誰是這個領域的權威,哪些書、線上課程是這個領域的經典,哪些工具能讓這個領域的抽象知識變得具象清晰?之后,閱讀入門材料快速建立對這個領域的基本認知;接下來,對經典或權威的書籍或教材進行深度學習,建立完善的知識框架;最后,通過專業研究文獻并與專家或AI互動交流,拓寬和深化自己的認知邊界。
第二,注意實例而非規則。
符號主義給 AI 以規則:“如果一個動物有尖尖的耳朵,胡須明顯,并且眼睛在夜間能反光,那么它是貓。”這時,狐貍、猞猁、浣熊和狼也會被符號主義 AI 識別成貓。而聯結主義只給 AI 貓的圖片,各種各樣貓的圖片,讓注意力在海量的數據中主動探尋其中蘊含的模式和規律。前者是授人以魚——人類先提取特征,然后把特征喂給 AI ,即人類向 AI 輸入人類學習的結果, AI 只需要記憶,正所謂前面有多少智能,背后就有多少人工。后者是授人以漁——沒有工程師總結的規則,只有精心挑選的實例,讓神經網絡自己學習,讓它自己去充分挖掘全部可能,因為“足夠大的神經網絡當然無所不能”(計算軟件 Mathematica 的創造者史蒂芬·沃爾弗拉姆語)。學會放手,效果反而驚人。
孩子的大腦,也如一個剛剛初始化的大模型,有極大的參數空間等待優化。與其告訴他人生道理,不如給他精選的樣例,讓他通過自己的探索得到答案。這就是認知心理學家和教育心理學家杰羅姆·布魯納在其經典著作《教育過程》中提出的范例教學,又稱歸納式教學。
在數學教學中,教師給出一系列完整解題步驟的例題,學生通過分析示例主動理解數學概念和方法,而不是教師直接講解抽象的數學公式;在語文教學中,教師讓學生通過反復接觸大量語言樣例歸納語法規則,而非直接灌輸語法規則。這種方法不僅能加深理解,還更易于將其遷移到新的問題或情境中。
所以,孩子在成長過程中碰到的每一個難題,都不妨看作一次有意義的訓練樣例,父母無須立刻給出結論或答案,要讓孩子自己去觀察、體驗、比較、反思,從中找到自己的道。放棄說教,“給予注意,學會陪伴”,這才是養育孩子的黃金法則。
成人也是如此。初等教育和高等教育賦予我們的道理如同預訓練階段的基礎知識,它們在大腦中構建了認知的底層模型,卻不足以直接指導我們應對真實復雜的生活場景。生活真正考驗我們的是具體情境中的決策能力,而這種能力恰恰來自后續不斷的微調和強化學習。
例如,面對親密關系中的沖突,書上說“要理解對方,包容不同觀點”,但這樣的抽象道理并不能讓我們解決沖突;只有去傾聽、去表達、去調節情緒,然后根據對方的反饋微調和優化我們“人際交往專家模塊”的參數。所謂“紙上得來終覺淺,絕知此事要躬行”,這樣,我們才不會陷入“懂得了很多道理,依舊過不好這一生”的局部最優陷阱。
第三,注意也是遺忘。
學習的本質,是對知識體系的優化。大模型像一個撿破爛的拾荒者,無差別地記憶所有接觸的信息。而人超越大模型的,是其所獨有的“選擇性遺忘”:有意識地強化對重要知識和場景的記憶,同時主動遺忘那些低效甚至有害的信息。所以,積極的遺忘并非失敗,而是一種認知優化的策略,它可以讓寶貴的注意力聚焦于那些真正有價值的信息和故事。《洛麗塔》的作者弗拉基米爾·納博科夫說:“你所領悟的人生真理,皆是你曾付出代價的往事。”
在學習過程中,選擇性遺忘就是“先做加法,再做減法”的思維模式。為策劃一個項目,我們會收集大量的信息,做大量的調研,努力將各種可能性都納入考慮范圍。這是必要的第一步,即先做加法。越接近決策階段,就越需要精準地做減法,選擇性遺忘。比如,關于一款新產品,我們最初想法無數:既要滿足市場需求,又要成本可控;既要功能強大,又要操作簡單;既想滿足年輕人的需求,又不愿放棄中年人市場。但是,真正的產品設計者,要敢于主動“遺忘”那些充滿吸引力但干擾產品核心定位的冗余信息,從而將注意力分配給真正的核心。著名設計師迪特·拉姆斯曾說:“好的設計不是堆砌更多的功能,而是敢于刪去多余的東西。”遺忘,也是注意力分配的藝術。
生活中,我們有時會情緒低落,這可能是因為過去一些不愉快的經歷:或許是一次失敗的考試,一次刻骨銘心的分手,甚至是朋友無意中的傷害。這些不愉快持續侵占和消耗著我們的注意力,不斷地喚起痛苦的記憶,讓我們陷入“身在當下,心在過去”的困境而無法自拔。選擇性遺忘不是強迫忘記這些不愉快,或者逃避甚至否認它們曾經發生。選擇性遺忘是承認,是接納——承認它們確實已經發生,無法更改,接納它們曾給自己帶來的傷害。但是需要明白的是,它們并不必然定義我們現在以及未來的人生。
心理學家卡爾·榮格說:“我們無法改變過去的事實,但我們可以改變看待這些事實的態度。”只有當我們真正接納了這些痛苦的經歷,允許自己放下情緒上的執著與執念,過去的負面經歷才會與我們握手言和,逐漸淡去;唯有這樣,注意力才會回歸當下,回歸我們能掌控的事情上。于是,我們重獲內心的平靜與自由。
遺忘,既是告別,也是起航。
本文摘自《通用人工智能:認知、教育與生存方式的重構》。
點擊加購
《通用人工智能:認知、教育與生存方式的重構》
作者:劉嘉
出品方:中信出版集團
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.