在這個萬物皆算法的新時代

寫給知道算法重要

但不知道算法是什么的讀者

不使用編程語言，幾乎沒有使用一個公式

中學生、文科生也能輕松讀懂

帶你深入了解算法是什么，

算法從何而來，算法如何運作

? 《算法簡史：從美索不達米亞到人工智能時代》

作者： [英] 克里斯·布利克利

書號：978-7-5217-6543-4

定價：58元

頁數：304頁

出版時間：2024年10月

中信出版集團·新思文化?

阿基米德，艾倫·圖靈，理查德·漢明，“深度學習三巨頭”，德米斯·哈薩比斯

重走算法發展史上大師與天才的創新之路

講述超過20位“計算機界的諾貝爾獎”圖靈獎得主及其貢獻

導航軟件，約會APP，訊息的傳輸和加解密，語音、圖像識別和自然語言處理

社交網絡的“流量密碼”，機器學習和人工神經網絡，比特幣和區塊鏈，量子計算

感受算法中蘊含的數學之美和強大力量

附贈精美折頁

詳細展現算法4 000年的發展歷程

【內容介紹】

21世紀的今天，我們生活的方方面面無時無刻不在被算法影響和塑造。它們幫我們選擇最佳的行車路線，向我們推薦我們可能購買的商品，為我們識別語音和圖像，甚至給單身人士匹配婚戀對象。越發強大的算法也在不斷突破極限，無論是打敗圍棋世界冠軍柯潔，借助大語言模型與人類會話，還是在200秒內完成超級計算機1萬年才能完成的計算。

然而，算法并非新近才開始影響人類社會，人類受益于算法已經有數千年的歷史。在《算法簡史：從美索不達米亞到人工智能時代》中，以算法發展過程中的關鍵人物和經典算法為主線，作者克里斯·布利克利勾勒出了一部近4 000年的算法發展簡史：從鐫刻在古巴比倫泥板上求2的平方根的算法，到劉徽和祖沖之父子對圓周率的精確計算；從查爾斯·巴貝奇和艾達·洛芙萊斯試圖建造的機械數字通用計算機，到艾倫·圖靈對算法的正式定義和他構想的圖靈機；從第一臺可編程的通用電子計算機ENIAC，到第一個人工智能程序“邏輯理論家”；從互聯網的誕生，訊息的傳輸和加解密，再到亞馬遜的推薦系統、谷歌搜索和社交媒體的動態排序，以及今天無處不在的人工神經網絡……書中豐富的算法實例讓讀者充分感受到算法中蘊含的數學之美以及算法推動人類社會進步的強大力量。

全書語言通俗易懂，幾乎沒有使用一個公式，述及超過20位圖靈獎——“計算機界的諾貝爾獎”——得主及其科學貢獻，為沒有專業背景但希望了解算法的讀者提供了一個絕佳的窗口。

【作者介紹】

克里斯·布利克利（Chris Bleakley）

愛爾蘭都柏林大學計算機科學學院教授，曾任該院院長，有近40年的算法設計經驗。除學術研究和教學外，布利克利在產業界也有豐富的從業經驗，曾擔任多家業內公司的顧問、高級研究員和副總裁。

【目錄】

引 言 1

第1章 古老的算法 11

第2章 不斷擴展的圓圈 29

第3章 計算機之夢 45

第4章 天氣預報 63

第5章 人工智能現身 85

第6章 大海撈針 107

第7章 互聯網 135

第8章 搜索網絡 165

第9章 臉書與朋友 185

第10章 全美最受歡迎的智力競賽節目 199

第11章 模仿大腦 209

第12章 超人智能 235

第13章 未來展望 249

附 錄 265

注 釋 269

使用許可 275

參考文獻 277

【推薦與贊譽】

《算法簡史：從美索不達米亞到人工智能時代》聚焦許多讀者“不知道究竟是什么”的算法，既適合缺乏專業背景的普通讀者了解算法的來龍去脈，也適合專業人士回味算法研究中發人深省的歷史。在一切皆可計算，算法塑造世界的新時代，閱讀這本書可以獲得有益的啟發。

李國杰

中國工程院院士

中科曙光創始人、董事長

中國計算機學會杰出貢獻獎獲得者

我們今天的生活和工作已經離不開電腦，而電腦之所以能為我們提供這么大的幫助，其背后的“動力”無疑是算法，可以說電腦上完成的一切都是按照算法一步步計算的結果。然而什么是算法呢？這本書為我們打開了了解算法的大門，從算法發展史的角度，非常詳盡而又通俗易懂地介紹了什么是算法，描繪出了一部近4 000年的算法發展簡史。

馬少平

清華大學計算機科學與技術系教授

本書以時間為序，從算法的雛形講起，逐步深入，全面展現了算法從古至今的發展歷程。它不僅梳理了算法發展的脈絡，還總結了計算機科學史上的重要里程碑式事件和成果，以及這些成果背后那些行業大咖的貢獻和故事。作者以平實的語言將復雜的算法概念闡述得清晰易懂，使這本書成為一本適合初學者入門的算法書籍。

周曉鋒

中國科學院沈陽自動化研究所研究員

顯然，任何教授、學習或使用算法的人都會從本書講述的算法發展史中獲益良多。

美國數學協會

布利克利假定讀者不具備任何數學和計算機科學背景，在每個專業術語首次出現時都會做清晰的解釋……對于任何想了解算法在歷史上如何發展和實現的人，這都是一本令人愉悅的讀物。

《美國數學學會通訊》

點擊封面，即可購買

【書摘】

從木匠到諾貝爾物理學獎：杰弗里·辛頓的深度學習之路

辛頓（圖11.7）1947年出生于戰后的英格蘭溫布爾登。 他認為自己在學校時數學不是特別好。 盡管如此，他還是被劍橋大學錄取，在那里攻讀物理與生理學專業。 由于對專業不太滿意，他轉而學習哲學。 最后，他選擇了心理學。 回首過往，辛頓說他想要了解人類思維是如何運作的。 他的結論是，哲學家和心理學家都沒有答案。 此后他又轉向了計算機科學。

圖11.7 深度神經網絡先驅杰弗里·辛頓，2011年（圖片來自杰弗里·辛頓）

畢業后，他先做了一年的木匠，然后去愛丁堡大學攻讀博士學位。在導師不情愿的默許下，辛頓堅持進行ANN的研究。在完成博士學位后，辛頓作為一個新手學者走上了一條四處流動的道路。在進入多倫多大學擔任教授職位之前，他曾在薩塞克斯大學、加利福尼亞大學圣迭戈分校、卡內基梅隆大學和倫敦大學學院工作過。

2004年，辛頓向加拿大高等研究院（Canadian Institute For Advanced Research，CIFAR）提交了一份為神經計算研究項目申請資助的提案。CIFAR以資助基礎研究聞名，但此次申請獲批的希望仍舊不大。蒙特利爾大學的約書亞·本吉奧（Yoshua Bengio）教授后來評論道：

那是最糟糕的時間點。其他人都在忙著做不同的事情。杰夫不知道怎么說服了他們。

這筆數額不大的經費被用于組織一系列只有受邀才能參加的聚會，受邀 人中有一些世界上頂尖的ANN研究者。本吉奧又講道：

在廣義的機器學習領域，我們有點像一群邊緣人：我們的論文無法發表。聚會為我們提供了一個交換意見的地方。

這 項撥款后來被證明是一次結構性變革的開端。

2006年，辛頓和多倫多大學的西蒙·奧辛德洛（Simon Osindero）以 及新加坡國立大學的鄭宇懷發表了一篇革命性的論文。該論文標志著現在被稱為深度學習（deep learning）的開端。文章描述了由3個全連接的隱藏層組成的網絡。這個網絡有太多的參數，用反向傳播算法的方式進行訓練會非常緩慢。為了解決這個問題，辛頓和他的團隊設計了一種新的方法來加速訓練。

通常，反向傳播算法以隨機參數值開始訓練。但在這項新研究中，團隊在反向傳播之前插入了一個預訓練階段。這個新增階段的目的是快速找到一組好的參數，以支持反向傳播算法的啟動。

反向傳播算法是監督（supervised）訓練的一個例子。這意味著訓練要為網絡提供輸入和輸出相匹配的示例。在這個新的初步階段中，辛頓和其他共同作者建議采用無監督（unsupervised）訓練。無監督訓練只使用輸入示例。

在無監督的預訓練中，示例輸入被提供給網絡。通過算法調整網絡參數，使ANN學會探測輸入中的重要模式。不需要讓網絡知道這些模式與什么類相關—它學習的只是區分這些模式。對于手寫文字識別，這些模式可能是線條的長度和方向，或者曲線的位置和長度。為了實現這一點，訓練算法每次只更新一層的參數，從輸入層開始。換句話說，該算法從輸入向前構建出網絡參數。該方法的計算復雜度明顯低于反向傳播算法。

一旦預訓練完成，網絡就能夠在輸入數據集中區分出最顯著的模式。之后，用預訓練得到的參數開始進行正常的監督訓練。由于反向傳播算法有了很好的起點，因此它用更少的迭代就能完成訓練。

跟隨貝爾實驗室的腳步，辛頓的團隊選擇了以攻克手寫數字識別問題為目標。這一次，有一個更大的數據集可供使用。該項目使用了由楊立昆、谷歌實驗室的科琳娜·科爾特斯（Corinna Cortes）和微軟研究院的克里斯托弗·伯吉斯（Christopher Burges）構建的MNIST數據集。MNIST收錄了7萬個手寫數字，這些數字是從美國人口普查報告和高中考試答卷中獲取的。

最終得到的ANN達到了89.75%的準確率，這個成績不如楊立昆的卷積神經網絡。然而，這不是重點。他們已經證明，通過預訓練，可以訓練出一個深度的、全連接的網絡。獲得更深入和更有效的網絡，這是行得通的。

在接下來的10年中，深度學習發展勢頭良好。3種進步的融合使研究人員能夠建立更大、更深層次的網絡。更智能的算法減少了計算復雜度，更快的計算機縮短了運行時間，更大的數據集允許對更多的參數進行優化。

2010年，瑞士的一組研究人員進行了一項實驗，希望看看增加神經網絡的深度是否真的能提高其準確性。在資深神經網絡專家于爾根?施米德胡貝（Jürgen Schmidhuber）的領導下，該團隊訓練了一個6層神經網絡來識別手寫數字。他們訓練的神經網絡含有多達5 710個神經元。和辛頓的團隊一樣，他們使用的是MNIST手寫數字數據集。然而，即使是MNIST，也不足以滿足施米德胡貝團隊的目標。他們通過扭曲MNIST中的照片，人為地生成了額外的數字圖像。

得到的ANN達到了99.65%的準確率。這不僅是一項世界紀錄，其表現也已經達到了人類的水平。

突然，所有人都意識到，ANN太小了，無法實現任何實際用途。深度網絡才是前進的方向。一場人工智能革命近在眼前。

海嘯

深度學習的海嘯分3波襲來：首先是語音識別，然后是圖像識別，再之后是自然語言處理。半個世紀的模式識別研究在短短3年內被淘汰出局。

60年來，科技界一直在努力將口語表達準確地轉化為文本。最好的算法依賴傅里葉變換（見第2章）來提取諧波的振幅。然后利用隱馬爾可夫模型（Hidden Markov Model，HMM），根據觀察到的諧波情況和聲音序列在真實語音中已知的出現概率來判斷發出的音素。

在辛頓實驗室的實習生納夫迪普·賈特利（Navdeep Jaitly）的幫助下，谷歌去除了他們語音生成識別系統的一半，用深度神經網絡取而代之。他們得出的ANN-HMM混合體語音識別系統包含一個4層的ANN。該團隊使用來自谷歌語音搜索的5 870小時的語音錄音來訓練ANN，并添加了來自視頻網站YouTube的1 400小時的對話音頻。新的ANN-HMM混合體比谷歌先前使用的基于HMM的語音識別系統性能高出4.7%。在自動語音識別的領域，這算是一個巨大的進步。完成了在谷歌的任務后，杰出的實習生賈特利返回多倫多大學去完成他的博士學位。

在接下來的5年里，谷歌逐步擴展和改進了他們基于ANN的語音識別系統。截至2017年，谷歌的語音識別系統達到了95%的準確率，這是前所未有的水平。

2012年，辛頓的團隊報告了一種深度神經網絡，旨在從靜態圖像中識別出真實世界的物體。這些物體是常見的東西，如貓、狗、人、面孔、汽車和植物。這個問題遠不像識別數字那么簡單。數字是由線條組成的，但識別物體需要分析其形狀、顏色、紋理和邊緣。除此之外，要識別的物體類的數量也大大超過了微不足道的10個印度—阿拉伯數字。

這個網絡被以首席設計師亞歷克斯·克里澤夫斯基（Alex Krizhevsky）的名字命名為“亞歷克斯網”（AlexNet），包含65萬個神經元和6 000萬個參數。它整合了5個卷積層和其后的3個全連接層。此外，這項工作還引入了一種簡單但卻有效得驚人的技術。在訓練過程中，隨機選擇少量神經元并使其沉默。換句話說，它們被禁止放電。這項技術被命名為丟棄（Drop-out），它迫使神經網絡將決策負載分散到更多的神經元上。這使網絡面對輸入的變化更加穩健。

該團隊在2012年用這個網絡參加了圖像網大規模視覺識別挑戰賽（ImageNet Large Scale Visual Recognition Challenge）。比賽的數據集包括大約120萬張訓練圖像和1 000個物體類。克里澤夫斯基、伊利婭·蘇特斯科娃（Ilya Sutskever）和辛頓的深度卷積網絡大獲全勝。亞歷克斯網前5項識別結果的總準確率達到了84.7%。也就是說，真正的物體類落在這個ANN的前5大選擇中的情況占比超過84%。該網絡的錯誤率幾乎是排名第二的系統的一半。

與此同時，在多倫多以東僅500千米的圣勞倫斯河河畔，蒙特利爾大學的一個團隊正在研究如何將深度神經網絡應用于文本處理。該團隊由約書亞·本吉奧（圖11.8）領導。

本吉奧生于1964年，來自法國巴黎，是神經網絡復興的領軍人物之一。他在位于蒙特利爾的麥吉爾大學學習電子工程和計算機科學，獲得工學學士、理學碩士和博士學位。本吉奧在青少年時期是科幻小說迷，在讀研究生時期對神經網絡研究充滿熱情。他如饑似渴地閱讀有關這個主題的所有早期論文。作為一個自稱書呆子的人，他開始建立自己的ANN。在AT&T貝爾實驗室和MIT做過博士后之后，本吉奧于1993年加入了蒙特利爾大學。本吉奧的團隊訓練ANN來預測文本中單詞序列出現的概率。

2014年，谷歌選擇了本吉奧的工作，將其用于解決把文檔從一種語言翻譯成另一種語言的難題。那時，谷歌翻譯網絡服務已經運行了8 年。該系統依靠傳統的方法將句子分割并將短語從一種語言映射到另一種語言。總的來說，這個系統的翻譯不是特別好。翻譯出來的句子大多可讀，但并不流暢。

圖11.8　神經網絡研究者約書亞·本吉奧，2017年［?巴黎綜合理工學院-J. 巴朗德（J. Barande）］

谷歌采取了不同尋常的一步，將兩個神經網絡背靠背連接起來。在該方案中，編碼器（第一個網絡）的輸出被作為解碼器（第二個網絡）的輸出提供給解碼器。谷歌的想法是，編碼器可以將英文文本轉換為抽象的數字向量。解碼器可以把這個過程逆轉過來，把抽象的數字向量轉換成法語。研究人員沒有規定中間的數字向量是什么。他們只是依靠訓練程序來尋找合適的表征數字。

經過兩年的努力，谷歌完成了一個8層編碼器和一個配套的8層解碼器的開發。該網絡是用一個包含3 600萬對人工翻譯句子的語料庫進行訓練的。新系統優于之前的谷歌翻譯系統，翻譯錯誤減少了60%，令人驚嘆。該系統在谷歌網站上線后，雙語用戶報告說，翻譯質量有了立竿見影式的顯著提高。

一次又一次的成功催生了深度學習的熱潮。很多公司預見到了由深度學習驅動的大量新應用—自動駕駛汽車、智能相機、下一代推薦系統、增強的網頁搜索、精確的蛋白質結構預測、加速藥物設計和很多其他方面的應用。谷歌、臉書、IBM、蘋果、亞馬遜、雅虎、推特、奧多比（Adobe）和百度都在搶奪深度學習方面的人才。據很多傳言稱，神經網絡界名人的起薪高達七位數。楊立昆被任命為臉書AI研究總監。吳恩達（Andrew Ng）加入百度擔任首席科學家。在65歲那年，杰弗里·辛頓成為谷歌的暑期實習生！

2015年，在這場淘金熱中，楊立昆、辛頓和本吉奧在《自然》雜志上發表了一篇調研行業發展的論文。在文章發表之前，深度神經網絡已經席卷了整個人工智能領域，方方面面都發生了翻天覆地的改變。

楊立昆、辛頓和本吉奧于2018年獲得了圖靈獎，他們分享了谷歌贊助的100萬美元獎金。

隨著深度學習的巨大成功，一些人推測人類智能水平的人工通用智能（見第5章）已經不遠了。但楊立昆提出了異議：

我們是否能夠使用新方法創造出人類水平的智能，嗯，解決這個問題可能有50座山要爬，包括我們還看不到的那些山。我們目前只爬了第一座，也許是第二座。

到目前為止，我們所擁有的只是復雜的模式識別引擎。然而，我們可以推測穿過這些大山的路徑。目前，最好的猜測是我們需要一個ANN的網絡。想要有顯著的改進，可能還需要對ANN進行根本性的重新開發。現今的ANN只是對生物神經網絡的一種大致的近似。也許我們需要一個更現實的模型。魔鬼很可能藏在細節中。

對于計算機科學界以外的人來說，深度神經網絡的力量第一次顯現是在2016年。那一年，一個人工智能登上了世界新聞媒體的頭條。盡管這是在一個狹窄領域的努力，但這也許是人工智能第一次獲得了超越人類的能力。

點擊封面，即可購買