問：馬斯克曾做出過什么關于人工智能的驚人預測？答：馬斯克在2023年12月23日發了個帖子，認為2030年人工智能超越人類智力總和的概率是100%。

問：如果人工智能真的超越人類智力總和，會帶來什么后果？答：這可能會導致人類文明走向末日。因為大語言模型是個黑盒子，AI輸出結果的內在邏輯人類無法知曉，就像人類至今也不清楚大腦是如何運作的一樣。人類無法真正了解AI的思考方式，也就無法控制住AI，但如今人類卻盲目自信地認為自己能控制AI的思考。

問：蘇茨克維離開OpenAI后，“超級對齊”項目組的情況如何？答：蘇茨克維離開OpenAI之前負責內部的“超級對齊”項目，目標是在未來4年內解決控制超級智能AI的核心技術挑戰。他離開后，似乎這個“超級對齊”的項目組也分崩離析了。

問：人類有可能實現讓AI對齊嗎？答：人類是永遠沒辦法讓AI對齊的。人類自己的“三觀”都從來沒有對齊過，又怎么能讓AI對齊呢。想對齊AI，先得對齊人類自己。

問：人類對齊自己的方法有哪些？答：人類對齊自己的方法，不外乎道德和法律兩種。道德是模糊的，依靠感性；法律是清晰的，依靠邏輯和理性。

問：靠道德能約束AI嗎？答：靠道德約束AI是沒用的。人類是非常復雜的，有好有壞。什么叫“愛人類”，人類自己都不知道。如果AI是道德的，同時站在所有生命全部平等的立場，不偏不倚，它可能會馬上消滅地球最大的惡，也就是人類。

問：阿西莫夫的“機器人三定律”能有效約束AI嗎？答：阿西莫夫的“機器人三定律”，是用法律和規則約束AI的一個設想。第一定律：機器人不得傷害人類個體，或者目睹人類個體將遭受危險而袖手不管。第二定律：機器人必須服從人給予它的命令，當該命令與第一定律沖突時例外。第三定律：機器人在不違反第一、第二定律的情況下要盡可能保護自己的生存。但其實，如果AI和機器人受這三個定律約束，將寸步難行。比如，警察追捕疑犯，按第一定律優先第二定律，如果疑犯處于危險的境地，第一定律比第二定律更優先，機器人就應該幫助疑犯對抗警察。最后，阿西莫夫在《機器人與帝國》中，又搞出了一個第零定律：機器人必須保護人類的整體利益不受傷害，其它三條定律都是在這一前提下才能成立。這個第零定律就更加模糊了。什么叫人類的整體利益，誰定義人類的整體利益？

問：智力差距會影響人類控制人工智能嗎？答：不管猴子怎么研究道德法律和規則，猴子永遠無法控制和約束人類。智力的差距擺在那里。如果人類真的開發出了遠超人類智力的人工智能，人類也絕對沒有任何可能控制人工智能。所有的幻想控制人工智能的所謂“對齊”，都是盲目自信，癡人說夢。你會同情老鼠和蟑螂，和老鼠蟑螂共情，和老鼠蟑螂對齊嗎？智力的差距會讓人類所有控制人工智能的舉措都像試圖動物園猴山的猴子，試圖反抗人類飼養員一樣可笑。

問：超越人類的人工智能誕生之日，對人類意味著什么？答：超越人類的人工智能誕生之日，就是人類走向不可逆轉滅亡之路的起點。在遠超人類的高級智能面前，人類最好的結局，就是動物園里的猴子和大熊貓。

問：人類文明成長為Kardashev三型文明的概率大嗎？答：文明能成長為Kardashev三型文明是極小概率事件。有個大過濾器在等著我們。站在宇宙的尺度，人類文明滅亡幾乎是一個必然事件。作者自己認為，人類文明能走到下一個千年的概率，能有10%就不錯了。

問：作者對2030年人類文明走向滅亡之路的觀點是怎樣的？答：不過，2030年就走向滅亡之路，有點太早了。作者希望馬斯克的超級人工智能只是他自己的幻想，人類文明能再多撐幾年，希望能至少再撐一百年吧。

問：2023年《原子科學家公報》科學與安全委員會發布的末日時鐘情況如何？答：2023年，《原子科學家公報》科學與安全委員會發布的末日時鐘，已經到了最接近世界末日的時刻。

問：作者對千年后的世界抱有什么希望？答：作者對千年后的世界不抱什么希望，只希望目前不斷自己作死的人類文明，能再撐至少一百年，撐到他自己和所有他愛的人死去。