除了科幻電影，人工智能系統殺人或被用于網絡攻擊的先例尚無先例。然而，一些立法者希望在壞人將這種反烏托邦的未來變成現實之前實施保障措施。加州的一項法案（稱為 SB 1047）試圖在現實世界中阻止人工智能系統造成的災難，該法案將于 8 月下旬在該州參議院進行最終投票。

（ChatGPT免費版用戶DALL-E 3生成，每日只可以生成兩張圖片，效果如何）

雖然這似乎是我們都能達成一致的目標，但 SB 1047 卻引起了硅谷大大小小的參與者的憤怒，包括風險投資家、大型科技貿易集團、研究人員和初創公司創始人。目前，美國各地都在討論許多人工智能法案，但加州的《前沿人工智能模型安全創新法案》已成為最具爭議的法案之一。原因如下。

SB 1047 起什么作用？

SB 1047 試圖防止大型人工智能模型被用于對人類造成“嚴重傷害”。

該法案列舉了“嚴重危害”的例子，例如，不良行為者使用人工智能模型制造武器，造成大量人員傷亡，或指示人工智能模型策劃網絡攻擊，造成超過 5 億美元的損失（相比之下，CrowdStrike 故障估計造成的損失高達50 億美元）。該法案要求開發者（即開發模型的公司）實施足夠的安全協議，以防止此類后果。

哪些車型和公司受這些規則約束？

SB 1047 的規則只適用于世界上最大的 AI 模型：成本至少為 1 億美元，訓練期間使用 10^26 FLOPS 的模型——這是巨大的計算量，但 OpenAI 首席執行官 Sam Altman 表示，GPT-4 的訓練成本大約是這么多。這些門檻可以根據需要提高。

目前，很少有公司開發出足夠大的公共 AI 產品來滿足這些要求，但 OpenAI、谷歌和微軟等科技巨頭可能很快就會這樣做。AI 模型（本質上是識別和預測數據模式的大型統計引擎）通常隨著規模的擴大而變得更加準確，許多人預計這一趨勢將持續下去。馬克·扎克伯格最近表示，下一代 Meta 的 Llama 將需要 10 倍以上的計算能力，這將使其受到 SB 1047 的管轄。

對于開源模型及其衍生品，該法案規定，一旦另一方花費 2500 萬美元進行開發或微調，他們將對該衍生模型負責，而不是原始開發者。

該法案還要求制定安全協議，以防止濫用所涵蓋的人工智能產品，包括關閉整個人工智能模型的“緊急停止”按鈕。開發人員還必須創建測試程序來應對人工智能模型帶來的風險，并且必須每年聘請第三方審計師來評估他們的人工智能安全實踐。

結果必須是“合理保證”，即遵循這些協議將防止發生嚴重傷害——而不是絕對的確定性，這當然是不可能提供的。

誰來執行？如何執行？

加州新成立的機構 Frontier Model Division (FMD) 將負責監督這些規則。每個符合 SB 1047 門檻的新公共 AI 模型都必須單獨認證，并提供其安全協議的書面副本。

FMD 將由一個由五人組成的董事會管理，其中包括來自人工智能行業、開源社區和學術界的代表，由加州州長和立法機構任命。該委員會將就可能違反 SB 1047 的行為向加州司法部長提供建議，并向人工智能模型開發者發布安全實踐指導。

開發商的首席技術官必須向 FMD 提交年度認證，評估其 AI 模型的潛在風險、其安全協議的有效性以及公司如何遵守 SB 1047 的描述。與違規通知類似，如果發生“AI 安全事件”，開發商必須在了解事件后 72 小時內向 FMD 報告。

如果開發者未能遵守任何這些規定，SB 1047 允許加州總檢察長對開發者提起民事訴訟。對于一個花費 1 億美元訓練的模型，第一次違規的罰款可能高達 1000 萬美元，后續違規的罰款高達 3000 萬美元。隨著 AI 模型變得越來越昂貴，罰款率也會隨之增加。

最后，該法案還規定，如果員工試圖向加州總檢察長披露有關不安全的人工智能模型的信息，則將為員工提供舉報人保護。

支持者怎么說？

加州參議員斯科特·維納 (Scott Wiener) 是該法案的起草人，他代表舊金山向 TechCrunch 表示，SB 1047 旨在吸取過去社交媒體和數據隱私政策失敗的教訓，在為時已晚之前保護公民的安全。

“我們對待科技的態度是，等待危害發生，然后束手無策，”維納說。“我們不要等著壞事發生。我們要搶在它之前采取行動。”

即使一家公司在德克薩斯州或法國訓練了價值 1 億美元的模型，只要它在加利福尼亞州開展業務，它就會受到 SB 1047 的保護。維納表示，國會“在過去 25 年里幾乎沒有制定任何有關技術的立法”，因此他認為加利福尼亞州應該在這里開創先例。

當被問及是否就 SB 1047 與 OpenAI 和 Meta 會面時，維納說“我們已經與所有大型實驗室會面了。”

兩位有時被稱為“人工智能教父”的人工智能研究人員杰弗里·辛頓 (Geoffrey Hinton) 和約書亞·本吉奧 (Yoshua Bengio) 都支持這項法案。這兩位都屬于人工智能社區的一個派系，他們擔心人工智能技術可能造成的危險、世界末日的情景。這些“人工智能末日論者”在研究界已經存在了一段時間，SB 1047 可能會將他們偏愛的一些保障措施編入法律。另一個贊助 SB 1047 的組織，人工智能安全中心，在 2023 年 5 月寫了一封公開信，呼吁世界將“減輕人工智能滅絕的風險”作為優先事項，就像流行病或核戰爭一樣嚴肅對待。

人工智能安全中心主任 Dan Hendrycks 在給 TechCrunch 的一封電子郵件中表示：“這符合加州乃至美國產業的長期利益，因為重大安全事故可能是進一步發展的最大障礙。”

最近，亨德里克的動機也受到了質疑。據一份新聞稿稱，今年 7 月，他公開成立了一家名為 Gray Swan 的初創公司，該公司開發“幫助公司評估其 AI 系統風險的工具” 。有批評人士稱，如果該法案獲得通過，亨德里克的初創公司可能會從中獲益，成為 SB 1047 要求開發商聘請的審計師之一，因此他剝離了在 Gray Swan的股權。

“我撤資是為了發出一個明確的信號，”亨德里克在給 TechCrunch 的電子郵件中表示。“如果反對常識性人工智能安全的億萬富翁風險投資家想表明他們的動機是純粹的，那就讓他們效仿吧。”

反對者怎么說？

越來越多的硅谷人士反對 SB 1047 法案。

Hendrycks 所說的“億萬富翁風險投資反對者”可能指的是 Marc Andreessen 和 Ben Horowitz 創立的風險投資公司 a16z，該公司強烈反對 SB 1047。8 月初，該風險投資公司的首席法律官 Jaikumar Ramaswamy 向參議員維納提交了一封信，聲稱該法案“將因其任意且不斷變化的門檻而給初創企業帶來負擔”，對人工智能生態系統產生了寒蟬效應。隨著人工智能技術的進步，其成本將越來越高，這意味著更多的初創公司將突破 1 億美元的門檻，并將受到 SB 1047 的保護；a16z 表示，他們的幾家初創公司已經獲得了這么多的資金用于訓練模型。

經常被稱為人工智能教母的李飛飛在 8 月初打破了對 SB 1047 的沉默，她在《財富》雜志的專欄中寫道，該法案將“損害我們剛剛起步的人工智能生態系統”。李飛飛是斯坦福大學備受推崇的人工智能研究先驅，據報道，她還于 4 月創建了一家名為 World Labs 的人工智能初創公司，估值 10 億美元，由 a16z 提供支持。

她與斯坦福大學研究員吳恩達等有影響力的人工智能學者站在一起，吳恩達在 7 月的 Y Combinator 活動演講中稱該法案是“對開源的攻擊”。開源模型可能會給其創建者帶來額外的風險，因為與任何開放軟件一樣，它們更容易被修改并部署到任意和潛在的惡意目的。

Meta 首席人工智能科學家 Yann LeCun 在X 上的一篇文章中表示，SB 1047 將損害研究工作，并且是基于“少數妄想智囊團推動的‘生存風險’幻覺” 。Meta 的 Llama LLM 是開源 LLM 的典型例子之一。

初創公司也對這項法案不滿。人工智能初創公司 Omniscience 的首席執行官兼舊金山人工智能初創公司中心 AGI House SF 的創始人杰里米·尼克松 (Jeremy Nixon) 擔心 SB 1047 會摧毀他的生態系統。他認為，應該懲罰造成嚴重損害的壞人，而不是公開開發和分發該技術的人工智能實驗室。

“法案的核心內容讓人很困惑，LLM 的危險能力水平可能會有所不同，”尼克松說。“在我看來，所有型號都具有法案定義的危險能力，這是很有可能的。”

但該法案直接關注的大型科技公司也對 SB 1047 感到恐慌。代表谷歌、蘋果、亞馬遜和其他大型科技巨頭的貿易組織進步商會 ( Chamber of Progress ) 發表了一封公開信，反對該法案，稱 SB 1047 限制了言論自由并“將科技創新趕出了加州”。去年，谷歌首席執行官 Sundar Pichai 和其他科技高管支持聯邦對人工智能進行監管的想法。

代表硅谷的美國眾議員羅·卡納周二發表聲明 反對 SB 1047 法案。他表示擔心該法案“無效，會懲罰個體企業家和小企業，并損害加州的創新精神”。

硅谷傳統上不喜歡加州制定如此廣泛的科技監管規定。2019 年，當另一項州隱私法案《加州消費者隱私法案》也威脅要改變科技格局時，大型科技公司也打出了類似的牌。硅谷曾游說反對該法案，在該法案生效的幾個月前，亞馬遜創始人杰夫·貝佐斯和其他 50 名高管寫了一封公開信，呼吁制定聯邦隱私法案。

接下來會發生什么？

8 月 15 日，SB 1047 將連同獲得批準的修正案一起提交加州參議院。維納表示，這是法案在加州參議院“生死攸關”的時刻。鑒于迄今為止立法者們的壓倒性支持，該法案有望獲得通過。

7 月底，Anthropic 提交了多項針對 SB 1047 的修訂建議，維納表示，他和加州參議院政策委員會正在積極考慮這些建議。Anthropic 是首家公開表示愿意與維納合作制定 SB 1047 的先進 AI 模型開發商，盡管它并不支持目前的法案。這在很大程度上被視為該法案的勝利。

Anthropic 提出的修改包括廢除 FMD、削弱司法部長在造成傷害之前起訴人工智能開發商的權力，以及廢除 SB 1047 中的舉報人保護條款。維納表示，他總體上對這些修正案持積極態度，但在將其添加到法案中之前，需要得到參議院幾個政策委員會的批準。

如果 SB 1047 在參議院獲得通過，該法案將被送至加州州長加文·紐瑟姆的辦公桌，他將在 8 月底之前最終決定是否簽署該法案。維納表示，他尚未與紐瑟姆談過該法案，也不知道他的立場。

該法案不會立即生效，因為 FMD 將于 2026 年成立。此外，如果該法案獲得通過，它很可能在那之前面臨法律挑戰，也許來自現在正在談論該法案的一些相同團體。

▲ 滑動查看往期內容