在新一輪AI全球競賽爆發(fā)之際，一封呼吁暫停大型AI研究的公開信在科技圈掀起軒然大波。

這封公開信茅頭直指Open AI，呼吁暫停開發(fā)比GPT-4更強大的AI系統(tǒng)至少6個月。

圖靈獎得主Yoshua Bengio、馬斯克、蘋果聯(lián)合創(chuàng)始人Steve Wozniak、Stability AI 創(chuàng)始人Emad Mostaque等上千名科技大佬和AI專家已經(jīng)簽署公開信，目前已經(jīng)有近13000人簽名。

令人意外的是，Open AI CEO Sam Altman的名字也曾赫然在列，但后來被證實為假簽名，Altman稱并沒有計劃呼吁暫停人工智能的開發(fā)。

近期，OpenAI 已經(jīng)公布了GPT-4模型，其起草訴訟書、通過標(biāo)準(zhǔn)化考試和根據(jù)手繪草圖建立工作網(wǎng)站的能力震驚四座。

然而，就當(dāng)所有人的注意力集中在簽名的AI大佬身上時，華爾街見聞注意到這封公開信背后的生命未來研究所（Future of Life Institute，F(xiàn)LI）可一點都不簡單。

FLI是什么樣的組織？

先簡單介紹一下FLI，是一家專注于變革性科技的非盈利組織。

顧名思義，F(xiàn)LI研究的對象是“生命的未來”，以“引導(dǎo)變革性技術(shù)造福生命，遠(yuǎn)離極端大規(guī)模風(fēng)險”為使命。

我們認(rèn)為，開發(fā)和使用強大技術(shù)的方式將是決定未來生命前景的最重要因素，因此我們的使命是確保技術(shù)繼續(xù)改善等前景。

FLI工作包括資助各種研究項目，組織和贊助相關(guān)會議和講座，以及向公眾普及科技領(lǐng)域的最新發(fā)展和挑戰(zhàn)。

FLI成立于2014年，創(chuàng)始人為科技界人士和哲學(xué)家，比如Skype聯(lián)合創(chuàng)始人Jaan Tallinn，麻省理工學(xué)院（MIT）物理系教授Max Tegmark，牛津大學(xué)哲學(xué)教授Nick Bostrom。

FLI的擁躉除了學(xué)術(shù)界翹楚之外，還有全球首富馬斯克，甚至是美國知名演員摩根·弗里曼也榜上有名。

而提到FLI，就不得不提它的姊妹機構(gòu)牛津大學(xué)人類未來研究所（Future of Humanity Institute，F(xiàn)HI），后者自稱關(guān)注解決人類及其前景的宏觀問題。

巧合的是，Bostrom同時也是FHI的創(chuàng)始人和主任。

僅有兩字之差的機構(gòu)名稱，同樣宏大的宗旨，關(guān)鍵的人物任職，均表明兩者有著特殊的聯(lián)系——長期主義。

Bostrom是長期主義的提出人，F(xiàn)HI研究助理、開放慈善項目官員Nick Beckstead、牛津大學(xué)哲學(xué)教授William MacAskill都對這一理論有所貢獻(xiàn)。

長期主義影響力有多大？

除了FLI和FHI之外，長期主義還是全球優(yōu)先事項研究所(Global Priorities Institute , GPI)和全球優(yōu)先事項研究前瞻基金會（Forethought Foundation for Global Priorities Research）的研究重點。

前者由牛津大學(xué)哲學(xué)教授Hilary Greaves領(lǐng)導(dǎo)，后者由牛津大學(xué)哲學(xué)教授William MacAskill管理，他也在FHI和GPI任職。

William MacAskill

長期主義還是慈善巨頭有效利他主義(Effective Altruism，EA)運動的主要理論支撐之一，這一組織由FHI研究員、《懸崖：世界末日和人類的未來》作者Toby Ord聯(lián)合創(chuàng)立，MacAskill現(xiàn)擔(dān)任主席。

MacAskill創(chuàng)作的有關(guān)長期主義的書籍《我們欠未來》在硅谷廣受贊譽，馬斯克曾稱其“與我的哲學(xué)非常吻合”。

馬斯克還是Bostrom的忠實擁護(hù)者，他經(jīng)常引用Bostrom的研究成果，還曾通過FLI向FHI捐贈了150萬美元。

除此以外，貝寶（PayPal）聯(lián)合創(chuàng)始人Peter Thiel曾向機器智能研究所（Machine Intelligence Research Institute）捐了一大筆錢，這一機構(gòu)對長期主義深信不疑，宣稱要從超級智能機器手中拯救人類。

長期主義不僅受到科技大佬的賞識，其影響力甚至滲透到了歐美政界。

總部位于華盛頓的安全和新興技術(shù)中心(Center for Security and Emerging Technologies，CSET)希望將長期主義者安置進(jìn)美國政府高層，幫助塑造國家政策。

CSET由前FHI研究助理Jason Matheny建立，他曾是拜登政府的美國國家安全專家，現(xiàn)擔(dān)任美國知名智庫蘭德公司的CEO。

Ord曾為世衛(wèi)組織、世界銀行、世界經(jīng)濟論壇、美國國家情報委員會、英國首相辦公室、內(nèi)閣辦公室和政府科學(xué)辦公室提供過建議，他還曾為聯(lián)合國秘書長的一份報告做出了貢獻(xiàn)，在這篇報告里特別提到了長期主義。

關(guān)鍵在于，長期主義可能是除了全球頂尖學(xué)府和硅谷以外，很少有人聽說過的最具影響力的意識形態(tài)之一。

但更可怕的是，這種世界觀可能是當(dāng)今世界上最危險的世俗信仰體系。

長期主義是什么？

首先需要注意的是，Bostrom提出的長期主義并不等同于關(guān)心長期前景或后代福祉。

遠(yuǎn)不止這些。

長期主義把個體的人比作人類整體。

這是什么意思？

長期主義者認(rèn)為，人類有自己的“潛力”，一個超越每個人的潛力，如果不能實現(xiàn)這種潛力將是極其糟糕的。

長期主義的核心教條是，從倫理上講，沒有什么比實現(xiàn)人類作為“源于地球的智慧生命”物種的潛力更重要的了。

在長期主義者看來，這一點至關(guān)重要，甚至還創(chuàng)造了一個聽起來很嚇人的術(shù)語——“世界末日”。

這一術(shù)語是指人類潛能被破壞的任何可能性，以及任何實際上破壞了這種潛能的事件的“存在主義災(zāi)難”。

長期主義為什么很危險？

為什么這種意識形態(tài)非常危險？

一言以蔽之，將實現(xiàn)人類潛力這一事業(yè)的重要性提升到高于一切的水平，可能會顯著增加現(xiàn)實中的人——眼下和不久的將來還活著的人——遭受極端傷害甚至死亡的可能性。

比如，長期主義者認(rèn)為不需要關(guān)注全球氣候變化。

因為氣候變化不會損害人類在未來數(shù)萬億年的長期潛力，即使它會讓島嶼消失，讓數(shù)以億計的人流離失所，面臨嚴(yán)重的生存危機。

如果從宇宙的角度來看這種情況，那么即使是在未來2000年里使人口削減75%的氣候災(zāi)難，也只不過是滄海一粟。

Bostrom在談到兩次世界大戰(zhàn)、艾滋病和切爾諾貝利核事故時，稱“這樣的悲劇事件對人們來說是受到實時影響的，但從大局來看，即使是最嚴(yán)重的災(zāi)難也僅僅是生命大海上的一片漣漪”，只是“人類的小失誤”。

這意味著，如果未來發(fā)生災(zāi)難，只要它不對人類整體構(gòu)成直接的生存風(fēng)險，那么人類就不應(yīng)該太擔(dān)心，即使是對個人來說可能是悲慘的。

Ord則認(rèn)為，人類的首要任務(wù)是，到達(dá)“人類存在安全區(qū)”，即“存在風(fēng)險”較低的地方。

據(jù)他估計，氣候變化導(dǎo)致生存災(zāi)難的幾率只有千分之一，比本世紀(jì)超級智能機器毀滅人類的幾率低了整整兩個百分點。

Ord曾承認(rèn)，氣候災(zāi)難“有可能造成文明無法挽回的崩潰，甚至是人類完全滅絕”，同樣對現(xiàn)實中的人類（尤其是南半球的人類）造成絕對巨大的傷害，但與人類在宇宙中的長期潛力相比，它的影響幾乎可以忽略不計。

如果人類將“發(fā)揮潛能”當(dāng)成第一要務(wù)，那么應(yīng)該用什么樣的手段去確保不偏離這一方向呢？

Bostrom本人認(rèn)為，人類應(yīng)該認(rèn)真考慮一個全球性的“入侵式監(jiān)聽系統(tǒng)”，實時監(jiān)聽地球上的每個人，增強預(yù)警能力。

他說，國家應(yīng)該使用先發(fā)制人的暴力或戰(zhàn)爭來避免存在性災(zāi)難，并認(rèn)為拯救數(shù)十億現(xiàn)實中的人類的生命僅等同于微微降低存在風(fēng)險。

舉例來說，即使有百分之一的可能性拯救1054個未來人類的生命，那么將生存風(fēng)險降低一個百分點的一億億分之一，其價值也相當(dāng)于拯救十億人類生命的1000億倍。

這種危險的世界觀還存在其他根本性問題。

比如，長期注意與實現(xiàn)“生存安全”根本不相容，換句話說，要真正降低未來人類滅絕風(fēng)險的唯一途徑可能是完全放棄長期主義意識形態(tài)。

來看看長期主義者所說的人類“長期潛力”。

它主要由三部分組成：超人類主義、空間擴張主義以及與哲學(xué)家所謂的“總體功利主義”密切相關(guān)的道德觀。

超人類主義，指人類應(yīng)該用先進(jìn)的技術(shù)來重新設(shè)計我們的身體和大腦，創(chuàng)造一個由徹底增強的“后人類”組成的“優(yōu)越”種族。

比如，我們可以對自己進(jìn)行基因改造以完全控制我們的情緒，或者通過神經(jīng)植入物訪問互聯(lián)網(wǎng)，或者甚至可以將我們的思想上傳到計算機硬件以實現(xiàn)“數(shù)字永生”。

將超人類主義和長期主義聯(lián)系起來，根據(jù)Bostrom 和Ord的說法，成不了所謂的后人類會阻礙人類實現(xiàn)巨大而光榮的潛力，這將是“存在主義災(zāi)難”。

空間擴張主義指的是我們必須盡可能多地殖民未來的光錐（時空中的面）: 即理論上我們可以進(jìn)入的時空區(qū)域。

根據(jù)長期主義者的觀點，我們未來的光錐包含了大量可利用的資源，他們稱之為負(fù)熵的“宇宙稟賦”。

Ord寫道，單單銀河系的直徑就有15萬光年，包含了超過1000億顆恒星，其中大部分都有自己的行星。要實現(xiàn)人類的長期潛力，我們只需要最終到達(dá)附近的一顆恒星，建立一個足夠堅實的立足點，創(chuàng)造一個新的繁榮社會。

但為什么要這么做？讓新的后人類文明灑滿宇宙有什么重要的？

這就不得不提第三個組成部分:總功利主義，這里簡稱為“功利主義”。

一些長期主義者堅稱他們不是功利主義者，在一些人眼中，這只是一種煙霧彈行為。

比如，EA運動可能只是披著利他主義外衣的功利主義。

這項運動被稱為EA運動之前，Ord等早期成員曾認(rèn)真考慮過稱之為“有效功利主義社區(qū)”。

功利主義并不在意價值是如何在時間和空間中分配的，重要的是總凈額。

比如，假設(shè)現(xiàn)在有1萬億人，每個人的生命價值為1，那么總價值為1萬億，而如果現(xiàn)在有10億人，每個人的生命價值為999，那么總價值為9990億。在功利主義者眼中，第一個世界的價值更高。

這里的推測基于這樣一個觀點，即人只是價值的“容器”，本身并沒有價值，人類存在的意義僅限于“容納”了價值，更多的人意味著更多的價值。

簡而言之，在功利主義者看來，人的存在是為了價值最大化，而不是為了造福人民。

這就是為什么長期主義者癡迷于計算未來有多少人可以存在。

Bostrom曾估計未來世界人類數(shù)量將達(dá)到1054，這一數(shù)字在他2014年出版的《超級智能》一書中更高，為1058。

最后總結(jié)一下長期主義者眼中的人類長期潛力：通過數(shù)字化技術(shù)增強的人類遍布銀河系。

為了長期主義者的目標(biāo)，人類不能把資源浪費在解決全球貧困問題和全球氣候變暖上，反而應(yīng)該把更多精力放在超級智能機器上，建立一個全球監(jiān)視系統(tǒng)，發(fā)動“先發(fā)制人”的戰(zhàn)爭。

Beckstead甚至認(rèn)為，人類應(yīng)該優(yōu)先考慮富裕國家人民的生活，而非貧窮國家人民，因為前者對未來的影響絕對更加重要。

為了實現(xiàn)價值最大化，人類必須開發(fā)越來越強大、越來越危險的技術(shù); 如果做不到這一點，本身就將是一場生死存亡的災(zāi)難。不過，技術(shù)并不是導(dǎo)致全球性問題日益惡化的根本原因，也不是停止創(chuàng)造更多技術(shù)的理由。

有人認(rèn)為，人類需要先進(jìn)的技術(shù)逃離可能在未來十億年內(nèi)被太陽毀滅的地球，但在此之前，濫用技術(shù)更有可能導(dǎo)致人類滅絕。

本文來自微信公眾號“華爾街見聞”（ID:wallstreetcn），作者：卜淑情，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com