AGI 前夕的思考

本周我和幾個朋友談?wù)摿?o3。他們的反應(yīng)基本都是“天啊，這真的發(fā)生了嗎？”

是的，這確實發(fā)生了。接下來的幾年將會非常瘋狂。這是歷史性的事件，甚至是銀河系的事件。

可笑的是，對于正在發(fā)生的事情，并沒有深入的討論。人工智能實驗室無法談?wù)撍?。新聞幾乎不涉及它。政府不了解它?/p>

事實上，我們通過社交媒體 meme 應(yīng)用的新聞推送來討論人類的未來，這聽起來像是一部荒誕的情景喜劇，但我們確實就在這里。

以下是我對正在發(fā)生的事情的一些想法--我對 X 想法深淵的貢獻。

請注意，這些想法都是不成熟的、有趣的推測。我沒有足夠的時間去思考/研究所有這些想法，而且很多想法都是錯的。但我確實希望這些想法能引起那些試圖理解正在發(fā)生的事情的人的興趣。

那就讓我們開始吧。

------------------------------------------------------

- o3 不應(yīng)該令人震驚。OpenAI 2 個月前向我們展示了測試時間縮放圖，計算機的歷史告訴我們，無論趨勢線多么難以置信，我們都要相信它。真正令人震驚的是，它只用了 2 個月就發(fā)生了。這就是我們從大學級人工智能發(fā)展到博士級人工智能的速度。對于人類來說，變化是令人興奮的，但快速變化令人震驚。

- 接下來會發(fā)生什么很明顯。o3 類模型非常擅長優(yōu)化任何可以定義獎勵函數(shù)的東西。數(shù)學和編碼很容易設(shè)計獎勵函數(shù)。小說寫作更難。所以這意味著在短期內(nèi)（1 年），我們將得到尖刺模型。它們將在數(shù)學、編碼和一般推理方面達到 AGI 級別，但寫的是普通小說。雖然更好的推理會讓模型在各方面感覺更聰明，但它們?nèi)匀粫运鼈儧]有在 RL 中遇到的愚蠢方式失敗-- ，即不在它們的訓(xùn)練數(shù)據(jù)中。長期來看(1-3年，我們將繼續(xù)添加新的領(lǐng)域來為它們進行 RL（情感數(shù)據(jù)、感官數(shù)據(jù)等），直到盲點被修補，然后這些模型對于任何不是 Gary Marcus 的人來說顯然都是 AGI。

- 代理確實會在 2025 年出現(xiàn)。類似 o3 的模型不可能不能瀏覽瀏覽器/應(yīng)用程序并采取行動。這些東西很容易設(shè)計獎勵模型。這也是一個巨大的市場--自動化計算機工作--因此對于需要證明其巨額支出合理性的實驗室來說，這是巨大的激勵。我猜到 2025 年 12 月，您將能夠告訴您的計算機執(zhí)行任何涉及瀏覽網(wǎng)頁/應(yīng)用程序和移動數(shù)據(jù)的工作流程。

- 在所有知識分子中，最“老練”的一定是數(shù)學家。數(shù)學家在符號空間中工作。他們的工作與物理世界幾乎沒有聯(lián)系，因此不會受到物理世界的阻礙。法學碩士是符號空間之王。數(shù)學其實并不難，只是靈長類動物不擅長數(shù)學。正則表達式也是一樣。

一個大問題是制作研究級合成數(shù)據(jù)有多難。我猜沒那么難。博士級數(shù)學和研究員級數(shù)學在我們看來在質(zhì)量上有所不同，但對人工智能來說可能看起來是一樣的，只是需要更多幾個 RL 量級。我給數(shù)學家 700 天的時間。（這聽起來很瘋狂，但 o6 不打敗數(shù)學家聽起來同樣瘋狂，所以我對這個預(yù)測的把握超過 50/50，就像這篇文章中的所有其他預(yù)測一樣）。也就是說，再過 700 天，人類就不再是已知宇宙中數(shù)學領(lǐng)域的佼佼者了。

- 那我們軟件工程師呢？短期內(nèi)，這將是天堂。每個 SWE 都晉升為技術(shù)主管，干得漂亮。對于那些完全采用 LLM 的人來說，到 2025 年底，編碼將更像是安排一堆小任務(wù)，由小代理去執(zhí)行。任何具有非常明確規(guī)范的 PR 都應(yīng)該可以通過 o4 系統(tǒng)完成，并且錯誤率足夠小，可以接受。這里的一個問題可能是上下文窗口太小，無法包含代碼庫，但像 Sam 這樣的領(lǐng)導(dǎo)者很清楚這一點。

AI 會很快取代所有軟件工程師嗎？不會。軟件工程不僅僅是根據(jù)超清晰的提示制作 PR。與數(shù)學家不同，軟件工程師不斷與物理世界（即其他人類）互動。工程師必須與客戶合作以了解他們的需求，并與隊友合作以了解他們的需求。當工程師設(shè)計架構(gòu)或編寫代碼時，他們會在大量組織背景下進行。o4 無法做到這一點。但 o4 將幫助擁有背景的工程師以 10 倍的速度前進。

如果軟件工程師的速度快 10 倍，那么我們可能需要的軟件工程師數(shù)量可能就更少了？好吧，如果你以一家特定的公司為例，那么他們可能需要更少的軟件工程師，因為他們可以用更精簡的團隊實現(xiàn)相同的產(chǎn)出。然而，全世界對軟件工程師的需求可能會增加，因為全世界肯定可以使用 10 倍以上的優(yōu)質(zhì)軟件。所以我認為我們將看到精簡公司應(yīng)用程序的黃金時代。為每個人和企業(yè)提供個性化的微應(yīng)用。

- 從長遠來看（>2 年被認為是長期的，哈哈），軟件工程將完全不同，很難說會如何。當 o6 系統(tǒng)存在并完全集成到我們的應(yīng)用程序中時，怎么可能不不同呢？像前端工程師這樣的角色可能在 3 年后就不存在了。這很奇怪嗎？其實并不奇怪-- 30 年前也不存在前端工程師的角色。

我們應(yīng)該退一步思考，認識到軟件每一代都會發(fā)生翻天覆地的變化。軟件一直并將永遠致力于將需求轉(zhuǎn)化為純邏輯。這種轉(zhuǎn)換過程的抽象層次已經(jīng)從二進制上升到 Python?，F(xiàn)在的不同之處在于它正在上升到英語。

轉(zhuǎn)向英語讓非技術(shù)人員也能接觸編程。但最好的構(gòu)建者始終是那些能夠在抽象層次上不斷提升和降低的人。

簡而言之，bc 軟件工程實際上就是通過代碼來理解和修復(fù)組織的需求，軟件工程完全自動化的那一天就是所有組織完全自動化的那一天。

- 我們討論了一些知識型員工，那么體力型員工呢？人工智能也正在向你走來，但是速度會慢一些，因為它必須處理重力和摩擦力。但是 O 類模型對機器人的幫助不大，因為一個需要一個小時的模型對工廠流水線上的機器人沒有幫助?；A(chǔ)模型變得更聰明確實有幫助，O 類模型將有助于訓(xùn)練它們，但我認為這并不能解決機器人進步的最大瓶頸。我猜最大的瓶頸是硬件改進和感知+行動的快速/可靠的模型。這兩者都需要更長的時間來改進（即幾年）。只有當機器人開始制造機器人并且人工智能開始進行人工智能研究時，機器人技術(shù)才會瘋狂地快速進步。這可能來自 O 類模型，但我認為那還需要幾年的時間。

- 我一直在以年為單位討論，但也許我們真的應(yīng)該以計算為單位討論。時間決定人類的產(chǎn)出，但計算決定人工智能的產(chǎn)出，而人工智能的產(chǎn)出將越來越成為研究機構(gòu)中最重要的部分。這就是為什么人們競相建造超級集群的原因-- Meta 的 2GW 集群、Xai 的額外 100k H100 等。

所有實驗室都將迅速效仿 OpenAI 的測試時間計算模型，有些實驗室可以通過增加計算量來彌補算法較差的缺點。它們將像 GPT-4 一樣奮起直追。要制作這些模型，需要結(jié)合常識和每個實驗室的秘訣。目前尚不清楚 OpenAI 在 O 類模型方面有多少秘訣，但它們的改進速度表明這是一種算法上的進步（更容易復(fù)制），而不是某種獨特的數(shù)據(jù)組合（更難復(fù)制）。

在測試時計算時代，我不清楚擁有更多計算還是更好的模型更重要。一方面，您可以通過投入更多測試時計算來彌補較差的模型。另一方面，稍微好一點的模型可能會節(jié)省大量計算。

如果 Xai 趕上 OpenAI，那將會很有趣，因為他們在啟動大規(guī)模集群方面更勝一籌。

無論如何，不會有持續(xù)超過一年的模范護城河，因為實驗室像交換棒球卡一樣交換研究人員，也許更重要的是，實驗室之間的研究人員會互相聚會和睡覺。另外，我認為研究人員過于理想化，如果事情失控，他們不會不分享信息。

我們這里的情況有點瘋狂。人工智能競賽就像核競賽，但美國人和蘇聯(lián)人在周末在洛斯阿拉莫斯聚會，并在推特上互相挑釁，“打賭你不會在 2025 年擁有最大的核彈哈哈哈:)"

在政府介入和/或發(fā)生一些真正糟糕的事情之前，人工智能競賽將繼續(xù)充滿嬉皮和趣味。

- o 類模型通過一些有趣的方式改變了計算規(guī)模的動態(tài)。

O 級模型激勵大規(guī)模建設(shè)，因為它們的計算能力每增加一個數(shù)量級，收益就會明顯增加。計算提供商不可能要求更好的擴展定律。我猜 Sam 想要一個價值數(shù)萬億美元的計算集群時看到的就是這個定律。

這對 Nvidia 來說可能并不好。o 類模型使推理比訓(xùn)練更重要。我認為超級優(yōu)化的推理芯片比訓(xùn)練芯片更容易構(gòu)建，因此 Nvidia 在這方面沒有那么大的護城河。

非常具有推測性：如果 o 類模型解鎖來自全世界的聚合計算來訓(xùn)練最佳模型會怎么樣？就像如果我們將我們的 MacBook Pro 整合到一個推理千兆集群中，開源會擊敗閉源，那會有多酷。

- 除了計算之外，現(xiàn)在混合中的另一個新指數(shù)是代碼本身。如果一個實驗室擁有對最智能模型的唯一/特權(quán)訪問權(quán)，因此他們的軟件工程師的生產(chǎn)力比其他實驗室高出 2 倍，那么他們就會更快地接近下一次生產(chǎn)力翻倍。除非代碼速度達到最大值，并且要運行一長串實驗，否則實驗室再次受到計算的瓶頸。（我不知道，動態(tài)很難?？纯磳嶒炇胰绾文M他們應(yīng)該在計算和人力上花費多少，那將非?？帷＃?/p>

- 盡管所有這些計算擴展和知識工作自動化聽起來很瘋狂，但只有當科學家開始感受到 AGI 時，它才開始變得真正瘋狂。我想到的是你們物理學家、化學家、生物學家。

一切與理論有關(guān)的東西都會從它的名字開始。理論物理學是第一。如果數(shù)學真的解決了（即使這樣寫也聽起來很荒謬，但這并不意味著不可能），那么理論物理學也不會落后太多。它也存在于法學碩士將成為超人的象征領(lǐng)域。

當我們擁有一百萬個馮·諾依曼人工智能在路易斯安那州的田野上日夜工作時（Meta 即將建成的數(shù)據(jù)中心），會發(fā)生什么？它們能多快閱讀過去一個世紀以來成千上萬人撰寫的每一篇物理論文，并立即給出更正確的標記？

顯然，這是故事中難以預(yù)測的部分。理論物理、化學、生物學--如果這些對于接受過 RL 訓(xùn)練的 LLM 來說只是個笑話怎么辦？目前我們有什么合理的論據(jù)可以證明它不是笑話？是的，我們還沒有看到這些模型的真正創(chuàng)新，但它們大多處于高中/大學水平，而這些年齡段的人不會發(fā)明新的物理學。我們現(xiàn)在處于博士水平，所以我們可能會開始看到一些創(chuàng)造性。

- 一旦人工智能開始大量推出新的科學理論，其發(fā)展的瓶頸將是物理世界中的測試和實驗。瓶頸在于勞動力和材料。到那時，如果沒有能夠制造更多機器人的機器人，那將是令人驚訝的。因此，勞動力問題得到了解決。然后材料可以由機器人開采。這里的時間表會很慢，因為建造/運輸實物需要很長時間，但這是幾年而不是幾十年。

- 我上面所說的一切都假設(shè)人工智能+機器人研究/開發(fā)不會出現(xiàn)新的瓶頸，并且模型可以隨心所欲地學習。這幾乎肯定不會發(fā)生。人工智能進步的最大瓶頸將是人類。我指的是監(jiān)管、恐怖主義和社會崩潰。

政府不會坐視地球被幾家科幻公司運營的自動化機器人開采（監(jiān)管）。如果政府無能到無法阻止他們，那么憤怒的失業(yè)者可能會訴諸暴力（恐怖主義）。除非人們被人工智能增強媒體腐蝕到無法正常運作的地步（社會崩潰）。

如果發(fā)生戰(zhàn)爭，我認為它不會成為瓶頸，而會成為加速器。

事情會變得嚴肅起來。在穿著西裝的普通人參與其中之前，2025 年可能是人工智能成為科幻科技推特模因所描繪的瘋狂事物的最后一年，所以讓我們盡情享受 roon 和 sama 吧。

- 這會殺死所有人嗎？我更害怕人類濫用人工智能，而不是人工智能失控。

我們有 5000 年的證據(jù)表明人類使用最新技術(shù)相互殺戮。二戰(zhàn)后的和平是一種異?，F(xiàn)象，一旦美國失策或?qū)κ终J為必須先發(fā)制人以阻止人工智能加速發(fā)展，和平就可能破裂。當武器變得更致命、更自主時，風險就會更高。

另一個風險是人工智能會失控。這意味著它會導(dǎo)致我們無法預(yù)測的滅絕程度。尤其是隨著強化學習重新回歸游戲，人工智能現(xiàn)在正在發(fā)現(xiàn)自己的優(yōu)化，而不是試圖匹配人類數(shù)據(jù)（匹配人類更安全）。但到目前為止，這些模型的底層大腦仍然是法學碩士，法學碩士已經(jīng)表明只是理解人。比如，如果你在提示中包含“確保不要做任何可能殺死我們的事情”，那么此時你就有義務(wù)聲稱它仍然可能會殺死我們。

- 不過，我的興奮感肯定多于害怕感。

我一直夢想的科幻世界即將到來。它來得比預(yù)期的要快一些--因此我感到恐懼--但在所有可能的實現(xiàn)途徑中，我不知道最佳途徑會好多少。這是一個非常棒的時間線。

我希望十年內(nèi)實現(xiàn)的首要事情是：

- 一些瘋狂而酷炫的物理發(fā)現(xiàn)

- 火星和月球基地最初由機器人建造

- 完美的導(dǎo)師/建議（快到了，需要良好的檢索能力、記憶力和更多的個性）

- 零副作用的生物增強藥物

- 乘坐超級優(yōu)化的無人機飛行

- 全面采用超清潔能源，包括核聚變、地熱和大量太陽能

- 意外：人工智能天文學家在望遠鏡數(shù)據(jù)中發(fā)現(xiàn)外星信號？人工智能化學家輕松設(shè)計室溫超導(dǎo)體？人工智能物理學家統(tǒng)一一些理論？人工智能數(shù)學家解決黎曼猜想？

這些看起來不再像科幻小說了，它們感覺就像是近在咫尺的科學現(xiàn)實。

- 那么這一切將走向何方？最終，我們將獲得超級智能，這意味著我們將獲得物理定律允許的一切。我希望永生，并看到其他恒星系統(tǒng)。我還希望將我們的肉體升級到更好的狀態(tài)。但到目前為止，我最興奮的是了解宇宙的起源。10 年前，我開始寫日記，記錄我多么想知道答案，以及人工智能將如何幫助我們找到答案，現(xiàn)在它可能真的發(fā)生了，這太瘋狂了。

- 我們現(xiàn)在生活在一個這一切聽起來都很合理的世界。每一次新的人工智能發(fā)展都會讓更多人意識到這一點，o3 就是最新的一個。

未來不美好的唯一原因就是我們?nèi)嗣癜阉阍伊恕Ｎ覀兊墓娸浾?、我們的下游政策、我們的社會穩(wěn)定、我們的國際合作--都是可能阻礙這一美好未來的障礙。

- 人們認為人工智能實驗室的人正在控制我們的未來。我不同意。他們的工作已經(jīng)確定了。他們只是在某個實驗室中執(zhí)行將要發(fā)生的模型架構(gòu)。

但我們的公眾輿論、我們的下游政策、我們的社會穩(wěn)定、我們的國際合作--是完全不確定的。這意味著我們共同是未來的守護者。

我們每個人都有責任幫助我們的世界渡過未來的艱難時期，以便我們擁有一個美好的未來，而不是一個可怕的未來。

- 有很多方法可以提供幫助。幫助開發(fā)一些產(chǎn)品，使社會更加穩(wěn)定或使人們更加聰明（例如：一款幫助人們管理社交媒體的應(yīng)用程序）。幫助人們了解正在發(fā)生的事情（社交媒體上更多高質(zhì)量的評論、一個真正好的搜索引擎等）。幫助清理我們的街道，這樣要求將我們帶入烏托邦的城市就不會看起來像一個反烏托邦（參與地方政治）。

- 幾乎每個和我聊過的人都害怕在人工智能世界中失去意義，你可能也是這樣。我想對你說，難道不是完全相反嗎？你正處于歷史上最重要的時刻，你有能力影響它。幫助拯救世界應(yīng)該就足夠了，不是嗎？你想回到那個唯一進步的只是你的事業(yè)而不是世界的時代嗎？

也許人們需要做出的轉(zhuǎn)變是從通過個人成功獲得意義轉(zhuǎn)變?yōu)橥ㄟ^集體成功獲得意義。我們目前的許多工作很快就會實現(xiàn)自動化。我們必須適應(yīng)。如果你從一項特定技能中獲得意義，是的，這項技能可能在 5 年后不再需要，你就倒霉了。但如果你能從盡你所能幫助世界中獲得意義，那么這種意義永遠不會消失。

- 對于所有因為 o3 而得到建議的新畢業(yè)生，我的建議是：學習如何成為 1) 一個高代理問題解決者和2)一個優(yōu)秀的團隊成員。你在這一過程中學到的具體技能并不重要，因為世界變化太快了。但解決問題和與團隊良好合作將在很長一段時間內(nèi)都很重要。

你可能還需要接受一個不穩(wěn)定的世界里不穩(wěn)定的生活。這會變得很奇怪。你可能不會在郊區(qū)有兩個孩子和一只狗。你可能會在星際方舟上有兩個機器人孩子和一只人工智能狗。

我們正生活在 AGI 的前夜，在這個圣誕夜，我請求你們幫助使 AGI 過渡順利進行，以便我能夠在公元 3024 年圣誕夜，在距離奧特曼半人馬座四光年的行星上向你們問好。