尋找智能飛輪:下一個“AlphaGo"會出現(xiàn)在哪里?
開源大型LLaMA 2會不會扮演類似安卓的角色?正如我們在《》中提到的,AlphaGo已經(jīng)達到了基于數(shù)據(jù)飛輪的人工智能的高度,現(xiàn)在沒有人來了。它用自己的數(shù)據(jù)訓(xùn)練自己,快速達到圍棋領(lǐng)域的高點,遠遠超過人類。
可以實際上用數(shù)據(jù)飛輪來形容這個過程有點偏概全,智能飛輪是數(shù)據(jù)飛輪的一部分。我有一個做人工智能算法的朋友,經(jīng)常把自己的工作描述成大型煉丹師。智能飛輪是什么?基本上是九轉(zhuǎn)金丹的藥方(算法)。、爐子(計算率)和材料(數(shù)據(jù)飛輪)的組合。我拿到了九轉(zhuǎn)金丹的高概率,但是吃了之后基本上馬上就升仙了。什么是智能飛輪,有哪些關(guān)鍵影響因素,什么領(lǐng)域更容易出現(xiàn)新的智能飛輪?
智能飛輪
(數(shù)據(jù)飛輪AlphaGo)
從技術(shù)角度來看,智能飛輪與計算率、算法和數(shù)據(jù)有關(guān)。(比技術(shù)更重要的是場所。參考“OpenAI成功的關(guān)鍵點是什么?誰能做好大模型?”,這里就不重復(fù)了。)算率基本靠資本,算法靠團隊,所以數(shù)據(jù)比較復(fù)雜,不僅僅是有錢。
就智能飛輪而言,算率真的是煉丹爐。算法決定了這個輪子有多大或者是什么樣的輪子。數(shù)據(jù)飛輪決定了智能飛輪是否能轉(zhuǎn)動。舉例來說,AlphaGo已經(jīng)轉(zhuǎn)動,但僅限于圍棋;chatGPT還沒有轉(zhuǎn)動,如果轉(zhuǎn)動,整個世界都會轉(zhuǎn)動,因為它的輪子太大了,包括世界上太多的知識。
算率算法實際上類似于過去的其他商業(yè)場景。人工智能和其他不同的核心在于數(shù)據(jù)。壞消息是,由于生產(chǎn)和消費的失衡,數(shù)據(jù)很快就會缺乏隱性。
把模型訓(xùn)練看作是消費者,把人和事的一切行為看作是生產(chǎn)者,那么消耗的速度明顯大于產(chǎn)生的速度。在幾次訓(xùn)練中,可以消耗幾十年積累的數(shù)據(jù)。
而且數(shù)據(jù)的生成并不像想象的那么容易。
哪里有有效的數(shù)據(jù)?
并不是所有的數(shù)據(jù)都對模型有用。就像我們訓(xùn)練小愛這樣的喚醒詞一樣,如果你有大量的數(shù)據(jù)但都是鐵嶺人,那么無論數(shù)據(jù)有多少,訓(xùn)練結(jié)果在廣東肯定不好。
因此數(shù)據(jù)第一,要有效,第二是海量。。
對人工智能情境中的數(shù)據(jù),從玄學(xué)和哲學(xué)的角度來看,可能更容易抓住關(guān)鍵。
假設(shè)我們有一個“元真”的世界,元真的世界只有本質(zhì),比如圓的規(guī)律、面積、起點等關(guān)系。,而我們的現(xiàn)實世界其實是各種本質(zhì)的表現(xiàn)(希臘先哲稱之為蒼白拷貝)。
現(xiàn)在大模型是通過大量的實際數(shù)據(jù)反向接近實質(zhì)和元真世界,那么此時此刻,得到的現(xiàn)實表達類型越完整,那無疑就越接近。比如給出的脊椎動物種類越多,每種類型給出的特征就越豐富,模型就越能找到脊椎動物的本質(zhì)并包括在內(nèi)。只給一條鱷魚或者所有的鱷魚,很難接近脊椎動物的本質(zhì)。
很多時候,我們不知道哪一種是脊椎動物。
在智能飛輪中,這是最大的挑戰(zhàn),能花錢把過去的數(shù)據(jù)整理出來給模型,問題是什么?
對于上面脊椎動物的例子,如果后續(xù)的增量大部分是鱷魚,那就和過去重疊了。重疊對接近實質(zhì)的幫助很小。如果幫助很小,智力就不會提高,自然就沒有智能飛輪了。(總是給鱷魚會導(dǎo)致不像鱷魚或脊椎動物的結(jié)果。)
這個問題不能通過算法來解決。
新算法更有可能是放大輪子的大小或結(jié)構(gòu),對飛不起來沒有太大幫助。對于建立更好的應(yīng)用程序是非常有幫助的。
那么,在哪里可以找到這種多樣化的數(shù)據(jù)來接近本質(zhì)和元真呢?
目前看看有兩種方法:一種方法是增加收集范圍和強度,換言之,等待現(xiàn)實世界的生產(chǎn),但是拿得更全;一個是自生成。使人工智能產(chǎn)生的數(shù)據(jù)有助于人工智能的進化。前一種對應(yīng)多模式,后一種是領(lǐng)域本身的特點。
多模態(tài)解決問題嗎?
2010年左右開始的人工智能浪潮從多模式開始。雖然不同的企業(yè)家通常從不同的層面開始,但最大的兩個支部:視覺和語音依賴于聲、光、電、熱、磁幾個關(guān)鍵感知層面的聲跟光。需要補充的是,聲音不僅是一種常見的識別,還包括聲紋、噪聲檢測、故障檢測等。光線不僅包括面部識別,還可以用紅外線檢測物體的質(zhì)量和問題,深度攝像頭可以感知三維場景。
多模態(tài)是傳感器低成本、精度提高的基礎(chǔ)。
多模態(tài)肯定可以解決數(shù)據(jù)量問題,而質(zhì)量問題則不太好。
每天都能得到大量的信息,只需要一定量的攝像頭。
但是質(zhì)上邊因為你布置了多少維度的傳感器就有多少維度的信息,真正得到這些數(shù)據(jù),純粹靠自己也需要慢慢布置累積;依賴合作就更難了,因為數(shù)據(jù)交易運行本身舉步維艱,所有權(quán)、使用權(quán)都不清楚。所以多模態(tài)可以幫助長時間線上緩慢解決問題,但是注定要花費大量的成本和時間,不可能幫助啟動智能飛輪。
它就像一輛大排量的汽車配備了一個小的供油管,怎樣使勁給油也是不夠的。
是否可以自己生成數(shù)據(jù)?
這些數(shù)據(jù)自然產(chǎn)生了謬論。
如果元真和本質(zhì)配合全規(guī)則,生成數(shù)據(jù),那么本質(zhì)的表達就足夠了,這樣你產(chǎn)生的信息就多樣有價值,對智能飛輪肯定有好處。但是,如果規(guī)則是局部的,則會產(chǎn)生大量的重復(fù)數(shù)據(jù),這些數(shù)據(jù)在原始范圍內(nèi)等于垃圾數(shù)據(jù)。它們也只能回到一些規(guī)則和本質(zhì)。
這時,問題的核心就變成了在那里尋找隨機性,這種隨機性的結(jié)果在領(lǐng)域或特定范圍內(nèi)是真實的。你創(chuàng)造了一些脊椎動物的數(shù)據(jù),所以你必須像蛇或其他任何東西一樣,恐龍,否則會污染脊椎動物的概念。
從這個角度來看,大模型的幻覺是有益的,它帶來了原始的可能性。但是這種幻覺有助于構(gòu)建一個虛擬的世界,而對于現(xiàn)實問題卻是不可能的。假如讓它幻想下來,可能會有一個智能飛輪,但是沒有人知道它能飛到哪里去。
(這種幻覺缺陷可能不是數(shù)據(jù)生成場所真正的缺陷)來自https。://www.arxiv-vanity.com/papers/2306.08302/
那么為什么AlphaGo可以呢?
因為AlphaGo恰好正好這條規(guī)則是明確的,所有符合圍棋規(guī)則的嘗試都是真實的一部分。此時“幻覺”反而有利于窮盡的可能性。
從這里我們可以梳理出數(shù)據(jù)自產(chǎn)生的關(guān)鍵:“幻覺” 規(guī)則。為了實現(xiàn)目標,當然還有目標反饋,比如成敗?;糜X加規(guī)則可以快速輸出,結(jié)果可以快速反饋,這對數(shù)據(jù)生成至關(guān)重要。
下一個AlphaGo在哪里?
那么還有哪些領(lǐng)域符合這一特點,能像AlphaGo一樣啟動智能飛輪嗎?
從前面的描述中,我們可以發(fā)現(xiàn)這個領(lǐng)域的特點是外部的,但與算法和數(shù)據(jù)的現(xiàn)狀關(guān)系不大。滿足這個特點意味著九轉(zhuǎn)金丹更有可能快速煉成。
除了游戲之外,我立刻能想到的是編程。
編譯器等保證了編程的規(guī)則足夠清晰,幾乎不行;
通過測試驅(qū)動開發(fā)的方法,可以在許多場景中定義最終結(jié)果是否正確;
過去的信息量也足以點燃第一把火。性能、穩(wěn)定性等非功能性指標也可以進行量化衡量。
當新領(lǐng)域來臨時,編程的難點在于,要能夠?qū)⑦@一需求抽象地描述為一個可衡量的數(shù)字目標。通過這種方式,軟件產(chǎn)品將成為一個清晰的對錯系統(tǒng),在這種情況下,內(nèi)部的各種構(gòu)建可以使模型完成。
假如這是真的,那么程序員這一行業(yè)肯定會面臨巨大的變化。
并非消滅這個職業(yè),而是說工作的意義與過去大不相同。
醫(yī)療是什么情況,雖然很多讀者都會關(guān)注這個領(lǐng)域,但是很不幸。醫(yī)學(xué)界并非有智能飛輪的行業(yè),需要的是靠算法等進步一點一點向前推進。(并非AI對它沒有幫助,沒有機會,沃森系統(tǒng)肯定會出來)
因為疾病不是很清楚,“幻覺”和規(guī)則無法產(chǎn)生有效的數(shù)據(jù)。如果模型是基于這樣的模擬數(shù)據(jù),然后指導(dǎo)真人看病,然后在反饋中調(diào)整,這是不靠譜的。反饋的成本太高了。也許人類已經(jīng)死了,驗證幻覺是不夠的。
什么是企業(yè)經(jīng)營管理的情況?相反,這是部分能力。
這種情況似乎有些分歧,理論上醫(yī)院也是一家公司,為什么醫(yī)院不行,公司就行?
因為公司內(nèi)部差距很大,既有封閉系統(tǒng),又有開放復(fù)雜系統(tǒng)。
事實上,公司的情況和任務(wù)是在封閉和開放之間持續(xù)的,比如總有外賣兄弟和首席執(zhí)行官的工作,前者是封閉的,后者是開放的。然后,不同的企業(yè)有不同的工作比例。比如工廠或者保潔公司封閉度高,大學(xué)可能開放度高。
這一比例決定了組織的特點。
因此,在許多接近封閉場景的地方,實際上可以找到最優(yōu)解,關(guān)鍵是界限要明確。切到極端其實和圍棋是一樣的。比如即使不需要大型物流,也可以用算法(求解器)求解,因為邊界清晰。
最后想說的是反轉(zhuǎn)明顯的行業(yè),比如股票交易,會比較困難。從理論上講,股票和游戲非常相似,數(shù)據(jù)非常充分,獲取數(shù)據(jù)并不難?;孟朐谝?guī)則對應(yīng)的結(jié)果中立即得到反饋。但是股市的反身性太明顯了,導(dǎo)致幾乎沒有規(guī)則。在這種情況下,AlphaGo這種意義上的智能飛輪轉(zhuǎn)動是沒有用的,需要其他的角度和方法。
總結(jié)
結(jié)論是智能飛輪的存在與否是一個領(lǐng)域特征,與算率、算法關(guān)系不大。這個領(lǐng)域是錯誤的,沒有數(shù)據(jù)飛輪,在沒有數(shù)據(jù)飛輪的情況下,適合打呆仗,結(jié)合多模式逐步積累。也就是說,在我們所說的系統(tǒng)超級應(yīng)用對應(yīng)的長尾曲線中,有智能飛輪效應(yīng)的會跑在前面。
對于純大模型的R&D人員,他們負責(zé)推廣;對于系統(tǒng)超級應(yīng)用的R&D方來說,核心是找到有智能飛輪的行業(yè),并根據(jù)這些策略進行準備;對于長尾曲線的應(yīng)用,更適合快速輸出體驗。AI未來的格局越來越清晰。
本文來自微信微信官方賬號:琢磨事情(ID:zuomoshi),作家:老李話一三
本文僅代表作者觀點,版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請在文中注明來源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請及時與我們聯(lián)系進行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com





