近日，NEAR聯(lián)創(chuàng)Illia出席了“2024香港Web3嘉年華”活動，并發(fā)表AI和Web3相關話題的重要演講。本文特對其演講進行了整理，略有刪減。
大家好，我是NEAR的聯(lián)合創(chuàng)始人Illia，今天我們將討論為什么AI需要Web3。NEAR實際上起源于AI，在開始創(chuàng)業(yè)之旅之前，我在Google Research工作，專注于自然語言理解，也是谷歌深度學習框架TensorFlow的主要貢獻者之一。在一群同事的共同努力下，我們創(chuàng)造了首個“Transformers”模型，它帶來了我們現(xiàn)在看到的重大創(chuàng)新，推動了AI的發(fā)展，這也是GPT中的“T”的由來。
后來我離開谷歌創(chuàng)辦了NEAR。作為一家AI初創(chuàng)公司，我們會教機器編程，我們的方法之一是做大量的數(shù)據標記，讓學生為我們創(chuàng)建數(shù)據，我們面臨著支付他們工資的問題，因為他們來自全球各地，他們中的一些人甚至沒有銀行賬戶。我們開始研究區(qū)塊鏈作為應對方法，并意識到沒有什么能滿足我們的需求 ，即可擴容、低費用、易使用和易上手。也是在此時我們創(chuàng)建了NEAR協(xié)議。
對不熟悉的人說 ，語言模型并非新事物，它們從20世紀50年代就存在了。通用的統(tǒng)計模型允許對語言建模，并在各種應用中使用它。對我來說 ，真正有趣的創(chuàng)新發(fā)生在2013年，當時引入了詞嵌入，這個創(chuàng)意可以讓我們從“紐約”這樣的符號，新增到多維度的向量中并轉換為數(shù)學形式。這與深度學習模型配合得很好，它們只是大量的矩陣乘法和激活函數(shù)。
2013年后我加入谷歌。在2014年初，研究中使用的主要模型是RNN。它與人類一次閱讀一個單詞的方法相似，這有一個巨大的限制，如果你想閱讀多個文檔來回答一個問題，你將有一個相當大的延遲，這在Google上的生產中使用是不可行的。
Transformer誕生于我們在解決RNN挑戰(zhàn)的過程中。我們嘗試利用計算中的并行性，它更多存在于硬件中，特別是在GPU中，幾乎可以消耗整個文檔 ，并嘗試同時理解它 ，而不需要一次執(zhí)行1個步驟，沒有這種瓶頸。這允許我們?yōu)镺penAI團隊引入一個模型后，真正擴展它，在非常大的語料庫上預訓練它，這催生了我們今天看到的ChatGPT、Gemini和其他模型等重大創(chuàng)新。
現(xiàn)在我們看到AI出現(xiàn)了重大創(chuàng)新，而且這種創(chuàng)新還在加速。這些模型能夠進行基本的推理，他們有常識。我們看到人們繼續(xù)挑戰(zhàn)這些模型的極限。我認為，重要的是，在機器學習和數(shù)據科學領域有人在解釋結果。現(xiàn)在有趣的是大語言模型能夠直接與人交流，并且能夠與其他應用和工具進行交互。所以現(xiàn)在我們有了技術手段可以繞過中間人來解釋結果。
對于那些不熟悉的人來說，當我們談論這些模型被GPU訓練或被使用時 ，它們其實并不是游戲機GPU或加密挖礦GPU。這是一臺專業(yè)的超級計算機，一臺機器上通常有八個GPU，它們具有巨大的競爭能力。這些機器被堆放在架子上，這些機架大多部署在數(shù)據中心。你訓練相當大的模型如Groq，花費3個月的時間，動用10,000個H100。租借設備將花費你6,400萬美元。更重要的是，除了計算本身之外還有連接性。
這里的一個重要部分是A100，特別是H100，通過每秒900千兆字節(jié)的連接速度連接。所以作為參考，你的CPU到RAM，以每秒9千兆字節(jié)的速度連接。在數(shù)據中心機架中的兩個節(jié)點/兩個GPU之間移動數(shù)據實際上比將數(shù)據從GPU移動到CPU更快，特別是現(xiàn)在我們還在努力改進Blackwell，其連接速度有望翻倍，達到每秒1,800千兆字節(jié)，這種硬件連接速度是瘋狂的，它允許我們不把這些設備看作獨立設備。因為從程序員的角度來看，它們感覺像是一個單一的操作。當你大規(guī)模構建系統(tǒng)時，有很多需要注意。這個想法是這些是高度連接的設備，本地網絡上的正常連接是每秒100兆字節(jié)，所以大約比這低一萬倍。
現(xiàn)在由于對訓練的這種要求，我們現(xiàn)在看到封閉的AI模型正在興起。即使模型權重是開源的，我們實際上仍然不知道模型中加入了什么。這很重要，因為這些模型實際上是關于從數(shù)據中學習偏向的。有人開玩笑說，模型其實只是權重和偏向，這就是模型的表現(xiàn)方式。現(xiàn)在除了工程師之外，還有許多團隊通過修改數(shù)據集來決定進入模型的內容，因為某些原因決定某些內容不應該出現(xiàn)在數(shù)據中。然后在模型產生之后，對其進行后期處理并改變系統(tǒng)提示，來決定這個模型將會推理什么。尤其危險的是，我們并不知道這個模型是如何產生的。
我們也看到了AI正在迎來大規(guī)模的抗議和訴訟。因為從數(shù)據的使用到這些模型如何產生結果，到這些公司對分發(fā)平臺的權力，都容易引起爭議。模型本身成為了分發(fā)平臺，我們由此面臨著巨大的風險。顯然監(jiān)管機構正試圖管制我們，想辦法限制不良行為者的訪問，這使開放模型和去中心化方法更難存在。開源沒有足夠的經濟動力，因此導致公司可能開始開源，然后在試圖賺錢的過程中限制開源其模型 ，以獲得更多的資本來購買算力，訓練更大的模型。
生成式AI正在成為大規(guī)模操縱人們的工具，大公司的經濟狀況總會導致激勵機制扭曲。在你實現(xiàn)了你的目標市場份額后，你將繼續(xù)展示收入增長。你需要增加每個用戶貢獻的平均收入，所以你需要從用戶身上獲取更多的價值，這就是開源AI的所有情況。使用Web3作為一種工具來激勵人們，可以為人們創(chuàng)造機會，同時也為人們創(chuàng)造足夠的計算和數(shù)據資源，使人們建立有競爭力的模型。
我們需要讓大量AI工具在Web3世界發(fā)揮作用，才能將其整合在一起，我將從數(shù)據、基礎設施和應用層面，介紹其中的幾個部分。其中一個重要的部分是因為這些語言模型現(xiàn)在能夠直接與社會互動，它們能夠在整個廣泛的范圍內，操縱和明顯地制造虛假信息。我想指出的是，AI在這里不是問題，因為這類事情以前就存在。重要的是我們需要利用密碼學和鏈上聲譽來解決這個問題。問題不在于AI生成這個或人類生成這個，關鍵是誰發(fā)布了它，它的源頭是什么，社區(qū)的意見是什么，這才是真正重要的。
另一方面，我們現(xiàn)在有代理。我們習慣把一切都稱為代理。但現(xiàn)實是，它們有相當大的多樣性，可以有工具或自治代理，這可以是中心化的或去中心化的，例如ChatGPT是一個中心化的工具，而Llama模型是開源的。因此它們可以以中心化或去中心化的方式被使用，也可以讓去中心化模型只在用戶設備上運行，而不需要區(qū)塊鏈或類似的東西。因為如果你在你的設備上運行模型，你就可以保證它完全符合你的期望，有一種完全自治的去中心化AI治理，需要進行驗證，比如當它分配資金和做出重要決定時。
還有不同類型的專業(yè)化。比如prompt，你可以進行zero shot，教Llama以特定的方式回應 ，你可以對特定數(shù)據進行微調，以向模型添加更多知識?；蛘吣憧梢赃M行檢索增強，以在用戶請求時添加某種背景信息。輸出也不必只是文本，它也可以是一個豐富的UI組件，它可以是一個直接的行動，在區(qū)塊鏈上做一些事情。
接下來是自主。它可以是一個工具 ，用來做你想做的事情；它也可以編寫自己的計劃并在其上執(zhí)行；它可以是一個連續(xù)的工作，你只需指定一個目標；它可以是一個強化學習優(yōu)化，你只需指定一個指標和一套標準和邊界；你讓模型不斷探索并找到增長的方法。
最后是基礎架構。你可以使用中心化基礎架構如OpenAI和Groq。你可以有一個分布式的本地模型，你可以有一個帶有概率的去中心化推理。有一個非常有趣的使用案例，我們從可編程貨幣轉向智能資產，這是資產行為由自然語言定義的地方，并且可能與真實世界，或與其他用戶交互。比如這可以使用能閱讀新聞的自然語言oracle，它可以根據正在發(fā)生的事情自動優(yōu)化策略。這里最大的注意事項是，當前的語言模型對敵對行為并不健壯，因此很容易在各種事情上說服他們。
我們正處于十字路口，道路一側是一個封閉的AI世界，它將導致更多的操縱。監(jiān)管決策通常會導致這種情況，因為監(jiān)管機構會要求越來越多的監(jiān)督，越來越多的KYC和越來越多的要求。只有大公司才能滿足這一要求。而創(chuàng)業(yè)公司 ，尤其是嘗試開源的創(chuàng)業(yè)公司，將沒有資源來進行實際競爭，最后只能倒閉以及被大公司收購。我們開始看到這種情況的發(fā)生。
道路的另一側是開放的模型，我們有承諾和能力，以非盈利和開源的心態(tài)來執(zhí)行它，我們使用加密經濟激勵創(chuàng)造機會和資源，這是具有競爭力的開源AI模型所必需的。NEAR正在努力在整個生態(tài)中做到這一點。AI is NEAR。在接下來的幾周里，我們會有更多的更新，歡迎大家關注我的推特和NEAR社交網站，了解更多更新，謝謝！
本文轉載自：marsbit，不代表科技訊之立場。原文鏈接：news.marsbit.co/20240411135844208659.html
