近日，Meta正式發(fā)布Llama 3.1。在官方博客中，Meta稱該模型是目前“最強大的開源基礎模型”，并表示：“直到今天，開源大模型在功能和性能方面大多落后于封閉模型。現(xiàn)在，我們正在迎來一個開源引領的新時代?！?/p>
作為開源領域的常青樹，Llama系列一直在引領開源大模型的腳步，Meta也被奉為與OpenAI齊名的巨頭，分別代表著開源與閉源的技術走向。
發(fā)布Llama 3.1的同時，Meta創(chuàng)始人、CEO扎克伯格也發(fā)布長文強調了開源的意義，他表示，開源是AI積極發(fā)展的必要條件，“今天我們正邁出下一步——使開源AI成為行業(yè)標準?！?/p>
Llama 3.1包含8B、70B和405B三種參數(shù)規(guī)模，適用于多種場景，包括多語言代理、復雜推理和編碼助手等。該系列模型上下文窗口增加到了128K，擴大16倍；支持多種語言，包括英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語等；提升了工具使用能力，支持搜索和Wolfram Alpha的數(shù)學推理；擁有更寬松的許可，允許使用模型輸出改進其他LLMs。
評測結果顯示，Llama 3.1 405B可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等業(yè)界頭部模型媲美，這也是Meta迄今為止最強大的模型。
Meta指出，最新一代的Llama將激發(fā)新的應用程序和建模范式，包括利用合成數(shù)據(jù)生成來提升和訓練更小的模型，以及模型蒸餾——這是一種在開源領域從未有過的能力。
其實在模型公布前一天，Llama3.1的模型和基準測試結果已經(jīng)在Reddit等技術社區(qū)上泄露，Llama 3.1的磁力鏈接在HuggingFace等社區(qū)中流傳?！伴_源”“強大”成為業(yè)界人士使用感受中的高頻詞。
不少AI領域專業(yè)人士在X上發(fā)表觀點，包括“這是開源Al最重要的時刻，其在基準測試上已經(jīng)有多項超越了GPT-4o”，“將先進的大模型開源，是擊敗那些傳播AGI恐怖論人員的最佳方式”等。此外，也有不少網(wǎng)友嘗試向Llama3.1提問“9.11和9.9誰大”這一經(jīng)典問題，不過，Llama3.1也出現(xiàn)了偶爾答錯的情況。
不同于OpenAI對技術文檔的“惜字”，Meta還發(fā)布了長達92頁的論文，詳細披露了創(chuàng)造Llama 3.1的過程。HuggingFace首席科學家Thomas Wolf感慨說：“如果你是從零開始研究大模型，就從這篇論文讀起?！?/p>
技術論文也透露了一些訓練細節(jié)，包括Llama 3.1在超過15萬億個token的數(shù)據(jù)上進行訓練，用了1.6萬塊英偉達H100芯片，預訓練數(shù)據(jù)日期截止到2023年12月等。此外，為了保證訓練穩(wěn)定性和便捷性，Meta只用了Transformer模型架構進行調整，而沒有采用現(xiàn)在流行的混合專家模型（MoE）架構。
Llama 3.1發(fā)布之后，Meta與一系列公司迅速展開合作，以發(fā)展更廣泛的生態(tài)系統(tǒng)，亞馬遜(179.85, -0.98, -0.54%)、Databricks和英偉達正在推出全套服務，以支持開發(fā)人員微調和提煉他們自己的模型。Scale.AI、Dell、德勤等公司已準備好幫助企業(yè)采用Llama，并用他們自己的數(shù)據(jù)訓練定制模型。
國內廠商方面，北京時間7月24日，騰訊云TI平臺適配并上架了Meta最新開源大模型Llama3.1，騰訊云對該系列模型進行了精調、推理測試驗證，保障模型的可用性、易用性，可覆蓋智能對話、文本生成、寫作等多個不同場景。
Llama 3.1面世，扎克伯格同一時間在官網(wǎng)發(fā)布長文《開源AI是前進之路》，詳細闡釋了開源對所有開發(fā)者、對Meta、對世界的意義。
談及為何要開源，以及開源對于AI行業(yè)的意義，扎克伯格描繪了開發(fā)者、Meta以及世界三方共贏的開源之路。
他指出，對于開發(fā)者而言，開源模型可以幫助他們訓練、微調和蒸餾自己的模型，掌控自己的命運，而不是被閉源供應商“鎖死”，可以保護他們的數(shù)據(jù)安全，并以更低的成本訓練出屬于自己的高效率運行模型。
對于Meta而言，為確保始終能夠獲取最佳技術，而不是被鎖定在競爭對手的封閉生態(tài)系統(tǒng)中，Llama需要發(fā)展成為一個完整的工具生態(tài)系統(tǒng)，包括效率提升、硅片優(yōu)化和其他集成等。扎克伯格預計，人工智能的發(fā)展將持續(xù)激烈，這意味著開源任何特定模型并不會在當時喪失比下一個最佳模型更大的優(yōu)勢。Llama致力于通過持續(xù)保持競爭力、效率和開放性，逐步成為行業(yè)標準。
他還直白地表示：“Meta與閉源模型提供者的一個關鍵區(qū)別在于，出售AI大模型的訪問權并不是我們的商業(yè)模式。這意味著公開發(fā)布Llama并不會削弱我們的收入、可持續(xù)性或研究投資能力，而這對于閉源提供者來說則不然?！?/p>
對于世界而言，扎克伯格認為，開源將確保全球更多的人能夠從AI的發(fā)展中獲得好處和機會，權力不會集中在少數(shù)幾家公司手中，技術能夠更均勻和安全地在社會中部署。
開源與閉源的爭論一直是技術領域的熱點話題。他在文中寫道：“我相信Llama 3.1的發(fā)布將成為行業(yè)的一個轉折點，大多數(shù)開發(fā)者將開始主要使用開源?！?/p>
從技術進步的角度，360集團創(chuàng)始人周鴻祎曾表示，在開源社區(qū)里，為了一個共同的目標，凝聚起全球上千家公司、數(shù)十萬程序員和工程師，一起來解決問題，開發(fā)力量是一個閉源公司的數(shù)百倍。而且在開源的文化里，大家不用重復發(fā)明輪子，一個人在另一個人想法基礎上快速改進，研發(fā)速度也特別快。
阿里云CTO周靖人告訴21世紀經(jīng)濟報道記者，開源對全球技術及生態(tài)的貢獻毋庸置疑，這一點也在全球范圍內被多次證明，已經(jīng)沒有再討論的必要。“我們認為，大模型的潛力還沒有真正被挖掘出來，企業(yè)和開發(fā)者能夠結合自己實際業(yè)務的需求，在開源體系里探索出一個翻天覆地的變化?！彼f。
科技巨頭們對AI的押注從未懈怠。Meta也從此前押注的元宇宙賽道積極往AI領域轉型。日前，Meta宣布削減其元宇宙部門Reality Labs的硬件預算，該部門負責AR、VR和元宇宙業(yè)務。Meta還將一些致力于AI的Reality Labs團隊轉移到公司更廣泛的生成式AI團隊，其中包括一個140人的AI語音開發(fā)團隊。
就在Llama 3.1發(fā)布同一天，谷歌(169.16, -5.21, -2.99%)母公司Alphabet管理團隊還在二季度財報電話會上強調了AI投資的重要性。Alphabet首席執(zhí)行官Sundar Pichai直言：“對AI‘投資不足’的風險遠超‘投資過度’風險”，即使出現(xiàn)過度投資的情況，當前用于數(shù)據(jù)中心等基礎設施的投資也可以用于其他任務，而不在AI競賽中保持領先地位將對公司造成更為嚴重的負面影響?！?/p>
GPT-4o剛剛刷過存在感，Llama 3.1又橫空出世。在這場AI競賽中，科技巨頭們步履不停，無論是閉源還是開源，未來都還有硬仗。
原創(chuàng)文章，作者：潮玩君，如若轉載，請注明出處：http://rponds.cn/article/669896.html
