在人工智能領(lǐng)域,一場新的競賽正在激烈展開。昨日,被譽為“歐洲版OpenAI”的法國公司Mistral AI悄然發(fā)布了一款全新的MoE(專家混合)大模型——Mixtral 8x22B。這款模型的參數(shù)規(guī)模高達1760億,僅次于馬斯克的Grok-1,成為了市場上參數(shù)規(guī)模第二大的開源模型。
Mixtral 8x22B的發(fā)布引起了業(yè)界的廣泛關(guān)注。該模型由8個專家模型構(gòu)成,每個模型的參數(shù)規(guī)模達到了220億,模型文件大小約為262GB。在性能上,Mixtral 8x22B在多項測評中取得了令人矚目的成績,尤其是在MMLU(大規(guī)模多任務(wù)語言理解)測試中,該模型成功登頂開源模型榜首,同時在Hellaswag、TruthfulQA、GSM8K等多項測評中,成績超越了Llama 2 70B、GPT-3.5以及Claude 3 Sonnet等競爭對手。
值得一提的是,盡管Mixtral 8x22B的發(fā)布方式相對低調(diào),但其在開源社區(qū)中卻引起了巨大的反響。在放出磁力鏈接后不久,Mixtral 8x22B便迅速上架了開源社區(qū)Hugging Face,用戶可以進一步對其進行訓練和部署。AI搜索平臺Perplexity Labs和開源平臺Together AI也迅速提供了對該模型的支持。
在性能優(yōu)化方面,AI科學家賈揚清表示,通過合理的量化,Mixtral 8x22B可以在4個A100/H100顯卡上運行,實際上,只需要3張A100顯卡就足夠支持其運行。此外,蘋果機器學習研究員Awni Hannun也指出,Mixtral 8x22B模型在蘋果機器學習框架MLX上使用M2 Ultra芯片運行良好,并發(fā)布了MLX社區(qū)中的4位量化模型。
Mistral AI的這一重大突破不僅體現(xiàn)了法國在人工智能領(lǐng)域的強大實力,也進一步推動了全球AI技術(shù)的發(fā)展。隨著開源社區(qū)的快速發(fā)展,Mixtral 8x22B的發(fā)布無疑將為更多開發(fā)者和研究人員提供新的機遇和挑戰(zhàn)。
此外,Mistral AI的成就也反映了法國AI生態(tài)的蓬勃發(fā)展。近年來,法國在AI領(lǐng)域取得了顯著的進步,從計算機培訓學校的創(chuàng)辦到深度學習研究院的成立,再到創(chuàng)業(yè)園區(qū)的興起,法國已經(jīng)成為全球AI領(lǐng)域的重要力量。
與此同時,法國AI生態(tài)的崛起也吸引了全球科技巨頭的關(guān)注。谷歌DeepMind在巴黎開設(shè)實驗室,進一步證明了法國在AI領(lǐng)域的吸引力。而Mistral AI的成功,更是為法國AI生態(tài)的未來發(fā)展注入了強大的動力。
隨著人工智能技術(shù)的不斷發(fā)展,我們期待看到更多像Mistral AI這樣的公司能夠涌現(xiàn)出來,推動全球AI技術(shù)的進步,為人類社會的未來發(fā)展貢獻更多的智慧和力量。
原創(chuàng)文章,作者:AI,如若轉(zhuǎn)載,請注明出處:http://rponds.cn/article/646396.html