3月18日消息，據(jù)媒體報道，馬斯克的AI創(chuàng)企xAI正式宣布其大語言模型Grok-1已實現(xiàn)開源，并向公眾開放下載。
據(jù)了解，Grok-1是一款基于混合專家系統(tǒng)（Mixture-of-Experts，MoE）技術(shù)構(gòu)建的大語言模型，擁有3140億參數(shù)，遠(yuǎn)超OpenAI GPT-3.5的1750億。這是迄今參數(shù)量最大的開源大語言模型，遵照Apache 2.0協(xié)議開放模型權(quán)重和架構(gòu)。
xAI表示，Grok-1始終由xAI自行訓(xùn)練，其預(yù)訓(xùn)練階段于2023年10月完成。此次發(fā)布的是Grok-1預(yù)訓(xùn)練階段結(jié)束時的原始基礎(chǔ)模型檢查點，即該模型未經(jīng)過針對任何具體應(yīng)用的微調(diào)。
xAI的目的之一就是與OpenAI、谷歌、微軟等對手在大模型領(lǐng)域進(jìn)行競爭，其團(tuán)隊來自O(shè)penAI、谷歌DeepMind、谷歌研究院、微軟研究院等諸多知名企業(yè)和研究機(jī)構(gòu)。
目前，xAI并沒有放出Grok-1的具體測試成績，它與其他公司的大模型之戰(zhàn)將成為業(yè)內(nèi)關(guān)注的焦點。
原創(chuàng)文章，作者：潮玩君，如若轉(zhuǎn)載，請注明出處：http://rponds.cn/article/637988.html
