谷歌近日發(fā)布其大模型矩陣的最新力作——Gemini 1.5，并將上下文窗口長(zhǎng)度擴(kuò)展到100萬(wàn)個(gè)tokens。
Gemini 1.5 Pro達(dá)到了與1.0 Ultra相當(dāng)?shù)馁|(zhì)量，同時(shí)使用了更少的計(jì)算。該模型在長(zhǎng)語(yǔ)境理解方面取得突破，能夠顯著增加模型可處理的信息量——持續(xù)運(yùn)行多達(dá)100萬(wàn)個(gè)tokens，實(shí)現(xiàn)迄今任何大型基礎(chǔ)模型中最長(zhǎng)的上下文窗口。
這意味著Gemini 1.5 Pro可一次處理大量的信息——包括1小時(shí)的視頻、11小時(shí)的音頻、超過(guò)3萬(wàn)行代碼或超過(guò)70萬(wàn)字的代碼庫(kù)。
從今天開(kāi)始，谷歌將通過(guò)AI Studio和Vertex AI向開(kāi)發(fā)者和企業(yè)客戶提供Gemini 1.5 Pro的有限預(yù)覽版。
此外，谷歌透露其在研究中還成功測(cè)試了多達(dá)1000萬(wàn)個(gè)tokens。
AI模型的“上下文窗口”由tokens組成，這些tokens是用于處理信息的構(gòu)建塊。上下文窗口越大，它在給定的提示中可接收和處理的信息就越多，從而使其輸出更加一致、相關(guān)和有用。
通過(guò)一系列機(jī)器學(xué)習(xí)創(chuàng)新，谷歌將上下文窗口容量大大增加，從Gemini 1.0最初的32,000個(gè)tokens，增加到1.5 Pro的100萬(wàn)個(gè)tokens。
Gemini 1.5 Pro帶有標(biāo)準(zhǔn)的128,000個(gè)tokens的上下文窗口。從今天開(kāi)始，有限的開(kāi)發(fā)人員和企業(yè)客戶可通過(guò)AI Studio和Vertex AI在私有預(yù)覽中試用多達(dá)100萬(wàn)個(gè)tokens的上下文窗口。當(dāng)推出完整的100萬(wàn)個(gè)tokens上下文窗口，谷歌正在積極地進(jìn)行優(yōu)化，以改善延遲，減少計(jì)算需求并增強(qiáng)用戶體驗(yàn)。
Gemini 1.5構(gòu)建于谷歌對(duì)Transformer和MoE架構(gòu)的研究基礎(chǔ)之上。傳統(tǒng)的Transformer是一個(gè)大型神經(jīng)網(wǎng)絡(luò)，而MoE模型被分成更小的“專(zhuān)家”神經(jīng)網(wǎng)絡(luò)。
根據(jù)給定的輸入類(lèi)型，MoE模型學(xué)會(huì)選擇性地激活其神經(jīng)網(wǎng)絡(luò)中最相關(guān)的專(zhuān)家路徑。這種專(zhuān)業(yè)化極大地提高了模型的效率。谷歌一直是深度學(xué)習(xí)的MoE技術(shù)的早期采用者和研發(fā)先驅(qū)。
谷歌在模型架構(gòu)上的最新創(chuàng)新使Gemini 1.5能夠更快地學(xué)習(xí)復(fù)雜的任務(wù)并保持質(zhì)量，同時(shí)更有效地進(jìn)行訓(xùn)練和服務(wù)。這正幫助其團(tuán)隊(duì)以更快的速度迭代、訓(xùn)練和交付更先進(jìn)的Gemini版本。
原創(chuàng)文章，作者：潮玩君，如若轉(zhuǎn)載，請(qǐng)注明出處：http://rponds.cn/article/630693.html
