在人工智能領(lǐng)域，谷歌DeepMind再次引領(lǐng)創(chuàng)新潮流，發(fā)布了全新的Mixture-of-Depths（MoD）架構(gòu)。這一突破性技術(shù)改變了傳統(tǒng)的Transformer計算模式，通過動態(tài)分配大模型中的計算資源，顯著提高了AI模型的訓(xùn)練效率和推理速度。
據(jù)了解，MoD架構(gòu)通過優(yōu)化不同層次模型深度中的計算資源分配，實現(xiàn)了對輸入序列中特定位置token的精準(zhǔn)關(guān)注。它限制給定層的自注意力和MLP計算的token數(shù)量，從而避免不必要的計算，使神經(jīng)網(wǎng)絡(luò)能夠更有效地聚焦于真正重要的信息。這種動態(tài)分配計算資源的方式，不僅提高了計算效率，還使得模型在訓(xùn)練過程中能夠更快速地收斂。
在等效計算量和訓(xùn)練時間下，MoD架構(gòu)展示出了顯著的優(yōu)勢。谷歌方面的測試結(jié)果顯示，相比傳統(tǒng)方法，MoD每次向前傳播所需的計算量更小，而且在訓(xùn)練后的采樣過程中，步進(jìn)速度提高了50%。這一性能提升對于大型AI模型的訓(xùn)練和推理具有重要意義，將有助于加速AI技術(shù)的研發(fā)和應(yīng)用。
此外，谷歌研究團(tuán)隊還探討了MoD與MoE（Mixture-of-Experts）結(jié)合的可能性。MoDE結(jié)合了MoD的動態(tài)計算分配和MoE的專家模型優(yōu)勢，有望進(jìn)一步提升AI模型的性能和推理速度。這一結(jié)合為AI技術(shù)的發(fā)展開辟了新的道路，有望為未來的AI應(yīng)用帶來更高效、更準(zhǔn)確的解決方案。
除了MoD架構(gòu)的發(fā)布，谷歌DeepMind還聯(lián)合斯坦福大學(xué)開發(fā)了一款名為SAFE的AI事實核查工具。SAFE通過對AI聊天機(jī)器人生成的回復(fù)進(jìn)行分析、處理和評估，以驗證其準(zhǔn)確性和真實性。這一工具對于解決AI幻覺問題具有重要意義，有助于提升AI模型的可靠性和可信度。
谷歌方面的研究人員通過創(chuàng)建包含大量事實的數(shù)據(jù)集并在多個大語言模型上進(jìn)行測試，驗證了SAFE的性能。結(jié)果顯示，SAFE在對爭議事實的分析中表現(xiàn)出色，其判定在進(jìn)一步審查下的正確率達(dá)到了76%。同時，SAFE還具備顯著的經(jīng)濟(jì)性優(yōu)勢，其成本比人工注釋便宜20多倍，為AI技術(shù)的廣泛應(yīng)用提供了有力支持。
MoD架構(gòu)和SAFE工具的發(fā)布，再次展示了谷歌DeepMind在人工智能領(lǐng)域的創(chuàng)新實力。這些技術(shù)成果不僅提高了AI模型的訓(xùn)練和推理效率，還解決了AI應(yīng)用中的一些關(guān)鍵問題，為AI技術(shù)的進(jìn)一步發(fā)展奠定了堅實基礎(chǔ)。未來，隨著這些技術(shù)的不斷優(yōu)化和完善，相信AI將在更多領(lǐng)域展現(xiàn)出其巨大的潛力和價值。
原創(chuàng)文章，作者：李森，如若轉(zhuǎn)載，請注明出處：http://rponds.cn/article/643913.html
