蘋果公司近日發(fā)布了DeepPCR機(jī)器學(xué)習(xí)算法，該算法通過(guò)并行處理常規(guī)順序操作，可以加速神經(jīng)網(wǎng)絡(luò)的推理和訓(xùn)練。神經(jīng)網(wǎng)絡(luò)已經(jīng)能夠處理文本或圖片合成、分割和分類等復(fù)雜任務(wù)，但由于計(jì)算需求過(guò)大，神經(jīng)網(wǎng)絡(luò)訓(xùn)練和反饋結(jié)果的時(shí)間可能需要數(shù)天或者數(shù)周。
為了解決這個(gè)問(wèn)題，蘋果公司的科研團(tuán)隊(duì)推出了DeepPCR算法，進(jìn)一步加速了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理。該團(tuán)隊(duì)采用了平行循環(huán)還原（PCR）算法來(lái)檢索該解決方案，將順序過(guò)程的計(jì)算成本從O（L）降低到O（log2 L），降低了復(fù)雜性，提高了運(yùn)行速度。
在神經(jīng)網(wǎng)絡(luò)處理過(guò)程中，目前廣泛采取并行化技術(shù)，可以加速訓(xùn)練和推理速度。然而，神經(jīng)網(wǎng)絡(luò)中的一些操作仍然是按順序完成的，擴(kuò)散模型通過(guò)一系列的去噪階段生成輸出，并且逐層進(jìn)行向前和向后傳遞。隨著步驟數(shù)的增加，這些進(jìn)程的順序執(zhí)行在計(jì)算上變得昂貴，可能會(huì)導(dǎo)致計(jì)算瓶頸。
蘋果公司的DeepPCR算法通過(guò)并行化技術(shù)解決了這個(gè)問(wèn)題。該算法將順序過(guò)程的計(jì)算成本降低到O（log2 L），提高了運(yùn)行速度。在多層感知器中部署DeepPCR算法之后，實(shí)現(xiàn)了最高30倍的前向傳遞速度和最高200倍的向后傳遞速度。
總的來(lái)說(shuō)，蘋果公司的DeepPCR算法為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理提供了更快的速度和更高的效率。這將有助于加速人工智能的發(fā)展和應(yīng)用，進(jìn)一步推動(dòng)科技的發(fā)展。
原創(chuàng)文章，作者：秋秋，如若轉(zhuǎn)載，請(qǐng)注明出處：http://rponds.cn/article/607662.html
