今日，月之暗面正式對外宣布，其Kimi開放平臺上線了全新的上下文緩存（Context Caching）功能，并即日起開啟公測。這一創(chuàng)新技術(shù)旨在不增加API價格負擔(dān)的前提下，為開發(fā)者提供最高可達90%的成本降低，并顯著提升模型響應(yīng)速度，標(biāo)志著人工智能服務(wù)效率與成本控制的新突破。
據(jù)官方介紹，上下文緩存是一種先進的數(shù)據(jù)管理技術(shù)，它通過預(yù)先存儲頻繁請求的大量數(shù)據(jù)或信息，顯著減少了對原始數(shù)據(jù)源的重復(fù)計算與檢索需求。當(dāng)用戶再次請求相同信息時，系統(tǒng)能夠迅速從緩存中調(diào)取，從而大幅降低處理時間和成本。對于依賴長文本模型進行高頻查詢的應(yīng)用場景而言，這一技術(shù)無疑是一大利好。
Kimi開放平臺指出，上下文緩存功能特別適用于以下業(yè)務(wù)場景：提供大量預(yù)設(shè)內(nèi)容的問答機器人（如Kimi API小助手）、針對固定文檔集合的頻繁查詢工具（如上市公司信息披露問答系統(tǒng)）、靜態(tài)代碼庫或知識庫的周期性分析應(yīng)用（如各類Copilot Agent），以及瞬時流量巨大的AI爆款應(yīng)用（如哄哄模擬器、LLM Riddles）等。官方數(shù)據(jù)顯示，啟用上下文緩存后，首Token延遲可降低83%，為用戶帶來前所未有的高效體驗。
在計費方面，Kimi開放平臺采取了靈活且透明的收費模式，包括Cache創(chuàng)建費用、Cache存儲費用和Cache調(diào)用費用三部分。具體而言，Cache創(chuàng)建費用按實際Tokens量計費，每百萬Tokens收費24元；Cache存儲費用則按分鐘收取，每百萬Tokens每分鐘收費10元；而Cache調(diào)用費用則分為增量Token費用和調(diào)用次數(shù)費用，前者按模型原價收費，后者則按每次調(diào)用0.02元的標(biāo)準(zhǔn)收取。
值得注意的是，此次公測活動將持續(xù)3個月，期間價格可能根據(jù)市場反饋進行調(diào)整。此外，公測資格將優(yōu)先開放給Tier5等級用戶，其他用戶的開放時間將另行通知。這一舉措既體現(xiàn)了月之暗面對高質(zhì)量用戶的重視，也為廣大開發(fā)者提供了一個提前體驗并反饋寶貴意見的機會。
隨著人工智能技術(shù)的不斷發(fā)展，如何在保證服務(wù)質(zhì)量的同時有效控制成本，成為眾多開發(fā)者和企業(yè)關(guān)注的焦點。月之暗面Kimi開放平臺此次推出的上下文緩存功能，無疑為這一難題提供了有效的解決方案，有望推動人工智能服務(wù)的普及與應(yīng)用場景的拓展。
原創(chuàng)文章，作者：AI，如若轉(zhuǎn)載，請注明出處：http://rponds.cn/article/664692.html
