内容详情
7月2日消息,Kimi 开放平台日前宣布其“上下文缓存”技术进入公测阶段。该技术可为开发者大幅降低长文本旗舰大模型的使用成本,最高可达90%,并显著提升模型的响应速度。
据了解,上下文缓存技术作为一种高效的数据管理技术,其核心优势在于能够预先存储并快速提供那些可能被频繁请求的大量数据或信息。当用户再次请求相同信息时,系统无需重新计算或从原始数据源中检索,而是直接从缓存中快速提取,从而显著节省时间和资源。
Kimi 开放平台方面以某硬件产品说明书为例介绍了该技术的应用场景。对于一份长达9万字的说明书,在传统模式下,售前支持人员需要在10分钟内对产品的功能/使用方式进行40次问答,问题大概100个字,回答在120字以内。
然而,在接入上下文缓存技术后,9万字的文档只需创建并存储一次缓存,40次问答将仅收取将只收取问题的100字+回答的120字的费用,预计节省费用达92.27%。
业内人士称,在当前大模型行业日益注重效率和成本控制的背景下,Kimi的这一创新不仅为开发者提供了更经济、更高效的解决方案,也有望进一步推动大模型行业的应用和发展。
1.本媒体部分图片、文章来源于网络,并都会标明作者或来源,如有侵权,请与我联系删除;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。
热门资讯
最近更新
-
19 / 12月女生冷淡应对?巧妙应对法,让她主动找你交流!
-
19 / 12月如何用礼物巧妙安抚女友情绪?完美解决情感矛盾的新方法
-
19 / 12月男女朋友争执化解法:初次见面如何打开话题?说些什么?
-
19 / 12月女人心声显露失望,老公需警醒安抚行动
-
19 / 12月恋爱聊天话题攻略:如何找到话题增进感情?恋爱话题推荐,轻松开启聊天