2025-10-20 18:32:00 | 来源:admin
小字号
IT之家1月17日消息,研究公司Snowflak《地下城sf》
IT之家1月17日消息,研究公司Snowflake公布了一款名为“SwiftKV”的AI模型调校技术,并在HuggingFace开源三款利用“SwiftKV”技术进行调校的Llama3.1AI模型(点此访问)。
IT之家获悉,SwiftKV技术的核心在于优化模型提示词处理过程。研究人员指出,通常情况下大模型最为消耗计算资源的环节在于处理用户为模型输入的提示词,而许多企业为模型自定义了极长的提示词,据称平均情况“大约是输出生成内容的10倍”。
据Snowflake介绍,这一“SwiftKV”模型调校技术专门为相应预制的提示词处理进行优化,号称突破了传统的键值(Key-Value,KV)缓存压缩技术,还在模型推理过程中引入模型重组与知识保存自我蒸馏方法,从而有效提升模型吞吐量、降低了延迟和运算成本,号称可以帮助AI模型显著缩短推理时间,可以降低模型50%推论时间。
实验结果表明,在利用SwiftKV技术优化Llama3.1的80亿和700亿参数模型后,相应模型的整体吞吐量可提升两倍,同时相应模型也在代码自动补全、文本摘要等方面表现出色。
IT之家1月17日消息,研究公司Snowflak( 2025-10-20 18:38:00版)
(责编:admin)
热门排行
- 1春节消费调查丨小小山核桃 化身乡村振兴“金果果”
- 2推动共建中泰命运共同体 为两国和地区发展注入新动力——泰国华侨华人热切期盼习近平主席出席亚太经合组织第二十九次领导人非正式会议并对泰国进行访问
- 3兔年第一天 这里年味儿浓,人气儿旺!
- 4南京推进石油石化行业反恐防范达标建设工作
- 5山东曹县检察打出防骗“组合拳”守护群众“养老钱”
- 6合力续写“亚太奇迹” 携手世界大道同行——习近平主席在亚太经合组织工商领导人峰会上的书面演讲为亚太合作指明方向
- 7嘉荫法院推动破产案件信息化应用
- 8加大惩治证券期货犯罪力度保护投资者权益
- 9甘肃武威凉州公安立足本职为群众办实事
- 10中疾控首次报告我国代表性婴幼儿膳食调查数据