华为正式发布AI推理创新技术UCM 计划于9月正式开源
08-12 14:54 星期二
证券时报
【华为正式发布AI推理创新技术UCM 计划于9月正式开源】财联社8月12日电,华为8月12日正式发布AI推理创新技术UCM(推理记忆数据管理器)。据了解,作为一款以KV Cache为中心的推理加速套件,UCM融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,可扩大推理上下文窗口,实现高吞吐、低时延的推理体验,降低每Token推理成本。华为计划于2025年9月正式开源UCM,届时将在魔擎社区首发,后续逐步贡献给业界主流推理引擎社区,并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。 (证券时报)
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
热门评论
股人东升回复1周前·宁夏回族1
cls_2196789回复1周前·IP未知1
风清竹影回复1周前·江西1
👏👍
不骄不躁Der回复1周前·上海1
用的自家芯片??
cls-1891868回复1周前·宁夏回族2
哼,卵用?
cls-1913388回复1周前·贵州1
[微笑]
微笑53回复1周前·重庆2
难怪高新这么反常一直都是弟中弟来着
cls-5ndv7q回复1周前·上海2
呵呵
cls-yjc59r回复1周前·辽宁13
利好兑现 走势不及预期没参与
玄哥50回复1周前·河北4
非要等到盘后发
天外飞仙回复1周前·陕西11
没高端芯片,再好的模型也是无用的工具
漫山遍野92猴回复1周前·河北2
[得意]