中科曙光发布新一代词元加速方案

区小号消息 8月28日，中科曙光于数博会发布新一代词元加速方案ParaCache，依托曙光ParaStor分布式存储底座，实现多级缓存资源的统一管控、动态调度。该方案构建起一套完备的KV Cache 管理体系，让KV Cache从“用完即弃”的临时数据，变成可反复调用的数据资产。这可以直接让词元提升推理响应速度、降低成本，并为智能体的扩展提供支撑。（广角观察）