Google Research近日推出全新的KV缓存压缩方法TurboQuant。据称,该技术可在不损失准确性的前提下,将大语言模型的缓存内存占用至少减少6倍,并实现最高8倍的加速,旨在解决AI推理与向量搜索中的内存瓶颈问题。
受此消息影响,美股存储板块集体走低。截至收盘,闪迪跌6.5%,美光科技跌超4%,西部数据跌超4%,希捷科技跌超5%。
华尔街见闻03-25 22:27
Google Research近日推出全新的KV缓存压缩方法TurboQuant。据称,该技术可在不损失准确性的前提下,将大语言模型的缓存内存占用至少减少6倍,并实现最高8倍的加速,旨在解决AI推理与向量搜索中的内存瓶颈问题。
受此消息影响,美股存储板块集体走低。截至收盘,闪迪跌6.5%,美光科技跌超4%,西部数据跌超4%,希捷科技跌超5%。
免责声明:本文观点仅代表作者个人观点,不构成本平台的投资建议,本平台不对文章信息准确性、完整性和及时性做出任何保证,亦不对因使用或信赖文章信息引发的任何损失承担责任。