• 点赞
  • 评论
  • 收藏

腾讯混元AI Infra核心技术开源:推理吞吐提升30%

每日经济新闻02-04 18:51

每经AI快讯,2月4日,腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库 HPC-Ops。在真实场景下,基于HPC-Ops,混元模型推理 QPM 提升30%,DeepSeek模型 QPM 提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比 FlashInfer/FlashAttention 最高提升2.22倍;GroupGEMM 相比 ...

网页链接

免责声明:本文观点仅代表作者个人观点,不构成本平台的投资建议,本平台不对文章信息准确性、完整性和及时性做出任何保证,亦不对因使用或信赖文章信息引发的任何损失承担责任。

举报

评论

empty
暂无评论
 
 
 
 

热议股票

 
 
 
 
 

7x24