牛牛小杰
02-05
$美光科技(MU)$  这里内存应该是很重要的东西,相比浮点算力,内存越多,推理能加载的参数越大,其实其它芯片厂可以从推理超车英伟达。我家里有4090显卡,但是我觉得它的算力明显够了,就是显存不够,没法加载更大参数的模型。

说白了就是同样浮点运算下,如果其它厂商比英伟达偏弱是没问题的,如果你肯堆内存的话。

修改于:02-05
免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。

精彩评论

  • 烽火1911
    02-15
    烽火1911
    我也感觉是这样  deepseek部署本地后就能感觉内存的重要性了
发表看法
1