字节唔再玩中国式「弯道超车」嗰套,要用3-4年时间,老老实实去补数据、补原生训练呢课。

分别不是半年

美国嗰班由GPT-2、GPT-3一路烧钱烧上嚟,知道边啲数据配比会令模型崩、边啲训练曲线系死路。中国大部份团队系由蒸馏起家,跳过咗呢段交学费嘅时间。张一鸣禁蒸馏,就等于要自己重新交一次学费。呢个学费,唔系半年交得完,要3-4年先行完一个完整cycle。

免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。

举报

评论

  • 推荐
  • 最新
empty
暂无评论