明略科技(2718.HK)推出适用于多模态大模型及世界模型的新一代技术架构:VisionHOPE
@王五仕:
VisionHOPE 探索了一种新的视觉骨干网络架构:模型处理图像时,可以根据图像内容动态调整内部信息的更新方式。它关注的,是模型如何处理信息、如何在计算过程中调整自身状态。 在一条高速运转的生产线上,一道细微的划痕,可能决定一件产品能否出厂;在机器人的抓取任务中,物体的边缘、遮挡和位置变化,都可能影响机械臂的下一步动作;在医学影像里,一个需要进一步观察的微小区域,往往藏在复杂的组织结构之中。 这些看起来不太一样的难题,都指向AI的一项基础能力:面对不同的图像,模型能不能更灵活地处理信息,同时兼顾效果与计算成本? 这也是明略科技与中国科学院自动化研究所开展 VisionHOPE 研究时,关注的核心方向。 VisionHOPE 探索了一种新的视觉骨干网络架构:模型处理图像时,可以根据图像内容动态调整内部信息的更新方式。它关注的,是模型如何处理信息、如何在计算过程中调整自身状态。 这项研究目前已经在 ImageNet-1K、COCO、ADE20K 等通用视觉基准上取得了具有竞争力的结果,也展现了高分辨率图像处理中的效率优势。 对明略科技来说,底层模型研究的价值,最终还要回到真实业务里看。模型能不能把图像处理得更高效?面对不同场景时,能不能减少一些重复调试的工作?这些问题关系到技术能否走出实验环境,成为企业真正用得上的能力。 VisionHOPE 的探索,正好提供了一个观察这些问题的切口。 01|VisionHOPE 到底新在哪里? 理解 VisionHOPE,不妨先想想普通模型是怎么工作的。 模型经过训练后,会形成一套处理图像的参数和规则。面对新图片,它会利用训练中学到的能力,提取特征、识别物体、判断图像内容。VisionHOPE 尝试改变的是模型处理信息的方式。它在内部设计了五类相互关联