涂鸦3D全屋智能方案:基于机器人建图+On-App AI算法美化,重新定义空间智控体验

涂鸦智能
12-17

随着AI与云计算等前沿技术的发展,全屋智能正从“以设备为中心”迈向“以空间为中心”的高阶形态,用户越来越期待“走进自己的家去操作设备”

然而,当前大部分智能家居产品普遍以独立面板在App中呈现,缺少一个直观场景来展示家庭里的所有设备及其使用状态,用户需反复切换不同界面来进行操作,交互成本高。即便部分产品引入了3D可视化,其模型也相对粗糙,缺少动态环境的实时反馈(如光照、湿度、风效等)

为了让用户拥有更沉浸式的智能空间体验,涂鸦智能推出基于机器人的3D全屋智能颠覆传统设备控制方式,构建高保真、可交互的3D家庭场景,以三大核心维度重新定义智控体验:

  • 技术升级:AI驱动空间智能进化。机器人+AI算法自动生成完整户型图,自研算法和多项核心能力实现智能设备复杂动态效果模拟。

  • 场景升级:从单一控制到一键掌控。通过涂鸦标准化接入能力,支持设备在3D场景中快速实现智能联动与一键实时控制。

  • 体验升级:从设备列表到空间沉浸。用户无需再在碎片化面板中切换操作,可在直观的3D全景中体验沉浸式交互。

为了满足看官们的好奇心,我们先奉上本次的核心能力视频:

机器人建图+On-App AI算法美化

自动生成家庭户型图

3D全屋智能的基础,是生成家庭户型地图。目前市面上的一些3D全屋智能产品,在户型生成上主要有两种方式一种是用户手动上传,由算法或AI进行数据识别和渲染,精准美观,但获取户型图不易;另一种是用户自画户型图,操作繁琐,比例尺不好掌握,用户使用心智成本高。

基于此,涂鸦给出了更简单的方案有户型图的用户,支持手动上传,并由AI自动识别建模;没有户型图的用户,也无需困扰,涂鸦运动子系统提供无缝解决方案:搭载该子系统的激光扫地机能够自动探索建图,通过SLAM算法生成点云数据,自动生成家庭户型图,简单便捷,比例准确。

涂鸦运动子系统基于TuyaOS架构,集成高效自主建图、精准定位与规划算法,开发者可通过一站式技术矩阵实现感知-决策-执行的全栈式闭环,大幅降低移动智能硬件开发门槛,为3D全屋智能奠定坚实基础。”戳这里,看涂鸦运动子系统更多核心技术能力。

虽然,机器人已经能够解决建图的问题,但SLAM算法生成的点云地图不够规整,边线会产生不规则锯齿状,在生成3D时影响整体美观度

了解决户型规整度问题,涂鸦技术团队经过自研算法对扫地机方案进行更新,由原来使用opencv的方式对户型进行轮廓识别和形态学调整,转变为使用特定扫地机户型算法,最终完美解决了该问题。我们来看看美化前后有什么变化吧~

全新的扫地机户型算法基于On-App AI技术架构,支持App上实时生成户型数据,不仅能够实现户型图规整化处理,还能够识别出对应的房间通道(门)的位置,完全能够支持3D全屋智控的进阶需求

在此基础上,涂鸦还支持多楼层3D全屋建模,满足复杂空间结构与场景下的智控需求。

在“真实”的Mini空间里

与智能设备无缝联动

一个完整的“家”,建立户型家具设备等静态模型远远不够实现与真实环境的交互体验才是我们的核心目标。面对各类设备需要呈现的不同动态效果和模型难度,涂鸦给出了更逼真和人性化的方案,“所见即所控”真正落地,我们一起来感受下吧。

01

窗户

为了让整体户型更加仿真,涂鸦在完全闭合的模型外墙中嵌入了窗户——通过模型腐蚀外加反射器的能力实现了逼真的反射与透视效果。此外,窗户还将根据天气预报应用不同的效果。看~这就是您家的大落地窗。

02

全屋灯光(照明)

3D全屋智控中,光反射是营造真实感的核心要素。为了模拟真实世界的光照效果,涂鸦基于自研Shader算法,深度优化了光照反射模型,同时将光照模型通过设备联动的方式,与涂鸦App家庭下的照明产品打通,用户可以通过设备或者3D模型,实现虚拟场景与真实设备的无缝联动

03

空调风效(大家电)

除了联动照明产品给3D场景添加真实的光照反射,大家电中的空调风效也是一个极大的难点。为了模拟真实的空调出风效果,如何让空调风既具备流动感,又呈现光影层次,是一个编程难点。为了解决该问题,涂鸦透过在GPU上进行编码,利用GPU的算力来对风的流动进行物理模拟从而创造出来一个可见、可感、可控的空调出风效果。

04

窗帘&风扇(小家电)

在窗帘的智控中,视觉表现远不止“开”与“”两个状态——真正的挑战在于如何真实还原其运动过程中的褶皱与折叠动态我们细致观察了真实窗帘在滑轨牵引下的收放过程,捕捉其运动规律,在3D场景中还原出了高度拟真的动态效果,达到如现实般流畅生动。

在风扇3D效果中,独立控制扇叶保护罩旋转逻辑也是相对棘手的问题。例如,用户可能希望扇叶转得更快一些,而保护罩保持静止或低速转动,这在整体模型中很难实现。为此,我们通过建模软件对风扇模型进行部件拆分,为每个风扇部件添加独立可控的动画,再将部件组合绑定,导出暴露代码中即可通过逻辑精准驱动各部件无论是“扇叶狂转、罩体静止”,还是“扇叶不转,保护罩转”,都能灵活实现。

05

温湿度(传感)

温湿度传感器作为家庭常见设备,如何在3D全屋场景中实现直观、沉浸式的可视化呈现,是设计与技术融合的关键挑战。涂鸦通过深入探索与创新,巧妙对房间墙体叠加高光循环效果,模拟温湿度信息在空间中的动态流动与渗透,让抽象数值自然融入环境氛围,实现温湿度可见可感的沉浸式体验。

06

安防设备(IPC)

目前,安防设备基本上是每个家庭必备的智能设备之一。但在3D全屋智控场景中还原其核心能力——实时视频流播放,却是一项极具挑战的技术工程。不仅要精准呈现摄像头的物理模型与视角特效,还要对视频流进行处理播放这涉及一系列的复杂能力集。

涂鸦机器人与IPC团队共同打造的高性能、高灵活的音视频SDK【Nebula】,成为3D智控中视频设备的核心技术底座,让视频流无缝嵌入3D场景,实现点击即看的沉浸式安防体验,真正让3D不止于模型,更承载实时感知。

07

其他设备和联动

智能家居产品种类繁多——从风扇、门锁到照明、空调,每一种都需在3D全屋智控中实现精准联动。为此,涂鸦提供了一套标准化接入方案:

  • 户型如果您已有户型图或户型数据,可通过涂鸦提供的方式直接无缝对接,获得全屋智控渲染能力。

  • 设备模型基于涂鸦的DP协议,针对所有设备模型,只需提供DP能力映射集即可在涂鸦小程序或者Web项目上,实现您对家庭设备的全屋控制。

后续涂鸦将持续对产品进行深度打磨和体验提升不断探索行业能力边界。3D全屋智能还有更多的想象,涂鸦邀请开发者们,一起探索未来。

开发过程中,如遇到任何问题,欢迎登录涂鸦开发者技术论坛进行提问,将有技术小哥及时为你解答

https://www.tuyaos.com/viewforum.php?f=14

-END-

如需咨询商务合作或智能产品开发方案,可点击【阅读原文】,填写表单后,将有专人与您进行1对1服务哦~

免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。

精彩评论

我们需要你的真知灼见来填补这片空白
发表看法