近期,第四范式一体机解决方案 SageOne IA 全新升级,推出“模型弹性伸缩”技术来应对流量波动。当前企业一般采用传统扩缩容方案,即当应用负载增加时,通过人工干预或系统按既定规则扩展计算节点,保证服务可用;当负载减少时释放多余的计算节点,这一定程度上增加了算力成本和 IT 运维复杂度。“模型弹性伸缩”是系统根据负载状况,自动灵活切换同一系列下不同参数大小的模型提供模型服务,无需额外扩展计算节点,节省算力成本,提升资源使用效率的同时还大大降低运维工作量。 例如在大模型推理场景下,负载较小时,满血版模型提供高精度的推理服务;进入高峰时段时,系统会自动将满血版降级为一个或多个蒸馏版/量化版模型实例,来处理大量并发请求。结合模型预加载等技术,可避免模型服务切换时,导致服务中断或输出质量波动问题,做到用户无感知的平滑切换;当流量回归常态后,系统再自动升级到满血版模型服务,并释放多余的较小参数模型实例。 同时,系统可预设多种基于负载的触发条件,如结合 GPU 使用率、请求队列长度、响应延迟等资源健康度指标,形成动态切换策略和任务路由机制,使弹性方案在实际应用中更贴近业务需求。
Phancy 携手兰博基尼、李小龙推出的两款 AI 手表正式亮相!通过搭载 Phancy “AI 机芯”,即提供 AI 智能体模组,以及 AI Agent 功能、操作系统等软硬件解决方案,让手表在轻奢、时尚的外表下,注入了丰富的 AI 能力,为用户带来前所未有的智能化佩戴体验。 什么是 AI 手表? AI 手表就是在智能手表、运动手表等基础功能上,加入了 AI Agent 能力,打造成每个人的 AI 助手。用户可通过语音、按键等多种方式唤醒手表中的 AI 助手,体验天气、股票、资讯等信息查询、翻译、同声传译、会议速记及纪要整理、智能导航、运动助手等丰富的 AI 功能。未来,AI Agent 能力还会持续扩充。 如何实现 AI 功能? 兰博基尼、李小龙 AI 手表中的智能化能力均来源于 Phancy 所提供的 AI 智能体模组、 AI Agent 功能以及操作系统等软硬件解决方案。通过将 Phancy 智能体模组嵌入到手表中,如同给手表加入了“智能大脑”,保障大模型、Agent、以及各类AI功能在手表上稳定运行。值得一提的是,Phancy AI 智能体模组可本地运行端侧大模型,无需调用云端,为消费电子产品提供低成本、低门槛的 AI 能力。 关于Phancy Phancy 是范式集团聚焦消费电子领域的子业务板块,目标是向市场提供基于 AI Agent 的软硬件一体解决方案,让所有的消费电子公司都能够生产出用户喜爱的 AI 智能终端产品,加速“万物智能”时代到来。Phancy 能为品牌方提供丰富多元的 AI 功能、AI 智能体模组、操作系统、智能生活服务等解决方案套餐,可根据品牌方的需求灵活选配和定制。