多模型智能引擎 | 小鹰云空间感知能力开放平台

多模型智能编排引擎

自研 AutoRouter 智能引擎 多模型智能编排引擎，让设备从“看见”到“看懂”——理解场景语义，主动预警决策。

看得懂 核心能力矩阵

AutoRouter 多模型智能编排引擎具备五大核心认知能力，覆盖从基础检测到语义理解的完整能力阶梯，真正实现“看懂”物理空间。

  • 场景理解：自动识别空间类型（门店/工厂/校园/后厨），输出场景语义描述
  • 行为识别：行人轨迹、异常行为、违规操作识别，主动预警
  • 趋势预测：多日数据融合分析，预判客流高峰/设备故障趋势
  • 多模态融合：视觉+声音+环境传感器融合推理，提升全场景理解
多模型智能编排引擎调用
import xiaoying.spatial as eagle

# 场景语义理解
scene = eagle.understand(
    device_id="xy-spc200-001"
)
print(scene.description)
# "零售门店：客流高峰期，收银台排队3人，出入口通畅，无异常"

# 行为分析
behaviors = eagle.detect_behavior(
    scene, anomaly=True
)

异常检测

多模态异常检测引擎，识别区域入侵、物品遗留/移走、人员聚集、异常行为，误报率 <1%。

核心能力

趋势预测

时序+空间双维度预测，客流/能耗/设备趋势，辅助运营决策。

增值服务

多模态融合

视觉+声音+环境数据端到端训练，后厨明火+报警声+温度跃升三重确认预警。

旗舰能力

引擎能识别什么

引擎按能力分组组织，而不是按设备型号划分。同一类硬件在配置了不同模型与规则之后，可以服务完全不同的业务场景。

人员与行为

倒地不起、离床未归、离岗超时、睡岗、人员聚集，以及闯入限制区域等行为识别。

养老康养、安全生产、园区

环境与安全

明火、烟雾、电动车入梯、通道堵塞、楼道堆物、车辆乱停等现场安全隐患识别。

物业园区、消防安全

物品与车辆

车辆与车牌识别、周界翻越、物品遗留检测，以及受控区域进出判断。

园区、物流、校园

区域与规范

安全帽与工装识别、吸烟检测、在岗使用手机、固定岗位的流程规范核对。

工厂安全生产、餐饮卫生

一帧画面如何变成一条事件

把所有画面都送到云端大模型既费带宽也慢。引擎把工作拆成两段：先用低成本的方式筛掉无目标画面，再对候选帧做判断。

  1. 01

    接入

    摄像机、视频网关或第三方 ONVIF 设备的视频流进入平台。

  2. 02

    初检

    由前端或边缘侧先做一轮检测，过滤掉没有目标的画面，只把候选帧上传。

  3. 03

    复检

    候选帧交给云端多模型复检，判定该目标是否构成真实事件。

  4. 04

    输出

    确认后的事件通过接口返回或事件回调推送到业务系统，并附带抓拍图。

三种接入方式

REST API

按需查询识别结果与设备状态，或针对指定画面触发一次分析。

事件回调

事件发生时实时推送，业务系统可以立刻启动通知或处置流程。

SDK

用 Python、JavaScript、Java、Swift 或 Kotlin 封装鉴权、重试与流处理逻辑。

常见问题

现有摄像机可以复用吗？
状态类和低实时场景通常可以复用现有网络摄像机，通过 ONVIF 或 RTSP 接入云端分析；电动车入梯这类高实时场景，建议采用前端初检加云端复检的组合。
一路视频可以同时跑多少模型？
同一路视频可以组合多个模型，实际可跑数量取决于设备能力、视频分辨率和实时性要求，建议先用试点点位确认。
识别结果能直接进我们自己的平台吗？
可以。结果通过接口返回或事件回调送达，通知、复核和工单处置仍在你们自己的平台完成。

相关内容