数字视网膜解决方案
发布时间：2022-05-23 00:00:00
基于边缘一体机物联网关构建的一体化高速 机电设备联网感知系统，实现了对高速机电设备的一站 式监控、管理与运维，通过设备健康大数据分析，实现 设备预防性维护，减少设备故障发生率，使客户设备运 维效率提升20％，设备可靠性提升30％，大大降低了用 户的运维成本。
1 目标和概述
1.1 行业所面临的挑战
近年来随着我国国民经济和交通行业的快速发展， 高速公路、高速隧道、城市隧道等基础设施建设、运营发展迅速，车流量急剧增加。为了保障高速公路的高效、安全运营，相关交通管理部门和高速运营方建设了大量高速公路视频应用系统，然而系统的不断完善也意味着将面临数据爆炸后云端存储、云端算力、传输网络等要求更高的挑战，还要面对巨大的网络、计算、存储建设运营成本压力，同时高速上视频监控设备的品牌、 规格各异，质量、清晰度也差异很大，导致AI算法难以识别，视频检索困难，上述问题都是目前工作重点，是亟待解决的问题。
1.2 主要目标
数字视网膜平台基于国产自主可控鲲鹏底座的 IoT、边缘AI计算、视频/图片的特征识别和紧凑表达等关键技术，充分利用高速公路原有的摄像监控设备， 通过边缘融合计算和云端高效事件响应处理，构建面向智慧交通的视频大数据分析引擎、多目标检测与识别、 交通态势感知与预警等模型和方法。同时为解决智慧交通领域视频监控数据存储压力大、有价值数据占比小、 交通事件不能及时发现预警、交通案件回溯检索困难以及日益增长的交通安全需求同交通管理服务能力相矛盾等重大问题，以打造智慧交通为目标，构建面向交通行业的企业级能力复用平台，整合交通领域的各类数据资源，研制成为智慧交通数字视网膜平台。
1.3 总体概述
数字视网膜平台采用视频编码流、特征编码流、 神经网络算法和模型更新流的可伸缩端边云协同视觉计算架构，结合5G、大数据、AI等智能化技术，通过广泛部署在高速公路的出入口、公路两侧、门架、卡口的摄像头端或边缘侧对视频进行高质量视频编码和视觉特 征提取编码，在边缘侧以高性能的实时计算分析，全面精准地感知高速路网的各种状态和各类事件，并通过云 端及时响应，将事件信息上报处理，做到发现早、定位准、响应快，为全知、全息的智慧高速赋能。
2 方案介绍
2.1 系统架构
系统总体方案架构如图1所示。
数字视网膜平台整体架构包括终端、数字视网膜底座和应用三层。
终端的摄像头是视网膜平台的最小感知单元，完全接入利用高速公路的各类摄像头，不需要对摄像头进行改造升级。
数字视网膜底座进行模型训练、事件识别，并将云端AI应用、函数计算等能力下发到边缘一体机，将云上的强大服务能力延伸到边缘一体机，使其拥有云端相同能力，能够实时处理终端设备计算需求。平台提供了 Web化的服务管理平台，具体包括设备管理、规则管理、软固件升级以及监控运维等管理功能。边缘一体机通过AI推理芯片和集成的模型算法对图像/视频特征进行识别编码，实现车辆识别、流量感知、事故识别、违章识别、天气识别和路况识别等高速事件，并实现有效 视频智能提取和AI流量卸载处理。
在应用层则通过高速公路事件检测识别、高速天气识别、高速流量识别等核心业务应用能力构建交通综合监测、安全预警、快速处置、决策分析等应用系统，实现对高速公路全网运行状况的实时监测、预警和快速响应处置，提高高速公路通行的安全性，最大限度地发挥高速公路的运营效率。
2.2 硬件平台——边缘AI一体机
边缘AI一体机采用Atlas人工智能计算平台，部署在高速收费站、隧道变电站等靠近监控终端的位置。在边缘侧通过边缘计算引擎实现AI图片压缩、AI图片增强分析、分级存储、运行监测和业务网关，运行状态监测和边缘侧基础数据的智能感知、智能取证、图片存储等功能。采用自主研发的算法实现图片AI处理后的结构化数据为省中心提供统一的基础数据。智能边缘平台IEF通过站部链路对边缘一体机进行统一管理，提供配置、安装、升级、运行状态监测等功能。
（1）业务协同网关 业务网关提供标准化接口协议，实现全流水接入。 同时可接入图片业务和运行检测业务的标准扩展协议。
（2）机电设备物联可通过机电一体化物联平台，将路段所有机电化设 备进行连接。采集全业务流水数据，并在云端提供统一的设备/应用监控、日志采集等运维能力，提供完整的边缘和云协同的一体化服务能力。
（3）AI流量卸载 图片智能压缩可为满足行业应用在百亿级别图片中快速查询提供技术基础，也将降低图片传输的带宽需求，从而减少接入网网络投资成本。图片压缩采用基于深度神经网络的对象检测技术，将在图片背景中自动识别出主体对象（如车牌或者人脸）并逐一定位，通过车牌识别实现主体车辆对象和背景的分离。图片压缩流量卸载子系统将具备对图片压缩20~50倍的能力，千万 张级别的图片文件数据量经压缩流量卸载处理后，存储空间大约占TB级别，网络带宽需求也将为压缩前的 1/20~1/50。
（4）事件识别算法 通过构建算法引擎，建立高速路段异常事件模型。 将路段流水数据及车辆特征分析数据进行拟合比对，利用图片AI增强识别能力，构建事件识别算法，实现在边缘侧实时识别异常事件。
2.3 软件平台——智慧交通数字视网膜云平台
2.3.1 AI中台
AI中台的主要作用是根据交通的实际业务场景采集数据并标注，然后构建和训练AI模型，最终应用到实际项目上去。AI中台的主要功能有数据集管理、模型管 理、训练管理和模型推理，是一个针对AI开发的全生命 周期管理平台。AI中台通过对智能服务的共享复用、对智能服务研发相关角色进行管理，以及研发流程的标准化、自动化，对前台业务提供个性化智能服务的迅速构建能力支持。解决传统烟囱式开发的资源浪费、过程重复、缺乏能力沉淀等问题。AI中台统一资源管理和服 务规范，对模型开发提供标准化开发指导，以及可复用 服务、方案封装能力。AI中台的模型开发流程为数据 收集-数据预处理-数据标注-模型开发-模型训练-模型部 署。以车辆检测为例，首先要收集一大批现场的数据接 入到数据管理模块。这些图片数据经过数据预处理后进 行数据集的标注，要标注车辆的位置及类型等信息。标 注过的数据经过筛选和数据均衡后就可以发布成数据集 管理里面的一个新的数据集版本，以备后续的各种模型 开发。数据集准备好之后就是模型开发，这部分是由AI 工程师编写代码来完成。模型定义好之后将数据集和模 型发布成一个训练任务，提交给训练管理模块，训练管 理模块会调度GPU资源来训练出一个合适的模型并保 存。模型训练完成之后就可以通过模型部署模块发布成 通用的API或者部署到边缘侧推理。
2.3.2 数据中台
数据中台是数字视网膜平台的核心之一，数据中台 把数字视网膜平台的数据进行统一存储、加工、治理、 共享、应用，提供数据分析能力，持续不断把客户的数 据变成资产并服务于业务。数据中台通过内外部多源异 构的数据采集、建模、分析，应用，使数据对内优化管 理提高业务，对外可以释放数据合作价值，成为客户数 据资产管理中枢。
数据中台是聚合和治理跨域数据，将数据抽象封装 成服务，提供给前台以业务价值的逻辑概念，涵盖了数 据资产、数据服务、数据模型、数据中心等多个层次的 体系化建设方法，实现了数据的分层与水平解耦，沉淀 公共的数据能力。
相比于传统的数据平台，数字视网膜数据中台注重的是对交通业务的积累和沉淀，构建了从数据生产到消 费，消费后产生的数据再回流到生产流程的闭环过程。 业务积累和沉淀的过程体现在数据中台对外提供的数据 服务，数据中台作为整个企业组织所有业务的数据消费 需求的提供方，通过业务对数据服务的不断滋养，会形 成一系列稳健的数据服务，这样当出现新的市场机会需 要构建新的前台应用时，数据中台可以无差别地进行数 据服务供给，从而保证了客户能够在数据中台基础上进 行快速交通业务创新。
数据中台通过“AI+大数据”技术，融合路段视频 数据、边缘智能分析系统的海量感知数据，通过海量数 据模型训练和深度学习，进行数据计算、数据分析、数 据挖掘、综合研判，实现智能监管、交通态势分析、预 测预警、应急处置等智慧监测应用。同时，通过数据门 户向外部系统和应用提供数据目录、API、数据应用和 可视化展示。高速公路视频联网后的大数据分析不仅能 够实现行业运行态势实时监测、预测预警，还能够为行 业运营管理决策提供科学依据，也能够对职能和业务流 程监管、分权分域管理、可视化业务展示提供数据支 撑，提高运营管理效率。
2.3.3 业务中台
业务中台包括车辆检测、车道检测和各种交通事件 的识别等。其中车辆检测采用拓维信息优化后的深度学 习目标检测算法识别车辆的位置和类别等基础信息。主 要用于车流量统计和车辆轨迹识别。车道检测算法主要 用于违规变道、占用应急车道和路面能见度的识别。通 过检测出的车道位置和车的行驶轨迹来识别车辆的违法 性，同时通过识别出的车道长度来判定路面的可见度。 天气作为影响道路安全驾驶的重要因素一直备受关注， 特别是山区天气复杂多变，很难通过天气预报来判断道 路的天气情况。为此，拓维信息开发了基于视觉的深度 学习道路天气识别算法，通过道路上的摄像头精准识别 每个区域的天气情况，如天晴、下雨、团雾等，并及时 发送到业务平台提醒附近的车辆谨慎驾驶。另外各种交 通事件对道路安全驾驶影响极大，如不能及时预警可能 引发一系列的交通事故。拓维信息通过多种深度学习模 型加传统算法相融合的方式来识别交通拥堵、追尾、抛 洒等交通事件，并结合交通部门的业务系统做到早预 警、早处理，最大限度地减少每个事件对交通的影响。
2.3.4 开放API
开放API的主要目的是将已有的服务及功能模块以API的形式开放出去使用。开放API主要解决传统部署 模式遇到的应用环境配置复杂、应用可移植性差、资源 利用率低等问题，采用新型的开发运营模式代替传统的 部署模式，将用户的精力集中在应用开发上，达到敏捷 开发的效果。利用微服务架构思想将应用拆分成多个服 务，每个服务独立开发部署，提高了应用开发的效率。 结合微服务架构思想和应用编排工具对容器云平台进行 了设计与实现，容器云平台的应用管理模块通过镜像将 用户的API服务打包成容器运行在云上，然后结合编排 工具对用户的应用进行资源调度、监控等操作。同时将 所有的AI服务都封装成SDK，实现少量代码调用AI服 务。
2.4 数据通讯
在后撤站时代，现已形成了四级协同数据传输架构 （站-分中心-省中心-部中心网络架构），充分利用原有 的高速网络，基于统一数据的传输交换平台，站级交换 平台将收费站、门架等系统业务数据收集并上传至分中 心、省中心、部中心交换平台，利用云边端协同+数据 与AI融合的方式，充分保证数据的稳定可靠。
在视频联网的基础上，结合GIS地图、物联网、人 工智能、大数据等技术，通过视觉仿生原理打造全新管 理监控行业可视化、智能化、数字化—体化平台。数字 视网膜系统模仿了人类视觉信息处理过程：人类获取外 界的图像信息需要经过视网膜-视神经-视觉中枢三个阶 段，以眼球视网膜感光成像、特征提取为原理设计的数 据入口——数字视网膜，具有AI推理、特征提取、编 码特征、流量卸载等能力，通过以人体视神经为原理设 计的数据传输网络，具有传输视频流、特征流、编码流 的能力，最后数据进入以人体视觉中枢信息整合、视觉 认知为原理设计的视网膜云平台，具有模型训练、事件 识别等能力，视觉中枢并不是唯一具有分析能力的“大 脑”。为隧道管理方、高速管理方、行业监管部门提供 了有效的管理辅助工具。
3 代表性及推广价值
3.1 应用情况及效果
（1）应用于某省高速，增效降本、全面优化高速 业务。在某省高速中构建综合监测预警处置体系，结合 交通状态精准感知，打造高速数字视网膜实现高速公路 拥堵、事故、天气、路况等多类警情的实时自动检测预警，全面取代人工，达到高速路网全覆盖的警情自动巡 检和快速处置，打造更安全、更畅通的智慧高速。通过 对车辆检测、异常事件检测、道路状态检测、天气状态 检测、车辆特征分析、超载分析、异常行驶分析、车辆 非法改装分析等对高速上可能出现的场景进行全覆盖。
在工作效率方面，通过AI+大数据分析得来的结果 进行分析处理预警，集团整体工作效率相较于使用前提 高了1.5倍，同时对高速上实时发生的各类事件的识别 率已达90%，为高速的整体运营及管理提供了精准、最 优质的数据，更方便于决策制定研判。
（2）应用于城市智慧隧道建设，助力城市交通治 理。拓维信息与联智科技双方在智慧隧道领域进行了探 索性合作，并于第二十三届中国高速公路信息化大会上 共同发布了“智慧隧道一体机”。目前，该一体机已经 在长沙市普瑞智慧隧道项目上运行，基于安全状态评价 指标体系，融合分析运行实时监测数据，实时甄别和分 析安全事件类型、级别，其中也包括近年来频发的汛期 城市内涝问题。针对安全事件评价结果，及时发布安全 预警报警，事故识别率90%以上，精度90%以上，事故 发生率降低20%。
（3）在江西省某高速隧道中试运行，风险研判，隧 道安全智能预警。江西省山区为多，隧道大多建设在有 高山河流阻挡的地方，地质环境复杂，隧道空间狭窄， 隧道内部的环境变化、交通情况、暴雨火灾等突发事件 极易引发安全事故。因此，对隧道进行实时监测和安全 风险评估，预警可能引发的安全风险事件非常关键。
数字视网膜解决方案采用了隧道安全风险研判技 术。系统可辨别火灾、危化品车辆事故、车辆逆行、车 辆超速、交通拥堵等15余种事故类型，对道路结冰、强 降雨、积雪、积水、能见度不达标等恶劣天气影响进行 预警，及时通报风机、灯具、火焰探测器、消防水泵、 信号灯、情报板等设备的故障情况。其后，系统还可对 识别的情况进行级别评定，针对不同严重级别的情况进 行相应的应对处置，做到智能预警、综合决策。
3.2 技术的示范效应
（1）系统上线累计图片处理量超过500亿张，性能 提高1.5倍，日均处理200万车辆流量和3000万图片增量；
（2）AI赋能：内置自研人工智能算法引擎，覆盖 交通流量、交通违章、交通事故、交通天气四大类10余 种交通场景分析，90%以上精确度覆盖各种交通事件；
（3）国产自主可控：边缘一体机集成鲲鹏处理器、华为昇腾AI加速卡、IoT设备物联等国产自主可控 产品；
（4）低成本：节省网络带宽80%、云端存储 50%、云端算力90%，综合成本降低25%；
（5）高性能+高时效：整体运行效率提升30%， 时效性提高10倍；
（6）云边协同：数据、技术双向协同，发挥边缘 计算、AI、物联网、大数据技术优势；
（7）无缝扩展：边缘算力满足未来业务需求，路 网模型支撑运营；
（8）可复用性：视频数据复用，跨界视频资源整 合，城市级视频资源融通。
3.3 方案成熟性
数字视网膜解决方案在某省高速的应用，成功做到 了车辆检测、道路异物检测、车道检测、流量统计、拥堵 检测等识别率≥98%；烟雾检测、车辆追踪、逆行检测等 识别率≥95%；道路塌方检测、违法变道、事故检测、占 用应急车道检测等识别率≥90%；道路施工、团雾检测、 火灾检测、道路抛洒、违规停车等识别率≥80%。为高速 上出现的各种情况的应急处理争取了宝贵的时间，也为预 防各类突发事件提供了可参考的数据。
3.4 商业价值
数字视网膜的构建，实现了对高速公路全网运行状 况的实时监测、预警和快速响应处置，提高高速公路通 行的安全性，最大限度地发挥高速公路的运营效率。带 来的商业价值包括：
（1）通过边缘计算自动识别价值视频并进行处 理，可以节省90%带宽和大量存储和算力，大幅降低客 户网络投资；
（2）道路交通安全事故率比未使用系统前降低至 少30%；
（3）交通异常事件发现识别率比未使用系统前提 高50%；
（4）交通事件处置响应时间比未使用系统前缩短 50%。同时，基于边缘一体机物联网关构建的一体化高速 机电设备联网感知系统，实现了对高速机电设备的一站 式监控、管理与运维，通过设备健康大数据分析，实现 设备预防性维护，减少设备故障发生率，使客户设备运 维效率提升20％，设备可靠性提升30％，大大降低了用 户的运维成本。
