智能视频信息识别监控系统

背景介绍

   在复杂施工环境和条件多变的情况下，施工作业过程中的操作人员难免存在作业违章行为并伴随着较大的作业风险。不同的操作人员业务水平高低不同，在施工作业过程中，无法意识到自身存在作业违章行为并存在一定的作业风险。针对以上问题，开展作业风险告警技术研究，建立基于人工智能的行为识别告警技术。作业风险识别告警模型通过基于作业指导文件内容，同时结合历史风险作业图像特征实现作业风险识别告警目的。

系统架构

   智能视频信息识别监控系统整体建设方案以智能推理平台为主，从数据采集终端获取数据，通过网线网络传输到数据采集控制中心再通过网络网线将数据推送至智能推理平台中，搭配人工智能的软硬件处理，最后以获取到数据的分析结果进行警报响应，从而形成一体化的智能推理平台解决方案。

   系统可以兼容已有的前端监控设备和系统，对监控画面进行不间断分析和判断，实现全天候自动化视频监控。边缘端只负责采集数据，将采集到的原始数据统一上传到数据采集控制中心进行缓存和设备控制。其中视频数据会传递给智能推理平台，进行处理，并产生报警信息，之后将报警信息推送到推理平台监控中心。推理平台监控中心根据接收到的数据进行可视化的展现以及实时触发报警事件。

   方案采用B/S架构，系统整体计算服务部署在智能推理平台服务器中，使用浏览器客户端进行访问和控制，用户无需安装客户端，具有维护简单，使用方便，分布性强等优点。

功能算法介绍

   人工智能介绍：

   “人工智能”（Artificial Intelligence，AI）这一概念最早由被誉为人工智能之父的美国学者John Mc Carthy于1956年在达特茅斯大学召开的会议上提出，是研究开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门技术科学。人工智能是一门综合了计算机科学、控制论、信息论、神经生理学、心理学、语言学、哲学等多种学科互相渗透而发展起来的一门交叉学科。关于人工智能，目前研究界尚无统一的定义，美国斯坦福大学人工智能研究中心尼尔逊教授下过这样一个定义：“人工智能是关于知识的学科，是怎样表示知识以及怎样获得知识并使用知识的科学。”而麻省理工学院的温斯顿教授认为：“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”而单从人工智能所实现的功能来定义，主要是探讨如何运用计算机模仿人脑所从事的推理、证明、识别、理解、设计、学习、思考、规划以及问题求解等思维活动，并以此解决如咨询、诊断、预测、规划等需要人类专家才能处理的复杂问题，即研究人类智能活动的规律。经过多年发展，人工智能呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等新特征。人工智能正在加速与各行业的深度融合，催生新技术、新产品、新产业、新业态、新模式，将深刻改变人类社会生活、改变世界。

   1、深度学习

   深度学习是人工智能的一个方面，它涉及模仿人类用来获取某些类型知识的学习方法，简单的深度学习可以被认为是一种自动化分析的方法。传统的机器学习算法是线性的，但深度学习算法堆叠在一个越来越复杂和抽象的层次结构中。

   一个理解深度学习的例子是，想象一个小孩学习一个词是狗。小孩通过指向一个物体并说出狗这个词来了解什么是狗/不是狗，父母会说“是的，那是一只狗”或者“不，那不是狗”。小孩进而继续指向新的物体并继续询问、了解的时候，他会越来越意识到狗拥有的所有特征。小孩在不了解客观事物的情况下做的这个事情，也就是通过构建一个层次结构来阐明复杂的抽象（狗的概念），其中每个抽象层次都是从层次结构的前一层获得的知识创建的。

   使用深度学习的计算机程序经历了相同的过程。层次结构中的每个算法对其输入应用非线性变换，并使用其学习的内容创建统计模型作为输出。迭代继续直到输出达到可接受的准确度。数据必须通过的处理层数也就是来自标签的深层启发。

   2、计算机视觉

   计算机视觉是使计算机“看到”的科学。它采用一个或多个摄像机，模数转换（ADC）和数字信号处理（DSP），生成的数据将发送到计算机或机器人控制器。计算机视觉的复杂性与语音识别相似。由于人眼只对390至770纳米的电磁波长敏感。摄像机可以对比这更宽的波长范围敏感。一些计算机视觉系统就可以在红外（IR），紫外（UV）或X射线波长下起作用。

   机器视觉需要更具有高级处理器的计算机，这种深度感知需要高分辨率相机，大量随机存取器（RAM）和人工智能（AI）编程。它用于从签名识别到医学图像分析的各种应用中。专注于基于机器的图像处理的计算机视觉通常与机器视觉相混淆。

   基础设施提供者为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。计算能力由智能芯片（CPU、GPU、ASIC、FPGA等硬件加速芯片以及其它智能芯片）等硬件系统开发商提供；与外部世界的沟通通过新型传感器制造商提供；基础平台包括分布式计算框架提供商及网络提供商提供平台保障和支持，即包括云存储和计算、互联互通网络等。

   基本算法介绍：

   1、目标分类

   解决“是什么? ”的问题，即给定一张输入图像，图像分类任务旨在判断该图像所属类别。常见的分类算法有：ResNet、LetNet、AlexNet、GooleNet等。

   2、目标检测

   解决“是什么?在哪里? ”的问题，即给定一张输入图像，目标检测的任务旨在定位出目标的位置并且告知目标物是什么。常见的检测算法有：SSD、YOLO、Fast RCNN、Faster RCNN等。

   3、目标分割

   目标分割分为实例的分割和场景分割，解决“每一个像素属于哪个目标物或场景? ”的问题。常见的分割算法有：DeepLab、Mask R-CNN、U-Net、FCN等。

   算法方案构成：

   为保证视频智能分析的检测精度，用户现场摄像头要求：

   1、支持RTSP、RTMP视频流格式的摄像头，分辨率不低于200万像素（1920x1080或1600x1200）；

   2、摄像头安装位置：一般摄像机距需要采集的区域为3至30米左右，高度为1至8米；室内场景监控距离一般小于10米,架设高度1至3米，室外场景监控距离一般小于30米，架设高度小于8米。

安全帽监测

   安全帽检测为防范特定区域内人员未佩戴安全帽，本算法方案首先使用YOLO-V3目标检测算法进行人头检测，定位图片中的人头位置，得到包含人头的检测框后，在此检测框的基础上再使用ResNet-50安全帽的分类算法对检测框内容进行分类处理，根据分类输出的安全帽置信度与预设的阈值比较，若低于阈值，则输出告警信息。

   下图为对特定区域的人员安全帽佩戴情况进行检测效果，对于未佩戴安全帽的人员进行黄框标注，正常佩戴安全帽的人员试用绿框标注。

安全帽实际效果

工作服（红、蓝）检测

  为规范特定区域的人员穿戴规范，对未合规穿戴工作服的人员进行预警，本算法方案首先采用YOLO-V3目标检测算法进行人体检测，定位图片中的人体，得到包含人体的检测框后，在此检测框的基础上再使用质量模型进行过滤，去除图像质量不好的图像。再对图像质量较好的行人检测框进行ResNet-50工作服的分类处理，根据分类输出的工作服置信度与预设的阈值比较，若低于阈值，则输出告警信息。

   下图为对特定区域的人员工作服穿着情况进行检测的效果，对于未穿着工作服的人员使用黄框标注，正常穿着工作服的人员使用绿框标注。

工服穿戴实际效果

反光衣穿戴识别

   为规范特定区域的人员穿戴规范，对未合规穿戴反光衣的人员进行预警，本算法方案首先采用YOLO-V3目标检测算法进行人体检测，定位图片中的人体，得到包含人体的检测框后，在此检测框的基础上再使用ResNet-50反光衣的分类算法对检测框内容进行分类处理，根据分类输出的反光衣置信度与预设的阈值比较，若低于阈值，则输出告警信息。

   下图为对特定区域的人员反光衣穿着情况进行检测的效果，对于未穿着反光衣的人员使用红框标注，正常穿着反光衣的人员使用绿框标注。

反光衣佩戴实际效果演示

行人闯入监测

  目前特定区域内闯入仍然采用人工查看监控视频的方式，对于防范具有滞后性，不能准确实时的进行监测告警。为防止事态进一步恶化，本算法方案先采用YOLO-V3目标检测算法进行人体检测，定位图片中的人体，得到包含人体的检测框后，在此检测框的基础上使用质量模型进行过滤，去除图像质量不好的人体区域图像。然后基于配置好的区域进行判断，判断区域内是否有人员在内，当有人员在区域内则进行告警。

下图为对特殊区域内行人闯入的检测效果，对出现在违进区域（绿色为禁止进入区域）的人员进行异常报警。

人员闯入实际效果

皮肤裸露检测

   皮肤裸露检测为防范区域内人员未穿戴防护用品，造成皮肤裸露有事故隐患，本算法方案首先使用YOLO-V3目标检测算法进行人体检测，定位图片中的人体，得到包含人体的检测框后，在此检测框的基础上使用质量模型进行过滤，去除图像质量不好的人体区域图像。过滤后使用DeepLab v3皮肤裸露的分割算法对剩余检测框内的图像进行分割处理（注意：分割区域为胳膊、手、腿、脚部），然后计算分割出的皮肤区域占人体检测框的比值。根据计算出的皮肤区域占比与预设的阈值比较，若高于阈值，则输出告警信息。

   下图为对区域内的人员进行皮肤裸露检测的效果，正常人员以绿框进行标识，皮肤裸露的人员以红框进行标识。

皮肤裸露实际效果

烟火检测

   本算法功能首先采用YOLO-V3目标检测算法进行烟雾、火焰检测，定位图片中的烟火，得到包含烟火的检测框后，基于该检测框位置抠取出后4帧的对应图像，将这5帧中该检测框区域图像的通道进行合并。最后使用ResNet-50算法对合并后的图像进烟火分类处理，根据分类输出的烟火置信度与预设的阈值比较，若高于阈值，则输出告警信息。

烟火算法效果图

抽烟检测

   为规范区域的人员行为，防止人员在禁烟区域内吸烟，有火灾的安全隐患，本算法方案首先采用YOLO-V3目标检测算法进行人头检测，定位图片中的人头，得到包含人头的检测框后，在此检测框的基础上再使用ResNet-50抽烟的分类算法对检测框内容进行分类处理，根据分类输出的抽烟置信度与预设的阈值比较，若高于阈值，则输出告警信息。

   下图为抽烟行为检测的效果。

抽烟检测算法效果

打电话检测

  为规范区域的人员行为，防止意外事故发生，进行人员打电话行为监测，本算法方案首先采用YOLO-V3目标检测算法进行人头检测，定位图片中的人头，得到包含人头的检测框后，在此检测框的基础上再使用ResNet-50打电话的分类算法对检测框内容进行分类处理，根据分类输出的抽烟置信度与预设的阈值比较，若高于阈值，则输出告警信息。

   下图为打电话行为检测检测效果。

打电话检测算法效果

人员倒地检测

   为及时预警区域的人员安全，防止人员在发生倒地时无人发现，可以采用智能识别方式，本算法方案首先采用YOLO-V3目标检测算法进行摔倒人体的检测，定位图片中的人体，得到包含人体的检测框后，在此检测框的基础上再使用HRNet进行人体关键点检测，获取左右肩中点和左右脚踝中点的连线（人体中心线），计算人体中心线与垂直方向的夹角并进行判断，若大于阈值角度就判定为摔倒，否则继续进行判断。基于前一步的人体关键点绘制骨架图，使用ResNet-50对骨架图进行分类处理，根据分类输出的摔倒置信度与预设的阈值比较，若高于阈值，则输出告警信息。

   下图为人员倒地行为检测的效果图。