AI明厨亮灶技术方案.docx

AI明厨亮灶技术方案.docx

《AI明厨亮灶技术方案.docx》由会员分享，可在线阅读，更多相关《AI明厨亮灶技术方案.docx（30页珍藏版）》请在冰豆网上搜索。

AI+明厨亮灶技术方案

AI+明厨亮灶建设方案

专注于计算机视觉和深度学习原创核心技术

目录

1背景介绍 1

2需求分析 2

2.1视频联网互联互通 2

2.2未戴口罩识别预警 2

2.3未戴厨师帽识别预警 2

2.4未穿厨师服识别预警 3

2.5抽烟识别预警 3

2.6老鼠识别预警 4

2.7打电话识别预警 4

3建设方案 6

3.1系统架构 6

3.2前端设计 7

3.3算法设计 8

3.4系统功能 11

3.5算法云管理 11

4产品优势 22

5项目清单 23

1背景介绍

2019年5月9日：

《中共中央国务院关于深化改革加强食品安全工作》（中发【2019】17）；2020年6月15日：

市场监督管理总局、教育部、公安部、国家卫生健康委联合印发《校园食品安全守护行动方案（2020年—2022年）》。

全面推行供餐单位“明厨亮灶”。

积极推进“互联网+明厨亮灶”，强化供餐单位自身食品安全管理，及时发现并纠正存在的问题。

向学校、市场监管部门、教育部门公开食品加工制作信息，主动接受监督。

提升食品安全管理水平。

定期对大宗食品原料、餐具清洗消毒。

充分运用物联网、人工智能等技术，提升原料溯源把关、设施设备管控、人员行为纠偏等的智能化水平。

国家市场监督总局文件

中国公安部文件

中国教育部文件

2需求分析

根据政策文件，各地学校、餐饮机构等需要实现视频互联互通，实现区/县、市、省视频监控一张网（互联网或VPN），需要实现对厨房出入口、烹饪区、餐区消毒区、仓储区、清洗区等人员AI违规行为分析、鼠患检测等。

2.1视频联网互联互通

学校、餐饮机构视频监控可通过AI边缘计算盒无缝接入，AI边缘计算盒符合GB28181国标协议，可通过互联网、VPN或专线联网，云端AIot管理平台通过GB28181协议与边缘计算盒互联互通，可实现区/县、市、省视频监控互联互通，满足监管需求以及向社会面开放需求。

2.2未戴口罩识别预警

厨房区域的网络摄像机通过AI边缘计算盒，实现对工作人员是否戴口罩情况进行实时检测，工作人员在工作时间段出现未戴口罩情况自动产生报警，上报到平台。

2.3未戴厨师帽识别预警

厨房区域的网络摄像机通过AI边缘计算盒，实现对工作人员是否戴厨师帽情况进行实时检测，工作人员在工作时间段出现未戴厨师帽情况自动产生报警，上报到平台。

2.4未穿厨师服识别预警

厨房区域的网络摄像机通过AI边缘计算盒，实现对工作人员是否穿白色厨师服情况进行实时检测，工作人员在工作时间段出现未穿白色厨师服情况自动产生报警，上报到平台。

2.5抽烟识别预警

厨房区域的网络摄像机通过AI边缘计算盒，实现对工作人员是否抽烟情况进行实时检测，工作人员在工作时间段出现抽烟情况自动产生报警，上报到平台。

2.6老鼠识别预警

厨房区域的网络摄像机通过AI边缘计算盒，实现对厨房区域鼠患情况实时检测，当发现老鼠出没情况自动产生报警，上报到平台。

2.7打电话识别预警

厨房区域的网络摄像机通过AI边缘计算盒，实现对工作人员是否打电话情况进行实时检测，工作人员在工作时间段出现打电话情况自动产生报警，上报到平台。

3建设方案

3.1系统架构

3.1.1组网架构

如图，我司明厨亮灶解决方案包括：

前端网络摄像机，AI边缘计算盒、云端AIot管理平台、流媒体服务组成。

针对学校、餐饮机构前端可部署AI边缘计算盒，可通过RTSP、Onvif协议接入已建或新建的网络摄像机。

AI边缘计算盒可对视频流进行实时分析（未戴口罩、未戴帽子、未穿厨师服、抽烟、打电话、老鼠识别）预警。

AI边缘计算盒可通过互联网/专网/VPN链路与云端AIot管理平台、流媒体服务器互联互通，云管理平台可部署于公有云或政务云。

AIot管理平台实现边缘端AI设备统一管理，实现AI算法云端在线学习，算法在线升级，并可实现云端算法自定义，云端算法模型一键下发等功能，流媒体服务可实现十万级以上高清视频点播，满足AI+明厨亮灶面向社会面开放视频需求。

3.1.2逻辑架构

如图，AI+明厨亮灶产品逻辑构成：

AI智能硬件、AI算法、AI系统平台组成。

AI硬件有VST-A100系统智能型边缘计算盒，VST-N100系列存储型边缘计算盒，以及云端AI分析引擎服务器版组成。

AI算法部署于AI硬件，依托硬件NPU算力单元实现对视频流AI分析。

算法层包括：

未戴口罩识别、未戴厨师帽、未穿厨师服、打电话、抽烟、老鼠识别等。

并且云端AI管理平台可支持云算法自我学习，迭代，算法模型一键下发到AI边缘计算盒，平台实现AI策略管理、AI报警查询、视频回放、系统管理、以及流媒体分布式部署，实现云端管理。

3.2前端设计

3.2.1前端概述

前端指学校食堂端、餐饮企业端，本部门介绍相关系统要求设计。

3.2.2前端组成

（1）前端视频监控设备：

可利旧可新建，要求网络摄像机200W高清枪机或半球，符合Onvif标准，AI边缘计算设备可兼容市面几乎所有摄像机。

（2）网络传输设备：

有条件建议采用千兆/百兆工业以太网交换。

（3）AI边缘计算设备：

AI边缘计算设备与网络摄像机部署于同一局域网，设备支持双网口，可支持双网隔离。

（4）传输链路：

可使用运营商互联网宽带、VPN虚拟专线、专线，根据前端摄像机数量选择对应上行带宽，1路在线点播视频要求2Mb/s上行带宽。

3.2.3布点要求

摄像机要求200W像素以上，角度要求上下角度在15度以内，左右角度在30度以内（眉尖可见），图像质量要求聚焦清晰，光照均匀，特别注意避免逆光、侧光，必要时进行补光。

3.2.4录像存储

选用200W高清网络摄像机按照2M码流计算，存储可选配。

4路30天录像存储大小=2（M）÷8×3600（秒）×24（小时）×3×30/1024/1024≈3TB

8路30天录像存储大小=3.6（M）÷8×3600（秒）×24（小时）×7×30/1024/1024≈6TB

3.3算法设计

3.3.1算法概述

AI模型训练流程图

（1）后厨业务需求分析

在正式启动训练模型之前，需要有效分析和拆解后厨的业务需求，明确模型类型如何选择。

监控后厨人员在岗是否按规定穿戴口罩和帽子——通过目标检测模型和分类模型进行判断。

戴口罩和帽子是两个属性，若采用单属性进行二分类会增加计算的负担（需要两个分类模型分开运算），这里采用多属性的分类模型；

监控后厨是否鼠患严重——由于老鼠目标太小，深度学习策略可能会失效，即使成功也会消耗大量的计算资源，这里采用传统的检测目标策略加上分类模型进一步筛选判断。

（2）后厨采集/收集数据

在通过第一步分析后厨的基本模型类型，需要进行相应的后厨数据收集工作，如采集工作人员人脸数据注册，用于上岗情况分析。

数据的主要原则为尽可能采集真实后厨场景一致的数据，并覆盖可能有的各种情况，如戴帽子和戴口罩的判断要包含五种情况：

A.戴了帽子和口罩、B.戴了帽子没戴口罩、C.没戴帽子戴了口罩、D.没戴帽子没戴口罩和E.无法判断。

（3）标注数据

刚开始采集少量数据（图片或者视频流）后，通过人工使用标注工具对已有的数据进行标注。

如检测是否有老鼠的分类模型，需要将监控视频抽帧后的图片按照A.有和B.没有两类进行整理。

如穿戴检测，直接用目标检测算法检测穿戴情况可靠性低，容易出现定位不准且分类准确性差。

考虑到后厨实际应用场景实时性要求不高，对准确性要求高，采用折中的办法：

先以人形作为检测目标，进行打标，然后分析单人的情况（目前有单人口罩和帽子的穿戴分析），准确率得到提高，代价是牺牲了一点检测速度。

训练的模型在现场部署后可采取更多的标注后的数据，再经过人工的精筛选数据，又可用于下一轮的模型训练。

（4）训练模型

训练模型阶段可以将已有标注好的数据基于在后厨业务分析阶段确定的初步模型类型，在云端选择算法进行训练。

（5）评估模型效果

训练后的模型在正式集成之前，需要评估模型效果是否可用.以穿戴和老鼠检测为例。

穿戴检测模型评估项有：

A.识别人员数量百分比；B.帽子正确识别百分比；C.口罩正确识别百分比；D.整体平均识别正确率。

老鼠检测模型评估项有：

A.老鼠正确识别的百分比。

（6）云端算法模型维护

当确认模型效果可用后，可以将模型部署至生产环境中。

以后厨中的目标检测为例：

3.3.2算法机制

视频拉流：

通过FFMPEG视频处理技术，实时拉取商户RTSP视频流，解码出yuv数据，并通过命名管道技术将yuv数据传给算法服务池处理，等待检测结果返回。

每个GPU服务器处理10路视频，每路视频流启动独立FFMPEG进程，视频分辨率为720p、帧率为10帧，编码为H.264/H.265，像素格式为yuv420p。

管道技术：

通过系统命名管道技术，将每路视频流yuv数据传给算法服务池，进行AI推理运算。

整个数据传输过程都在系统内存中完成，可以将yuv数据高效地分发至所需项目的算法服务，进行各个项目算法推理运算，并将结果信息通过各自管道返回。

算法服务池：

将所有算法神经网络模型统一管理，实现模型共享和基础库内存共享，避免因为各个进程独自加载模型导致基础库内存的浪费，让有效的GPU内存运行更多的算法。

通过管道技术将各路视频yuv数据传输到所需算法服务输入源队列中，每项算法服务可以启动多线程并发运行推理运算。

例如对商户A进行未戴口罩检测和抽烟检测，则可以将视频yuv数据同时写入未戴口罩检测管道和抽烟检测管道，对应的未戴口罩检测算法服务和抽烟检测服务获取到数据后，就可以同时进行推理运算，分析结构数据分别写入商户A未戴口罩检测结果管道和商户A抽烟检测结果管道。

目标跟踪：

创建目标队列，对推理的结果进行定义、位置匹配，判断前后结果是否为同一个目标，0.5s目标丢失延迟，0.5s内未能匹配目标则从目标队列中移除。

通过目标跟踪，可以分析违规事件的连续动作，同一个事件上报一笔数据，有效避免重复性冗余数据的产生。

检测消息：

将违规数据包含：

商户ID、检测分类名称、目标位置信息、视频截图URL和事件时间，通过消息队列发送到业务系统。

视频回放时，通过商户ID和事件时间定位视频画面，并在画面上绘制违规信息。

这将作为商户违规取证的AI依据。

视频截图：

截取违规视频画面图片，保存到磁盘，提供业务系统调取。

视频推流：

通过FFMPEG将检测结果数据：

分类名称、目标位置信息，绘制到画面上，生成H.264/H.265视频流推送的流媒体服务器，提供业务系统调取。

3.3.3算法模型

检测项目

模型算力

准确率估值

厨师服检测

CPU+NPU算力混合

（AI边缘计算盒）

95%以上

厨师帽检测

未戴口罩检测

打手机检测

抽烟检测

CPU+NPU算力混合

（AI边缘计算盒）

95%以上

老鼠检测

CPU+NPU算力混合

（AI边缘计算盒）

95%以上

3.4系统功能

3.4.1综合视图

系统可在地图上展示学校、社会面餐饮企业实时监控视频，AI违规报警top排行、违规类型分布、摄像机接入量、在线率统计分析。

综合视图支持在线点播监控点位指标视频，以及调阅相关AI违规数据等。

3.4.2首页视图

首页视图支持分屏查看如：

单屏、四分屏、九分屏、16分屏、36分屏、全屏。

支持手动拖动通道到预览图，AI智能检测区（未戴口罩、未戴厨师帽、未穿厨师服、抽烟、老鼠、打电话识别），可实时对违规事件进行展示。

一次性展示20条数据，按时间倒序排序。

3.4.3接入管理

系统接入管理用于管理所有的接入设备。

可查看每个设备的通道在线情况，更新通道，选择机构。

（1）视频接入

通过边缘计算盒web管理界面接入视频，可通过RTSP、Onvif等协议接入视频监控摄像，同时可支持通过Excel表格导入rtsp流地址便于IPC、NVR视频流接入。

（2）通道维护

可在管理页面设置摄像机通道名称、地址、经纬度、餐饮企业联系人、联系电话、直播流地址、直播协议选择、摄像机用户名、摄像机密码等。

（3）AI短视频

短视屏存储：

开启会出现如下图所示设置保留天数后，可在事件检测结果查看播放短视频。

注意：

短视频保留天数大于0，才能正常保存短视频。

分析区域设置：

（4）区域分析

点击分析区域设置；使用鼠标在监控区域内进行画框选择，即只对框中区域进行不规范事件进行重点检测。

3.4.4录像回放

系统可通过机构信息、时间信息、设备SN信息等，调阅对应的视频监控录像。

3.4.5事件查询

包括AI检测，可按机构、时间、检测类型维度进行AI时间（未戴口罩、未穿厨师服、未戴厨师帽、抽烟、老鼠、打电话违规行为进行查询），同时可支持报警相关短视频调阅。

（1）未戴厨师帽查询：

（2）老鼠识别查询：

（3）未戴口罩识别：

（4）抽烟识别查询：

（5）打电话识别查询：

（6）未穿厨师服识别查询：

3.4.6策略管理

策略管理包括分析策略，结合通道信息、时间维度、机构信息、进行抽烟识别、玩手机、离岗AI检测策略设置。

3.4.7基础信息

基础信息包括监管单位、机构管理、接入授权功能，监管单位管理功能。

3.4.8系统管理

系统管理包括用户管理、登录日志、操作日志、基础配置、页面配置、运行状况、设备状态、参数配置、版本信息。

点击用户管理，进入到用户管理界面，可添加用户，默认管理员用户不可删除，也不可修改。

点击添加用户按钮，可以添加多个用户。

其中用户名和账户类型必填，账户类型支持机构账户和监管账户。

添加用户的默认密码为12345678

用户添加成功后，可以对当前用户进行编辑、绑定机构、重置密码、删除。

3.5算法云管理

系统支持AI算法云端管理、算法云端在线学习、迭代，算法模型在线下发等功能。

4产品优势

（1）硬件高可靠性——工业级嵌入式ARM架构，内置定时检测芯片和软件工作状态检测，异常可自动复位，保障系统稳定

（2）多协议视频流与分发——支持ONVIF、RTSP、RTMP、FLV、HLS、视频文件接入，支持WEBRTC、FLV、WS_FLV、HLS、RTMP、RTSP直播格式选择，便于第三方Web业务系统可自由选择调阅流格式

（3）兼容性强——支持支持ONVIF及GB28181级联，几乎兼容市面上所有网络摄像

（4）视频秒开——内置视频编码算法，实现Web端视频点播秒开功能

（5）互联网CDN加速——支持与第三方CDN无法对接，保障互联网环境视频播放流畅

（6）AI算法智能升级——支持算法在线学习，算法远程升级部署

（7）远程运维——支持平台端远程链接设备系统层，便于运维管理

（8）流媒体分发——支持分布式部署流媒体服务，实现流媒体负载均衡

对比“传统安防厂家”优势分析：

（1）AI智能分析产品是全开放式架构，兼容市面上所有视频终端和视频平台，对外提供易于开发的接口，便于第三方业务系统集成；

（2）AI智能分析产品基于Web端、小程序端视频AI应用具有友好支持，支持ONVIF、RTSP、RTMP、FLV、HLS、视频文件接入，支持WEBRTC、FLV、WS_FLV、HLS、RTMP、RTSP直播格式选择；

（3）AI智能分析产品AI算法可智能迭代升级

对比“新兴AI厂家”优势分析：

（1）AI智能分析产品云引擎支持X86架构，无需GPU卡，可进行AI分析，可大大节省硬件成本投入；

（2）AI智能分析边缘计算盒使用采用国产NPU芯片加速计算单元。

27