机器视觉图像处理计算机视觉边缘计算实验室建设方案Word格式.docx

1、实验平台内置智联网多网协议网关服务，支持ZigBee、LoRa、LoRaWAN、BLE、Wi-Fi、NB-IoT、LTE等传感网接入，为异构网络提供认证服务、数据接入、地址解析、数据推送和网络配置服务。远程协助：实验平台内置SSH服务和VNC服务，支持终端的调试和桌面的远程调用。同时为远程访问提供二级域名及端口，提供多用户基于互联网远程登录实验平台，方便工程师异地远程进行软件调试、部署及故障跟踪。内网穿透：为了解决高校内网的网络中心和防火墙等限制，实现摄像头等局域网设备远程调用和编程，实验平台内置内网穿透服务，为USB摄像头和IP摄像头分配唯一的访问域名及编程接口，无需进行复杂的内网端口配置及

2、网络权限申请即可远程调用。课程资源：AI机器视觉教学平台提供企业级教材和相关教学资源，能够完成机器视觉、自然语言、嵌入式Linux、人工智能中间件、人工智能应用实训等课程的实验和实训需求。平台主要特性AI机器视觉教学平台基于新工科的教育理念，让教学更轻松，项目开发更容易，售后服务更便捷，更多的考虑实验的先进性、易用性、扩展性、包容性。先进性：超强性能：- AI最强嵌入式边缘计算处理器RK3399，4G+16G内存配置，10寸高清电容屏。- 选配NPU协处理器模块，直接运行神经网络模型，运算能力高达2.8 TOPs300mW。- 提供更丰富的扩展接口：双路USB3.0，四路USB2.0，RS23

3、2，RS485，嵌入式拓展接口等各种外设接口。智联平台- 实验平台内置AI智联网中间件引擎，集成AI系统运行环境、图像/视频算法库、神经网络算法库、智能硬件资源库。- 提供算法、模型、应用耦合的开发框架，实现算法、模型、硬件、应用的模块化统一接口，能够快速替换任意模块进行AI智联网应用开发。应用引擎- 内置Python Django Web引擎，提供智联网Web应用服务。- 为每个实验平台分配唯一Web引擎二级域名，实现远程异地互联网Web应用访问。易用性：安全防护- 工业级铝合金外壳防护，教学易管理，耐摔耐用散热快。- 智联套件磁力吸合并供电，无需复杂的螺丝固定，方便使用。- 外设通过RJ4

4、5标准接口进行连接，替换传统饿插针接口，不易损坏。易学易用- 采用项目驱动式教学方法，提供企业级教学课程及资源。- 严格按照教学大纲设计课程、实验和实训，教学资源与实验设备完全匹配。- 提供教材、微课视频、实验、实验视频、拓展实验、课程实训等线上线下教学资源。远程协助- 内置SSH服务，提供多用户远程登录网关平台，进行软件调试、部署及故障跟踪。- 为每个实验平台分配唯一SSH调试二级域名，实现远程异地互联网SSH登录访问。扩展性：网络融合- 内置智联网多网协议网关服务，支持ZigBee、LoRa、LoRaWAN、BLE、Wi-Fi、NB-IoT、LTE等传感网接入。- 为异构网络提供认证服务、

5、数据接入、地址解析、数据推送和网络配置服务。按需定制- 所有硬件单元采用模块化设计，可根据需求进行弹性定制选型和搭配。- 提供可选的丰富的智能产业项目套件模块，可以完成各种AI应用场景的设计和创新。- 智能边缘计算网关平台提供嵌入式扩展接口，包含常用接口的拓展，包括GPIO、ADC、IIC、UART、PWM、SPI等。包容性：一机多用- 根据教学用途，实验平台可作为人工智能、智联网、嵌入式、移动互联网、智能产品等学科实验教学，提供不同的教学资源。- 实验平台可完成丰富的课程及实验，包括：Python程序设计、嵌入式Linux操作系统、机器视觉技术、自然语言处理、智联网网关、智联网无线通信、an

6、droid应用技术、智联网中间件、智联网应用实训等。边缘计算网关智能边缘计算网关采用工业级铝合金一体屏设计，AI最强嵌入式边缘计算处理器RK3399，4G+16G内存配置，10寸高清电容屏，运行ubuntu、ROS、android多操作系统系统，能够完成人工智能视觉、语言、机器控制等课程的教学和实验实践。智能边缘计算网关提供丰富的外设接口，易于功能扩展，方便开发调试。1. 核心单元：1）网关内置高性能处理器，六个ARM Cortex-A72&A53大小核CPU，四核Mali-T860 GPU。2）网关搭载4GB LPDDR4内存， 16GB EMMC储存。2. 显示系统：1）网关搭载10.1寸

7、1280*800 LVDS高清屏，10点触控电容屏。3）工业级铝合金一体屏外壳，活动式支撑架。3. 无线单元：1）内置2.4G&5G双频Wi-Fi模组，BLE4.1模组，支持Wi-Fi、BLE传感网设备接入。2）内置全网通LTE模组，支持LTE传感网设备接入。3）内置北斗、GPS双频卫星定位模组。4）内置LoRa&LoRaWAN双传感网AP模组，支持LoRa&LoRaWAN传感网设备接入，提供JTAG调试接口。5）内置ZigBee传感网AP模组，支持ZStack传感网设备接入，提供JTAG调试接口。4. 外设接口：1）提供千兆以太网卡，RJ45接口。2）提供Type-C OTG，USB 3.0

8、 Host*2，USB 2.0 Host*4。3）提供USB Debug UART，RS232，RS485，HDMI。4）提供TF Card接口。5）提供MIC，喇叭。6）提供14PIN嵌入式拓展接口，包含GPIO，ADC，IIC，UART，PWM，SPI等扩展。1. 操作系统：1）网关内置linux、ubuntu嵌入式操作系统，满足嵌入式操作系统教学。2）网关内置android移动互联网操作系统，满足移动互联网应用教学。3）网关内置DuerOS语音系统，支持语音识别、语义理解、语音合成、人机对话，集成技能开发平台，与智能硬件进行语音交互。4）网关内置ROS系统，满足机器臂、机器车系统教学。5

9、）网关内置Ai Python运行环境，满足Python教学。2. 智联平台：1）网关内置AI智联网中间件引擎，集成AI系统运行环境、图像/视频算法库、神经网络算法库、智能硬件资源库。2）提供算法、模型、应用耦合的开发框架，实现算法、模型、硬件、应用的模块化统一接口，能够快速替换任意模块进行AI智联网应用开发。3）为每个网关平台分配唯一AI中间件二级域名，实现远程异地互联网AI中间件应用访问，远程创建AI智联网应用。3. 应用引擎：1）网关内置Python Django Web引擎，提供智联网Web应用服务。2）为每个网关平台分配唯一Web引擎二级域名，实现远程异地互联网Web应用访问。4. 网

10、络融合：1）内置智联网多网协议网关服务，支持ZigBee、LoRa、LoRaWAN、BLE、Wi-Fi、NB-IoT、LTE等传感网接入。2）为异构网络提供认证服务、数据接入、地址解析、数据推送和网络配置服务。3）提供跟网关硬件绑定的唯一账号密钥认证，可生成二维码方便智联网应用扫描访问。5. 远程协助：1）内置SSH服务，提供多用户远程登录网关平台，进行软件调试、部署及故障跟踪。2）为每个网关平台分配唯一SSH调试二级域名，实现远程异地互联网SSH登录访问。6. 内网穿透：1）网关内置Web摄像头服务，为网关平台摄像头提供唯一二级域名进行远程异地互联网接口调用。2）网关内置IP摄像头服务，无需

11、进行摄像头端口映射，为每个摄像头分配唯一二级域名进行远程异地互联网接口调用。应用拓展模块AI机器视觉教学平台提供丰富的应用拓展模块，可完成视觉、语言、感觉、控制等AI知识点学习和项目开发，用户可以根据应用需求可以合理选型和搭配。名称图片描述4G LTE模块1）网络：FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE；2）制式：CMCC/CUCC（B1/B3/B8/B34/B38/B39/B40）；3）工作频带：HSPA1900/2100，GSM 900/1800；4）高速USB 2.0接口、PCI-E接口；5）支持短信、数据、电话本、PCM语音功能；6）支持IPv4

12、,IPv6协议；7）支持LTE多频；8）支持最大150M/50Mbps的理论上下行数据传输速率；9）可安装到智能网关板载使用。BDS&GPS模块1）北斗/GPS双系统模块；2）支持双频：北斗 B1、GPS L1；3）定位精度（RMS）：2.5m CEP；4）速度精度（RMS）：GPS/GNSS: 0.1m/s、北斗: 0.2m/s；5）可安装到智能网关板载使用。传感网AP模块1）LoRa&2）ZigBee传感网AP模组，支持ZStack传感网设备接入，提供JTAG调试接口。AI高清摄像头1）1080P工业级AI宽动态摄像头。2）125度广角镜头焦距，支持自动聚焦。3）提供远程网络视频远程传输功

13、能，AI视觉图像视频捕捉处理功能。4）能够接入到AI机器视觉/语音教学平台使用。5）提供基于AI机器视觉/语音教学平台的人脸识别系统案例。多维景深摄像头1）通过立体视觉感知完成图像处理，支持语音识别、背景移除、增加现实、3D扫描、目标跟踪、面部处理等。2）深度视场（H xV D） : 91.2x65.5x100.6 3）RGB相机分辨率、帧率、视场：1080 p 30 fps，69.4x42.5x774）深度输出分辨率和帧率：1280x720 & 90 fps 5）深度距离：0.11m10m6）接口：USB 3.07）提供基于ROS系统的深度摄像SLAM导航和构图智能产业套件智能+产业应用套件

14、结合人工智能与智联网技术，实现垂直行业场景的项目原型设计和开发。智能停车管理套件停车信息展示模块（集成0.96寸oLED，4位数码管，五位开关），停车ETC管理模块（900M UHF RFID，ETC电机栏杆，集成USB串口），提供基于智能+互联网远程车牌识别智能停车场应用案例，基于AI中间件技术，提供包括算法、模型、硬件、应用全套源代码。智能人证闸机套件设备控制模块（集成风扇、步进电机、蜂鸣器、RGB&LED、继电器），RFID识别模块（125K&13.56M RFID，0.91寸oLED屏，继电器，集成USB串口），提供基于智能+互联网远程人脸识别&射频识别人证开闸机应用案例，基于AI中间

15、件技术，提供包括算法、模型、硬件、应用全套源代码。智能家居应用套件环境感知模块（集成温湿度、光照度、大气压力、三轴姿态、红外测距、空气质量），设备控制模块（集成风扇、步进电机、蜂鸣器、RGB&LED、继电器），提供基于智能+互联网远程智能家居手势识别&语音交互应用案例，基于AI中间件技术，提供包括算法、模型、硬件、应用全套源代码。智能安防预警套件安防预警模块（集成火焰、燃气、光栅、人体红外），控制模块（集成风扇、步进电机、蜂鸣器、RGB&LED、继电器），提供基于智能+互联网远程智能安防传感图像联动识别预警应用案例，基于AI中间件技术，提供包括算法、模型、硬件、应用全套源代码。平台教学资源AI

16、机器视觉教学平台能够满足人工智能专业核心课程和部分专业课程的授课、实验、实训。AI机器视觉教学平台可完成的主要课程如下：课程名称课程内容机器视觉技术机器视觉技术作为人工智能在感知领域的重要应用分支之一，是目前人工智能全面应用落地的成熟技术。本课程主要介绍机器视觉的基本理论、图像处理方法、主流算法及框架、机器视觉云接口及服务、机器学习应用等，通过项目驱动式案例及实验进行教学，让学生掌握机器视觉的基础知识和常用开发技术，为后续深度学习/神经网络学习提供扎实的基础。机器视觉技术课程教学大纲：机器视觉技术总学时64理论课时32实践课时实验室与实践要求课程说明机器视觉是用机器代替人眼来做测量和判断，属于

17、人工智能认知领域的核心应用，本课程向学生介绍机器视觉的基本理论和方法，同时结合行业应用热点，通过大量的机器视觉应用案例，使学生了解人工智能在机器视觉领域的最新进展。课程目标本课程在学习机器视觉技术的基本理论和方法的基础上，通过丰富的应用实践案例，使学生掌握机器视觉在人工智能领域的应用技能，培养学生应用机器视觉技术的创新设计能力。考核要求推荐教材名OpenCV3机器视觉Python语言实现第2版，刘波译，机械工业出版社教材单价购买网址课程安排理论课课时安排实验课章讲数章名讲名课程内容（知识点）了解熟悉掌握理论实践上机实验实验指标第一章机器视觉导论模块一 机器视觉介绍1、机器视觉概念22、机器视觉

18、理论的发展3、机器视觉的应用概述第二章图像与视觉系统模块一 图像与视觉系统硬件介绍1、摄像机透视投影模型三维透视投影实验熟悉机器视觉相关的坐标系，以及摄像机透视投影和坐标变换相关原理2、图像坐标变换3、图像采样和色彩4、数字图像格式模块二 图像与视觉系统软件介绍1、OpenCV框架介绍1、OpenCV框架安装2、OpenCV打开摄像头拍照熟悉机器视觉OpenCV框架和应用2、OpenCV数据类型3、OpenCV应用概述第三章机器视觉算法模块一 图像变换1、图像色彩空间变换图像水印去除实验熟悉图像变换的基础算法，掌握图像修复技术2、图像修复和去噪3、傅里叶变换模块二 图像分割1、图像阈值分割图像

19、的背景和前景区域分割熟悉图像分割算法原理2、提取联通区域3、均值偏移分割模块三 图像特征提取1、图像灰度特征提取图像轮廓特征提取实验熟悉图像特征提取算法原理2、图像轮廓特征提取模块四 图像边缘检测1、一维边缘提取基于Canny算法的图像边缘检测熟悉图像边缘检测算法原理2、二维边缘提取模块五 数学形态学1、区域形态学基于数学形态学的空心字转换熟悉数学形态学常用算法2、灰度值形态学模块六 直方图和模板匹配1、图像的直方图表示人脸模板匹配实验熟悉模板匹配常用算法2、基于灰度值的模板匹配第四章机器视觉应用模块一光学字符识别1、光学字符识别OCR技术原理介绍基于光学字符识别的银行卡号识别熟悉光学字符识别

20、技术2、光学字符识别案例模块二 人脸识别1、人脸识别技术综述1、视频流人脸检测和人数统计2、利用人脸识别实现系统登录掌握人脸检测和人脸识别技术2、人脸检测3、人脸识别模块三 目标检测与识别1、目标检测与识别技术综述图像中人物和车辆等目标物体检测识别掌握目标物体检测和识别技术2、目标检测与识别案例模块四 目标跟踪1、目标跟踪技术介绍视频流实时检测和追踪车辆掌握运动物体实时检测和跟踪技术2、目标跟踪案例第五章机器视觉云服务模块一 XX图像识别1、XX图像识别云服务介绍基于XX图像识别云服务接口，实现车辆型号识别掌握XX图像识别云接口调用方法2、XX车辆识别案例模块二 XX人脸识别1、XX人脸识别云

21、服务介绍基于XX人脸识别云服务接口，实现公众人物识别掌握XX人脸识别云接口调用方法2、XX人脸识别案例第六章深度学习应用模块一 手写字识别1、神经网络基础介绍基于神经网络实现手写字符识别掌握神经网络图像分类识别的基本原理2、手写字分类识别案例模块二 猫狗识别1、深层神经网络介绍基于深度神经网络的猫狗分类识别掌握深度神经网络分类算法的基本原理2、猫狗分类识别案例模块三 图像分类1、卷积神经网络介绍基于卷积神经网络的CIFAR-10图像分类掌握卷积神经网络的基本原理2、CIFAR-10图像分类案例第七章机器视觉案例模块一 人脸识别控制ETC闸机1、机器视觉与智联网集成人脸识别通过智联网控制ETC闸

22、机开放掌握机器视觉与智联网技术整合技术原理2、人脸识别控制ETC闸机案例模块二 车牌识别控制小区门禁1、车牌识别应用概述车牌识别控制小区门禁，并显示车牌号和车辆数量统计掌握机器视觉在智能交通中的应用技术原理2、车牌识别控制小区门禁案例模块三 手势识别控制智能家居1、手势识别原理介绍手势控制智能家居设备，实现开关灯、窗帘和风扇掌握机器视觉在智能家居中的应用技术原理2、手势识别控制智能家居案例1.2.2智能监控实训平台智能监控实训平台是机器视觉技术在边缘计算设备上的典型应用，与传统云端智能服务不同，该摄像头内置神经网络芯片，可以本地运行卷积神经网络等模型，自动根据模型在实时视频流中检测人像并进行匹

23、配识别，一旦匹配后可以自动进行目标跟踪。智能监控实训平台产品特性如下：基于神经网络芯片实现边缘计算智能提供机器视觉人脸检测和识别模型功能提供实时视频流人像检测和人员统计功能提供目标人员检测匹配和跟踪功能全部源代码开放和详细的实验指导书智能监控实训平台可以完成丰富的实训项目：实训项目一：人脸识别1）基本介绍人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，通常采用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸。相比其他生物特征识别方法，人脸识别具有其自身的优势：非侵扰性人脸识别无需干扰人们的正常行为就能较好地达到识别效果，无需担心被识别者是否愿 意将手放在指纹采集设备上，他们的眼睛是否能够对准虹膜扫描装置等等。只要在摄像机前 自然地停留片刻，用户的身份就会被正确识别。便捷性采集设备简单，使用快捷。一般来说，常见的摄像头就可以用来进行人脸图像的采集， 不需特别复杂的专用设备。图像采集在数秒内即可完成。友好性通过人脸识别身份的方法与人类的习惯一致，人和机器都可以使用人脸图片进行识别。 而指纹，虹膜等方法没有这个特点，一个没有经过特殊训练的人，无法利用指纹和虹膜图像 对其他人进行身份识别