BP神经网络算法在数字识别中的应用.pdf

1、 西北 纺织工 学 院 学报 J o u r n a l o f No r t h we s t I n s ti t u t e o f T e x ti l e S c i e n c e a n d T e c h n o l o g y 第 l 4卷 第 4期(总 5 6期)Z 0 0 0年 1 2月 V o|1 4，N o 4(S u m N 0 5 6)B P神 经 网络算法在 数字识别 中的应 用 弓 (：l?贺兴时t，刘 宇z(1 西北 纺织 工 学 院 救理 景 陕 西 西安7 1 0 0 4 8-2 西北纺织 工学院 计 算机 系 陕 西 西安7 1 0 0 4 8)摘要：

2、介 绍 B P神 经网络算 法的理论 和方法，并在 MA T L A B环境 下给 出 了 B P神 经 网络算法在数字目 像识别系统中的应用M丹T L A 哆 1 锈 芎 关 键 词：丝 璺 ；附 加 动 量 法；垦 皇 翌 圭 3 f)，因 缘鑫 碳 剥|诡 中 冒 分 类 号：1 P 1 8文 献 标 识 码：A文 章 编号：1 0 0 1 7 3 0 (2 0 0 0)0 4 0 3 5 6 0 7 。、一。f 0 弓 I 言 丁f)3 、t p f 一 一 自 1 9 8 5年 R u n dhr t 提 出 B P算 法 以 来，神 经 网络 发 展 迅 逮并 渗 透 割各 个 学

3、 科，多层 前 向型 网络成为 用途 最为广泛 的网络之 一 神经 网络算法已不再是 只供研究 而在 实际的生产 中开 始 了 广 泛 的应 用 如：数 据 库 系统 的 数 据挖 掘、产 品 的 自动分 捡 系 统 的 图像 识 别 荨 对 应 地 在 计 算 机 辅 助 设 计 的 软 件 开 发 中，神 经 网 络 算 法 的设 计 也 越 来 越 多，但 基 本 的神 经 网络 算 法 比较 复 杂，且 其 理 论 也 不 十分 完 善 有 些 参数 需要 凭 经 验 因此，软 件 开 发 者 对 于 神 经 网络 解法 对实 际要 解决 的同题的可 行性及 效 率并 没有什么 把握

4、如何选 取 B P神 经 网络 的隐古 层 数 厦 节点 数，耳前 尚无 准确 的理 论 和方 法，必 须 傲 大 量 的实 验 所 以，如 果 一 开 始 就 编写 基 本 的 神 经 网 络 算 法，将 把大 部 分 的精 力都 投 人 到 算法 的实 现 和 调 试 上 了，不 能 专 注 于调 整 网 络 参 数 和 结 掏 的 设 计 MAT L A B提 供 了 一 个 安 全 可 靠 的 神 经 网 络 工具 箱，包 括 现 阶 段 基 本 的 典 型 的 神 经 网 络 算 法 并 且 在 训 练 过 程 中可 以方 便地 用 曲线 将学 习率 的 变 化 和 误 差 的 变

5、化 表 现 出 来 以 便 于 分 析 开 发 者 可 以用 MA T L A B设 计 自己 的 算 法 或 调 整 网 络 参 数 和 结 构，进 行 快 速 原 型设 计，试 用 各 种 参 数 并 通 过 多次 实 验 选定 适 合 的 参数 和 结 构 1 B P网络 基 础知 识 1 B P算 法 是 一 种 有 监督 式 的 学 习算 法 其 主 要 思 想 是 精人 学 习样 本 使 用 反 向传 播 算 法 对 网络 的 权 值 和 偏 差进 行 反 复 的调 整 训 练 使 宣出 的向 量 与 期 望 向量 尽 可 能 地 接 近，当网 络 输 出层 的误 差 平 方 和小

6、 于 指 定 的 误 差 时 训 练 完 成 保 存 网 络 的 权 值 和 偏 差 收稿 日期 2 0 0 0-0 9-0 4 作者 简介。贺 对(1 9 6 0-)男，陕 西 省 富平县 西北 纺织 工学 院副 教 授 从 事随 机 过 程 与救 学熏 攥等 方 面的研 究 维普资讯 http:/ 第 4期 B P神 经 舟络 算 法 在 数 字 识 别 中的 应用 3 5 7 B P算 法 由 两 部 分 组 成：信 息 的 正 向 传 递 与误 差 的 反 向 传 播 在 正 向传 播 过 程 中 输 入 信 息 从 输 入 层 经 隐 吉 层 逐 层 计 算 传 向 输 出层，每 一

7、 层 神 经 元 的状 态 只影 响 下 一 层 神 经 元 的 状 态 如 果 在 输 出层 没 有 得 到 期 望 的 输 出，则 计 算 输 出 层 的 误 差 变 化 值 然 后 转 向反 向 传 播，通 过 阿络 将 误 差 信 号 沿 原 来 注 的 连 接 通 路 反 传 回 来 嫠 改 各 层 神 经 元 的 权 值 直 至 达 到期 望 耳标 图 l为 两 层 回 络 的 简 化 图 J=1，2t ；l=1 2 j 1 =1 2，2 匿1简 化 的 两 层 网 络 图 设 输 人 为 P=(A，A，舟)，r 为 输 入 神 经 元 的个 数，第 一 层 的 权 矩 阵 w l

8、=()眦，s l 为 臆 吉 层 神 经 元 个 数，教 活 函数 为，1，W 2=()m 2 为输 出层 神 经元 个 数，对应 的澈 活 函数 厂 2 耳标 矢 量为 T=(，：)臆 吉层神 经元 的输 出矢 量 Al=(a l。，a l：，d 1 。)，输 出层 神 经 元 的 输 出矢 量 A 2=(d 2；，4 2 一，茈 )，隐吉 层 神 经 元 的 偏 差 B 1=(b l。6 l：，1 。)，输 出层 神经 元 的 偏 差 B 2=(6 2。占 2 “，6 2 )t 则 在 信 息 的 正 向传 递 过 程 中：(1)隐吉 层中第 个神经元的输出 为：口 I l，1(u,1。向

9、-t-6 1 )，(=1，2，s l#=1，2 ，r)(2)输出 层第 个神经元的输出 为：a 2 =2(-口 1 +b 2 】一1，2，s 2；，一l，2 ，s 1)1 三(3)定 义误差函 数为；E(w)=寺(“一d 2 )，其中W=谢，；口=6 1 6 2 ，在 误 差 的 反 向传 播 过 程 中：(1)输 出屡 的 权 值 变化对 从 第 个 输 入 到 第 个 输 出的权 值 有：龇-=一 篡=-r 差 一 r(“一 同 理 可 得：姚=一 蓑=一 Z E =r C 一 ，z(2)慧舍 层 的 权 值 变化对 从 第 个 输 入 到 第 个 输 出的权 值 有：叫 。最一 差 一

10、娄 c 一 比 -向 同 理 可 得 一 一 差 一-娄 c 一 出 比 其中 学习率 为指定 的常数 对 于线 性 激 活 函数，()=其 导 数 为：，()=1；对 于对觳 S型激 活函数，(一)一(1-t-e-)，e为 自然数，其导数为；)一 一 1 一 卜 1 一 维普资讯 http:/ 3 5 8 西北纺织工学院学报 第 1 4卷 在 MAT L A BT具 箱 中提 供 了 函数 可 以方 便 地 完 成上 面 的公 式(见 裘 1)寰i MA 1 乙 工 具箱 中 苗鼓 的意义 函 数 名 意义 函 数 名 意 义 p u r di n 线 性 墩 括 函 数 d e)ml i

11、n 对 T-e的 函 数 劬 g 正 切 s垂潋 括 函数 d e I 乜】对 l g的 函数】g 对 效 S型蠹括函熬 d d b 乜n 对 a m g的 函数 s L1 m r 误差 函数】锄 反 向传 播学 习规 刚 2改进 的 B P反 向传 播 算 法 为 了加 快网络 收敛，减少训 练时间，MA I I E B提 供了其 他函鼓(1)初始权值 的选取对于非 线性 系统，初 始 值的选 取十分重要，它 直接影 响到 学 习 是否能 够收敛及训 练时间的长短 初始值 过大，使 加权后 的输入和 落人 S型激活 函效 的饱 和 区，使 调 节 过 程 几 乎 停 顿 所 以，一般 初 始

12、 权 值 是(一 1，1)之 问 的 随机 效 威 得 罗 等人 提 出 了一 策 略 选 取 权 值 的量 级 为，其 中 S 1 为 第 一 层 神 经 元 的数 目，可 以 在 较 少 的训 练 次数 得 到 满 意 的 训 练结 果 MAT L A B工 具 箱 中 用 函数 l o g m 实 现 (2)学习率学习率决定每次循 环 4 练中所 产生的权值变化量 太 的学 习辜可 能导致 系统不稳 定、的学 习率导致 较长 的训 练时 间 所 以，好的办 法是 系统 自动调 节学 习率 (3)附加 动 量 法附 加 动 量 法使 弼 络 在 修 正 其 权 值，不 仅 考 虑误 差 在

13、 梯 度 上 的 作 用，而 且 考 虑 在误 差 曲 面 上变 化 趋 势 的 影 响，其 作 用 如 同 一个 低 通澹 渡 器 在 投有 附加 动 量 的 作 用下，网络 可 能 陷人 局 部 极小 值，利 用 附 加 动 量 的 作 用 则 可 能 滑 过 这 些 极 小 值 MAT L4 B工 具 箱 中带的训练算法见表 2 寰 2 MA 1 u 工 其 辖 串带的训 塔算法 函 数名 意 义 a J nb p 口 乱 n b o n b m 采 用反 向传播 法 的训 练 带 甜加 动量 法曲 反向 传播 洼训练 带 自适应学 习率 的反 向 传播法 训练 带 拜 加动量 法 和

14、自适 直 学习率 的反 向传播洼调 练 3 用 神 经 网络进 行 数 字 图像 识 别 在 自动 化 的生 产 线 上，需 要 根 据 商 品 的 编 号 自动 分 捡，由于 摄像 的 光 线 和角度 的影 响，图像 经二值化处 理后，字 体总有 一些 变形，所 以识别算 法要 有一定的容错性 本文作者采用 3层 3 5 2 0 1 0的 B P网络识别 (1)特枉 的提 取 将 实 际 问 题抽 象 转 化 为 神 经 网络 可 以接 受 的数 蠢 输入，经神 经网络计 算后，再把 网络的 输出转化为 实 际问题 的解 确定输入、输 出数 据(匿 2中对 鼓 字 目像 识 别，所 以 图像

15、 的太 小 以像 素 为 单 位)把 一 个 3 图 2样 率 图 数字 横 向分 为 5 份，纵 向分 为 7 份，如 图 2所 示 分 别 求 得 每 个 小 方 格 内黑 色 像 素 的个 数 占这 个小 方 格 内 总像 素 的 百 分 比(用 小 数 表 示)，形 成 一个 7 5的矩 阵(元 素 的取 值 范 围 为 0，1 维普资讯 http:/ 第 4期B P神经 舟络算法在 数字识剐 中的应用 3 5 9 之 闻)依 次 取 每 行 元 素 转 化 为 3 5 x 1的矩 阵，作 为 神经 网络 的辖 数 据 图 像 是 以像 素 为单 位 的，所 以在 横 向、纵 向上 不

16、 能保 证 完 全 等分 图 2中，图像 高 r l l,l 13 =3 4像 素，如果 每个小格高 4像素，将丢失 3 5 4*7=6行像 素；如 果每 个 小格 高 5像 素，5 *7；3 5将 超 出 图像 范 围 采 用 近 似等 分 的 办法，前 n L I I T ro o d 7个 小 格 高 n u m H 7+1像 素，以后 的 小 格 高 n u m l 7个 像 素 上 面 的 图像 7个 小格 的高 度 分 别 为 5，5，5，5，5，5，4 同 理 在 横 向上 图像 宽 n wn W 也 采 用 近似 等 分 的 办 法 特 征 提 取 的算 法 如 下：Ge t c h a r a c t c r r 玎(函数 文 件)f m-,c 6 o n y a n 1 r o w G 哪 d蚰 c 讶(p u 6 g)n u 1 H，n u mW=(；p u 6 n g)l v-a d d=Ol h a d d=0 I l e a r 曲=mo d(n u ml-1，7)l 】e a v =roo d(n n W，5)l f c*=】；7 s m c e h=f