基于SVM的手写数字识别的应用与实现.docx

1、基于SVM的手写数字识别的应用与实现摘要手写数字识别是字符识别的一个分支，虽然只是识别简单的 10 个数字，但却 有着非常大的实用价值。在文献检索、邮政系统、办公自动化、表格录入、银行 票据处理等方面都有着广泛的应用。手写数字虽然只有 10 个种类，但很多情况下， 对识别的精度要求非常高，而且每个人都有不同的字迹，想要做到准确的识别， 就很有难度了。支持向量机(Support Vector Machine，SVM)最初于 20 世纪 90 年代由 Vapnik 提出，是基于统计学习理论的一项新技术，是借助于最优化方法解决机器学习问 题的新工具，具有许多引人注目的优点和有前途的实验性能，在人脸识

2、别，手写 数字识别，网页分类等方面有非常理想的效果。所以，本文将支持向量机应用于 手写数字识别，希望能够得到不错的精度。手写数字识别一共有 10 类样本，是一个多分类问题，本文将多个支持向量机 的二类分类器组合起来构成一个多类分类器，以便实现手写数字识别。我们把样 本分为训练样本集和测试样本集，训练样本集与测试样本集都要经过预处理得到 点阵数据，然后再经过特征提取，用来训练识别器以及进行识别。【关键词】手写数字识别，支持向量机，分类器，特征提取，预处理Application and Implementation of Handwr itingNumer a ls R ecognition Ba

3、sed on SVMAbstr actHandwriting numerals recognition is a branch of the character recognition, although just recognition simple 10 figures, but it has a very big practical value. In the literature retrieval, the postal system, office automation, form entry, bank bills are processing, etc in a wide ra

4、nge of applications. Handwriting numerals although only 10 species, but in many cases, the accuracy requirement of recognition is very high, and everybody has different handwriting, to get accurate identification, is very difficult.The Support Vector Machine (SVM) in the early 1990s, is put proposed

5、 by Vapnik, in data mining is a new technology, is a further optimization method of machine learning problem solving new tools, has many compelling advantages and promising experimental performance, in face recognition, Handwriting numerals identification, classification of web pages is very ideal e

6、ffect. So, this paper will support vector machine applied in Handwriting numeral recognition, the hope can obtain good accuracy.Handwriting numerals identifying a total of ten kinds of samples, is a multiple classification problem, this paper will more support vector machine classifier ii combined f

7、orm a multitude of classifier, in order to realize Handwriting numeral recognition. We put the samples are divided into the training sample set and testing samples, the training sample set and test samples are through pretreatment get bitmap data, then after feature extraction and recognition used t

8、o train identifier.【 Keywords 】 Handwriting Numeral Recognition, Support Vector Machine, Classifier, Features Extraction, Preprocess摘要 IIAbstract III1 绪论 11.1 研究背景 11.1.1 手写数字识别概述 11.1.2 研究的困难和问题 11.1.3 研究动态 21.2 手写数字识别的一般方法 31.2.1 识别流程 31.2.2 识别方法 32 SVM（支持向量机）的相关研究 52.1 SVM 概述 52.1.1 理论背景 52.1.2 S

9、VM 简介 62.1.3 SVM 的优点 72.2 VC 维 82.3 SVM 原理 82.3.1 分类问题与机器学习 82.3.2 两类可分问题的线性分类机 92.3.3 非线性支持向量机核函数方法 113 数字识别预处理过程 143.1 二值化 143.2 平滑去噪 143.3 归一化 154 基于 SVM 数字识别过程 174.1 SVM 分类算法 174.1.1一对多（One-Versus-All，OVA）算法 174.1.2一对一（One-Versus-One，OVO）算法 184.1.3 两种分类算法的优缺点比较 194.2 核函数的选择 194.3 实验结果及分析 204.3.1

10、 基于线性核函数的 SVM 分类器的测试 214.3.2 基于二次核函数的 SVM 分类器的测试 224.3.3 基于多项式核函数的 SVM 分类器的测试 224.3.4 基于径向基核函数的 SVM 分类器的测试 234.3.5 测试结果分析 245 结论 25参考文献 261 绪论1. 1 研究背景1.1.1 手写数字识别概述阿 拉 伯 数 字 作 为 唯 一 被 世 界 各 国 通 用 的 符 号 ， 是 人 类 文 明 发 展 的 标 志 之 一 ， 也 是 人 类 交 流 沟 通 的 主 要 媒 介 。 在 人 们 日 常 生 活 当 中 ， 离 不 开 数 字 的 使 用 ， 我 们

11、 每 天 都 要 进 行 大 量 的 数 字 工 作 处 理 ， 比 如 邮 政 编 码 、 统 计 报 表 、 财 务 报 表 、 银 行 汇 款 转 账 等 等 ， 如 此 繁 琐 的 数 字 工 作 处 理 占 去 了 我 们 很 大 一 部 分 时 间 ， 空 间 。 而 对 于 ， 计 算 机 大 范 围 普 及 ， 人 工 智 能 高 度 发 展 的 当 今 社 会 ， 利 用 手 写 数 字 识 别 系 统 代 替 人 们 进 行 这 样 繁 重 的 手 工 劳 动 ， 备 受 国 内 外 人 士 的 高 度 重 视 。目 前 ， 市 场 上 也 出 现 了 一 些 手 写 体

12、数 字 识 别 的 应 用 ， 在 许 多 范 围 如 税 务 、 财 务 、 金 融 等 领 域 中 都 有 广 泛 的 应 用 ， 有 较 高 的 商 业 价 值 。 于 是 数 字 识 别 的 准 确 度 问 题 又 浮 上 水 面 ， 但 是 现 在 还 没 有 哪 个 手 写 体 数 字 识 别 器 能 达 到 100 % 的 识 别 准 确 率 。 因 此 ， 进 一 步 提 高 手 写 数 字 识别 系 统 的 识 别 性 能 是 现 在 手 写 数 字 识 别 系 统 研 究 的 重 点 1。数 字 识 别 在 学 科 上 是 图 像 处 理 和 模 式 识 别 领 域 中 的

13、 研 究 课 题 之 一 ， 主 要 研 究 利 用 计 算 机 识 别 书 写 在 纸 上 的 阿 拉 伯 数 字 。 数 字 识 别 系 统 一 般 由 图 像 采 集 、 信 号 预 处 理 、 特 征 提 取 、 分 类 识 别 等 几 个 部 分 组 成 ， 识 别 系 统 的 识 别 方 式 可 分 为 印 刷 体 数 字 识 别 跟 手 写 体 数 字 识 别 ， 而 后 者 根 据 书 写 时 间 跟 识 别 时 间 的 关 系 ， 又 可 分 为 联 机 手 写 体 识 别 与 脱 机 手 写 体 识 别 两 种 ， 即 实 时 手 写 体 数 字 识 别 与 非 实 时 手

14、 写 体 数 字 识 别 。 其 中 脱 机 手 写 体 数 字 识 别 由 于 书 写 者 得 关 系 ， 其 字 符 的 随 意 性 较 大 ， 如 笔 画 的 扭 曲 度 、 粗 细 ， 字 体 的 大 小 、 倾 斜 度 等 差 异 ， 都 将 影 响 到 字 符 识 别 的 准 确 度 。 所 以 ， 系 统 的 实 现 具 有 很 大 的 困 单 ， 是 字 符 识 别 领 域 内 极 具 挑 战 性 的 课 题 。1.1.2 研究的困难和问题上 文 也 有 提 到 ， 数 字 的 类 别 只 有 10 种 ， 结 构 也 很 简 单 ， 识 别 起 来 似 乎 也 很 简 单 。

15、 但 是 事 实 上 ， 数 字 识 别 的 识 别 率 还 不 如 更 加 复 杂 的 汉 字 识 别 。 也 正 是 因 为 数 字 的 笔 画 非 常 简 单 ， 同 一 数 字 的 写 法 千 差 万 别 ， 世 界 各 国 ， 各 地 区 的 书 写 习 惯 、 书 写 方 式 都 有 很 大 不 同 ， 很 难 做 到 兼 顾 到 各 地 区 各 种 写 法 的 数 字 识 别 系 统 的 高 识 别 率 。而 且 ， 数 字 的 字 形 都 很 接 近 ， 比 如 ：“ 1 ” 和 “ 7 ”，“ 3 ” 和 “ 8 ”， 由 于 个 人 书 写 习 惯 不 同 ， 书 写 出

16、来 很 容 易 变 得 很 相 似 ， 在 数 字 识 别 系 统 中 ， 要 准 确 区 分 开 来 ， 就 变 得 很 困 单 。另 外 ， 在 实 际 应 用 中 ， 手 写 数 字 识 别 的 精 确 度 要 求 也 比 汉 字 识 别 要 严 格 的 多 。 因 为 ， 数 字 识 别 常 被 用 到 的 领 域 是 财 会 、 金 融 等 ， 这 方 面 的 严 格 性 要 求 不 言 而 喻 ， 往 往 一 字 之 差 ， 带 来 的 差 别 与 损 失 是 无 法 估 量 的 。 但 是 数 字 识 别 系 统 的 要 求 并 不 仅 仅 是 识 别 率 ， 需 要 处 理 的

17、 数 据 一 般 都 是 大 批 量 的 ， 所 以 ， 即 使 有 了 高 的 识 别 率 ， 没 有 相 当 的 速 度 也 是 行 不 通 的 。但 是 高 精 度 与 高 速 度 一 般 是 相 矛 盾 的 ， 因 此 ， 研 发 高 性 能 的 数 字 识 别 系 统 是 一 项 挑 战 性 非 常 高 的 项 目 。1.1.3 研究动态光 学 字 符 识 别 （ Optical C haracter R ecog nition， OC R ） 技 术 就 是 利 用 光 学 技 术 对 文 字 和 字 符 进 行 扫 描 ， 确 定 其 形 状 ， 然 后 利 用 字 符 识 别

18、方 法 将 形 状 翻 译 转 换 成 计 算 机 内 码 的 过 程 。 早 在 50 年 代 ， 欧 美 国 家 就 开 始 了 OC R 的 研 究 ， 将 浩 如 烟 海 的 字 符 材 料 扫 描 进 计 算 机 ， 让 其 进 行 信 息 处 理 。 到 了 六 七 十 年 代 ， 世 界 各 国 也 相 继 开 始 了 OC R 的 研 究 。OC R 可 以 说 是 一 种 不 确 定 的 技 术 研 究 ， 因 为 牵 扯 到 书 写 者 的 书 写 习 惯 ， 识 别 的 方 法 ， 训 练 测 试 的 样 本 等 因 素 ， 都 会 影 响 到 识 别 的 正 确 率 。

19、 其 正 确 率 就 像 一 个 趋 势 函 数 ， 只 能 趋 近 ， 而 不 能 达 到 100 % ， 大 家 都 以 100 % 作 为 研 究 目 标 。世 界 上 第 一 个 将 该 技 术 付 诸 实 用 的 是 日 本 东 芝 公 司 研 发 的 手 写 体 邮 政 编 码 识 别 的 信 函 自 动 分 拣 系 统 ， 之 后 ， 随 着 时 间 的 推 移 ， 各 种 各 样 的 产 品 、 系 统 相 继 问 世 。 中 国 对 于 OC R 方 面 的 研 究 起 步 相 对 较 晚 ， 直 到 1989 年 ， 清 华 大 学 率 先 推 出 了 国 内 第 一 套

20、中 文 OC R 软 件 清 华 文 通 TH 一 OC R ， 至 此 中 国 的 OC R 技 术 正 式 起 步 。随 着 研 究 的 进 展 ， 文 字 和 数 字 识 别 市 场 逐 渐 稳 步 扩 大 ， 用 户 遍 布 世 界 各 地 。 近 几 年 来 ， 中 国 国 内 对 于 手 写 数 字 识 别 的 研 究 还 是 相 当 成 功 的 ， 取 得 了 很 大 的 成 绩 。 手 写 数 字 识 别 技 术 可 以 用 于 邮 政 编 码 、 统 计 报 表 、 财 务 报 表 、 银 行 票 据 等 信 息 处 理 ， 一 旦 研 究 成 功 并 投 入 应 用 ， 将

21、 产 生 巨 大 的 社 会 和 经 济 效 益 。随 着 信 息 化 的 发 展 ， 计 算 机 的 普 及 ， 人 工 智 能 的 研 究 ， 手 写 数 字 识 别 的 应 用 也 日 益 广 泛 ， 因 此 ， 研 究 高 识 别 率 、 高 速 度 的 高 性 能 手 写 数 字 识 别 系 统 有 着 重 大 的 现 实 意 义 。 当 然 随 着 这 些 的 发 展 ， 市 场 的 推 动 ， 手 写 数 字 识 别 技 术 将 会 取 得 更 大 的 进 展 。1. 2 手写数字识别的一般方法1.2.1 识别流程手 写 数 字 识 别 一 般 来 说 ， 首 先 把 数 字 图

22、 像 经 过 预 处 理 ， 然 后 将 得 到 的 数 据 进 行 特 征 提 取 直 接 输 入 识 别 器 进 行 识 别 得 到 结 果 ， 如 图 1 -1 所 示 。 图 1- 1 数字识别流程图将 数 字 识 别 的 流 程 归 纳 一 下 ， 可 分 为 预 处 理 ， 特 征 提 取 跟 识 别 器 三 个 方 面 ：（ 1 ） 预 处 理 ， 通 过 归 一 化 ， 二 值 化 ， 细 化 等 步 骤 ， 对 图 像 进 行 处 理 ， 以 提 高 精 度 。（ 2 ） 特 征 提 取 ， 对 于 已 经 经 过 预 处 理 的 手 写 数 字 图 像 ， 形 状 多 样

23、， 数 量 繁 多 ， 样 本 处 在 一 个 高 维 空 间 中 ， 通 过 映 射 到 低 维 空 间 或 者 变 换 的 方 法 来 提 高 精 确 度 与 速 度 。（ 3 ） 识 别 器 ， 经 过 以 上 处 理 的 手 写 数 字 图 像 ， 通 过 选 定 的 分 类 器 来 实 现 数 字 识 别 。1.2.2 识别方法对 手 写 数 字 进 行 前 期 处 理 后 可 以 得 到 一 个 8 8 或 是 16 l 6 的 矩 阵 ， 然 后 需 要 对 该 矩 阵 的 内 容 进 行 分 类 ， 识 别 。 在 过 去 的 几 十 年 中 ， 研 究 者 们 提 出 了 许

24、 多 种 用 于 识 别 手 写 数 字 的 技 术 。 目 前 而 言 最 常 用 的 方 法 有 神 经 网 络 、 决 策 树 和 S V M 方 法 。（ 1 ） 人 工 神 经 网 络 （ A rtificia l Neural Netw orks， A NNs） 也 简 称 为 神 经 网 络 （ NNs） 是 一 种 模 拟 人 脑 内 部 结 构 ， 进 行 分 布 式 并 行 信 息 处 理 的 算 法 数 学 模 型 。 他 具 有 良 好 的 容 错 能 力 ， 自 学 习 能 力 ， 分 类 能 力 等 ， 它 可 以 处 理 一 些 环 境 复 杂 ， 背 景 知 识

25、 不 清 ， 推 理 机 制 不 明 确 的 问题 ， 容 许 样 本 有 较 大 的 缺 损 和 畸 变 7。可 以 采 取 具 有 一 个 隐 含 层 的 B P 网 络 来 构 造 手 写 数 字 识 别 核 。网 络 的 输 入 、输 出 应 根 据 应 用 的 具 体 要 求 来 设 定 ， 输 入 特 征 数 据 为 32 32 的 矩 阵 ,转 换 成 1024 1 的 矩 阵 ,因 此 神 经 网 络 输 入 神 经 元 数 目 为 1024 。 要 识 别 0 9 这 10 个 数 字 ,可 以 对 于 输 出“ 0 ”,采 用 ( 0 ,0 ,0 ,0 ) 主 要 的 目标

26、 向 量 来 表 示 ,对 于 输 入“ 1 ”,采 用 ( 0 ,0 ,0 ,1 ) 这 样 的 输 出 向 量 来 表 示 以 此 类 推 。 因 此 ,就 可 以 确 定 输 出 层 的 神 经 元 数 目 ,也 即 输 出 向 量 的 维 数 。训 练 参 数 时 ，为 了 使 B P 网 络 对 输 入 有 一 定 的 容 错 性 ，利 用 含 有 和 不 含 有 噪 声 的 输 入 数 据 训 练 网 络 。（ 2 ） 决 策 树 方 法 最 早 产 生 于 上 世 纪 60 年 代 到 70 年 代 末 。 决 策 树 一 般 都 是 由 上 往 下 来 生 成 的 ， 每 个

27、决 策 都 有 可 能 引 出 两 个 或 两 个 以 上 的 事 件 ， 这 种 决 策 分 支 画 成 的 图 形 很 像 一 棵 树 ， 所 以 称 决 策 树 。 决 策 树 在 数 据 挖 掘 中 是 一 种 经 常 用 到 的 技 术 ， 可 以 用 于 分 析 数 据 ， 也 可 以 用 来 作 预 测 。 决 策 树 算 法 有 分 类 精 度 高 ， 成 对 模 式 简 单 ， 对 噪 声 数 据 有 很 好 的 健 壮 性 等 优 点 ，所 以 是 目 前 应 用 最 为 广 泛 的 归 纳 推 理 算 法 之 一 ， 备 受 研 究 者 的 关 注 9。针 对 某 个 数

28、 字 均 有 着 不 同 的 手 写 体 形 式 ， 它 们 有 不 同 的 特 征 属 性 集 。 针 对 数 字 0 9 的 各 种 手 写 体 数 字 的 异 体 字 来 建 立 一 个 训 练 数 据 集 ， 通 过 对 该 训 练 数 据 集 进 行 适 当 的 冲 突 消 除 和 约 化 ， 建 立 数 据 集 ， 再 利 用 基 于 分 层 思 想 的 决 策 树 算 法 产 生 决 策 树 。获 取 数 字 图 片 并 预 处 理 之 后 ， 扫 描 图 片 ， 提 取 该 数 字 的 属 性 特 征 ， 搜 索 生 成 好 的 决 策 树 ， 经 过 层 层 分 类 ， 可

29、以 得 出 该 手 写 体 数 字 。（ 3 ） S V M （ 支 持 向 量 机 ）， 是 数 据 挖 掘 中 的 一 项 新 技 术 ， 是 借 助 于 最 优 化 方 法 来 解 决 机 器 学 习 问 题 的 新 工 具 ， 是 克 服 “ 维 数 灾 难 ” 和 “ 过 学 习 ” 等 传 统 困 难 的 有 力 手 段 。本 文 主 要 讨 论 基 于 S V M （ 支 持 向 量 机 ） 手 写 数 字 识 别 的 应 用 与 实 现 ， 因 此 ， 具 体 内 容 将 会 在 下 文 详 细 介 绍 。2 SVM（支持向量机）的相关研究2. 1 SVM概述2.1.1 理论背

30、景支 持 向 量 机 方 法 是 建 立 在 统 计 学 习 理 论 的 V C 维 理 论 和 结 构 风 险 最 小 原 理 基 础 上 的 ，根 据 有 限 的 样 本 信 息 在 模 型 的 复 杂 性 和 学 习 能 力 即 对 特 定 训 练 样 本 的 学 习 精 度 和 无 错 误 地 识 别 任意 样 本 的 能 力 之 间 寻 找 最 佳 的 折 衷 ， 来 获 得 最 佳 推 广 能 力 1。传 统 统 计 学 的 识 别 方 法 一 般 都 是 在 样 本 数 目 足 够 多 的 前 提 下 进 行 研 究 的 ， 现 有 的 学 习 方 法 也 多 是 基 于 此 假

31、 设 ， 所 提 出 的 各 种 方 法 也 只 有 在 样 本 数 趋 向 无 穷 大 时 其 性 能 才 有 理 论 上 的 保 证 。 而 在 实 际 应 用 中 ， 样 本 数 目 通 常 都 是 有 限 的 ， 因 此 一 些 在 理 论 上 很 优 秀 的 学 习 方 法 ， 实 际 中 的 表 现 往 往 跟 预 想 中 有 很 大 差 距 。 作 为 传 统 统 汁 学 的 重 要 发 展 和 补 充 ， 统 计 学 习 理 论（ S ta tistical L earning Theory ， S LT） 是 一 种 专 门 研 究 小 样 本 情 况 下 机 器 学 习 规

32、 律 的 理 论 ， 为 研 究 有 限 样 本 情 况 下 机 器 学 习 的 理 论 和 方 法 提 供 了 良 好 的 理 论 框 架 ， 其 核 心 思 想 是 通 过 控 制 学习 机 器 的 容 量 实 现 对 推 广 能 力 的 控 制 4。该 理 论 针 对 小 样 本 统 计 问 题 建 立 了 一 套 新 的 理 论 体 系 ， 在 这 种 体 系 下 的 统 计 推 理 规 则 不 仅 考 虑 了 对 渐 近 性 能 的 要 求 ， 而 且 追 求 在 现 有 有 限 信 息 的 条 件 下 得 到 最 优 结 果 。 Vapnik 等 人 从 六 、 七 十 年 代 开 始 致 力 于 此 方 面 研 究 ， 随 着 统 计 学 习 理 论 的 不 断 发 展 和 完 善 ， 也 由 于 神 经 网 络 等 学 习 方 法 在 理 论 上 缺 乏 实 质 性 进 展 ，