基于00图像压缩的并行算法研究.docx

基于00图像压缩的并行算法研究.docx

《基于00图像压缩的并行算法研究.docx》由会员分享，可在线阅读，更多相关《基于00图像压缩的并行算法研究.docx（76页珍藏版）》请在冰豆网上搜索。

基于00图像压缩的并行算法研究

摘要

随着多媒体技术和网络应用技术的不断发展,人们可以通过网络方便地传播和交流数字图像产品，因而对数字图像在质量，大小和应用方面提出了更高的要求，希望能够根据实际的需要，对图像能够获得不同的分辨率来压缩和重构图像。

JPEG2000正是为适应这种不断发展的图像压缩应用而出现的静止图像压缩标准，与采用以离散余弦变换为主的区块编码方法的JPEG相比，JPEG2000采用的是以小波变换的多解析编码方式。

在图像处理中，用最少的时间开销和最小的空间开销传输、处理多媒体信息是一个难题，也是图像处理的关键所在。

提高通信带宽可以加速数据的传输，增加存储器可以提供更大的存储容量，但这些都不能真正满足实际应用的需求。

这就需要高压缩比的图像压缩算法，但目前高压缩比的图像压缩算法往往十分耗时，高压缩比的获得是以大量的计算时间为代价的。

因此，在获得图像信号高压缩比的同时，必须研究合适的图像压缩的并行算法，以提高计算速度，满足各种系统的实时要求。

另一方面，在高尖端科技领域内，并行处理技术的出现和蓬勃发展，使得该技术成为现代高性能计算机中最关键技术之一。

并行算法和软件的许多研究方面尚处于探索阶段，技术上还不成熟。

研究一般的通用并行算法难度极大，而且在具体应用时，通常也不能直接使用，因此，针对具体体系结构的实际应用，进行并行算法研究可望得到较大的发展。

实时图像处理就是这样一个既有重大的应用前景，又非常需要并行处理新技术的应用领域。

本文即以网络并行计算技术为主要研究对象，重点研究了并行算法在JPEG2000图像压缩编码中的应用。

本文概述了并行处理技术和图像压缩技术；并详细叙述了并行算法、图像压缩算法的基本概念；介绍了网络并行LogP模型及并行计算的开发环境；简单叙述了JPEG2000标准中的各个部分；并通过将JPEG2000编码的并行算法的设计、分析、优化及模拟实现，展示了并行算法的在JPEG2000中的应用。

关键词图像压缩，并行算法，加速比

Abstract

Withthedevelopmentofmultimediaandnetworktechnology,wecanconvenientlytransmitandexchangedigitalmediaproductsvianetworks,andweneedmoreonquality,sizeandapplicationaboutdigitalpicture.Wewishthatwecancompressandreconstructthepictureindifferentresolutionaccordingtooursapplication.JPEG2000isthenewlystandardaboutstillimagecompressbehindtheJPEGstandard.ItadoptsDWT（DiscreteWaveletTransform）arithmeticonmulti-resolutionanalyticaltheoryandthatJPEGadoptstheDCT（DiscreteCosineTransform）arithmetic.

Parallelprocessingtechniquedealswithmanyaspects.Itincludeshardwaretechnique,parallelsoftware,parallelalgorithm,etc.Butthecurrentinternationalsituationisthatthedevelopmentofparallelalgorithmisfarmorebehindparallelarchitecture.Wearemakingtheinitialresearchesinmanyfields.

Thatiswhythispapermakesnetworkparallelcomputingandapplicationsasitsresearchingobjectinwhichparallelalgorithmandapplicationsinimageprocessingarethestress.Firstly,itsummarizedthebasicconceptionsofimagecompressprocessing,parallelprocessingtechniqueandparallelalgorithmbriefly.ThenitemphasizedonthenetworkparallelcomputingenvironmentandLogPModelofparallelcomputation.Atlast,thispaperdescribedthemethodsofdevelopingparallelalgorithmandapplicationsthroughthedesigning,analyzing,optimizing,andimplementingofdigitalimageCodingparallelalgorithmonJPEG2000usingMPI.

KeywordsImageCompression,ParallelAlgorithmic,Speedup,

目录

第一章引言……………………………………………………………1

1.1研究背景………………………………………………………1

1.2国内外动态及主要工作………………………………………1

1.3论文结构………………………………………………………3

第二章并行计算机体系结构与并行算法…………………………4

2.1并行计算机体系结构………………………………………4

2.1.1并行计算机分类…………………………………………4

2.1.2并行计算模型……………………………………………6

2.2并行算法概述……………………………………………………7

2.2.1并行算法设计方法………………………………………7

2.2.2并行算法性能度量………………………………………8

2.2.3并行加速比模型…………………………………………10

2.3基于消息传递的并行程序开发环境…………………………11

2.3.1MPI（MessagePassingInterface）…………………11

2.3.2PVM（ParallelVirtualMachine）…………………12

第三章图像压缩技术概述…………………………………………13

3.1图像处理技术简介……………………………………………13

3.2图像压缩的基本思想…………………………………………14

3.2.1无损压缩…………………………………………………14

3.2.2有损压缩…………………………………………………17

3.3衡量图像压缩质量的两个指标………………………………19

第四章JPEG2000标准介绍…………………………………………21

4.1JPEG2000的优越性……………………………………………21

4.2JPEG2000的编解码系统………………………………………23

4.2.1预处理/后处理…………………………………………24

4.2.2分量变换…………………………………………………25

4.2.3小波变换…………………………………………………25

4.2.4量化………………………………………………………28

4.2.5熵编码……………………………………………………29

4.2.6码流的分层组织…………………………………………29

4.2.7数据包……………………………………………………30

4.2.8EBCOT……………………………………………………30

4.3小结……………………………………………………………36

第五章基于JPEG2000的图像压缩并行算法研究………………37

5.1JPEG2000串行算法分析………………………………………37

5.1.1编解码的数据结构………………………………………38

5.1.2编解码的初始化通道过程分析…………………………42

5.2并行算法设计…………………………………………………46

5.2.1计算模型以及任务划分…………………………………47

5.3并行算法的实现………………………………………………48

5.4试验结果及分析………………………………………………50

5.5关于小波变换并行化的思考…………………………………53

5.6关于Tile的并行化……………………………………………54

5.7小结……………………………………………………………55

第六章总结与展望…………………………………………………56

参考文献………………………………………………………………58

致谢……………………………………………………………………62

个人简历及发表的学术论文…………………………………………63

第一章引言

1.1研究背景

随着计算机技术的迅速发展，许多问题要求人们要进行更快更实时的处理，这就促进了并行处理技术的孕育和发展。

随着近20年来各种高性能微处理器的问世，高速网络通信技术的不断成熟，以及并行软件工具的不断改进，并行处理技术得到了飞速发展，并越来越多的在模拟仿真、图像处理、地震预测、地质勘探、数据仓库、以及气候建模等具有挑战性的领域得到应用。

作为实现并行处理技术的手段，并行程序设计技术也随着各种并行语言、并行编译器、并行算法研究以及并行开发工具软件的逐渐完善正在越来越多地被广大编程人员所熟悉，并在实践中得到发展。

另一方面，随着Internet的飞速发展，多媒体技术得到广泛应用，信息成指数级增长，但传输带宽和存储空间有限，因此信息处理的关键之一是较快的速度和较高的压缩比。

但在理论和实际问题中，视频信号高压缩比的获得往往以巨大的计算量为代价，处理速度慢，单机无法胜任，不能满足实时系统的实时要求，特别是在雷达侦测、卫星图片、会议电视、可视电话和视频点播和图像监控等领域中的需求。

为此，在获得视频信号高压缩比的同时，必须采用并行计算机并研究合适的视频压缩的并行算法，以提高计算速度满足系统的实时要求。

为了最大可能地发挥计算机的最佳性能，满足人们对图像处理实时性的要求，就要深入地对其并行算法进行研究。

然而目前国内外对并行算法和并行软件的研究明显地滞后于并行体系结构的发展，尤其国内对视频图像的并行压缩算法方面的研究都尚处于探索阶段。

并行算法作为计算机科学的前沿课题之一，在国内起步较晚，许多研究领域尚处于发展的初级阶段。

为了缩小与国外并行计算领域的差距，加强对并行算法及其在视频图像压缩编码方面应用的开发与研究已经成为并行计算研究刻不容缓的当务之急。

本文即是基于这种背景下，为了提高在应用领域和生活民用中的视频图像信息传输的实时性，特别是对于静止图像压缩算法，以新兴的网络并行计算技术为主要研究对象，重点研究了基于JPEG2000标准提出的压缩算法并行化的可能性。

1.2国内外动态及主要工作

随着JPEG2000标准的出台，参与开发的企业除了软件供应商越来越多以外，还有很多制造图像设备的硬件供应商，以及整个IT业界都看好JPEG2000。

据悉，清华大学微电子研究所正在与美国WIS技术公司合作开发在FPGA中使用的运算器，该运算器将用于JPEG2000设备核心的画质无损/有损过滤器。

国内的一些相机制造商也在积极开发JPEG2000数码相机。

上海海鸥相机公司现在已经达到年产60万部普通百万像素解像JPEG标准数码相机的能力，该公司正在和一些世界顶级的JPEG2000技术芯片供应商争取合作关系。

凤凰光学仪器公司与北京大学遥感所合作，建立了一个数码相机压缩控制芯片及CMOS成像器的开发项目。

目前，对JPEG2000压缩算法的并行算法研究，国内外从软件方面考虑主要集中以下几个方面：

在针对如何在一个单时钟周期内实现两个位编码的EBCOT（EmbeddedBlockCodingWithOptimizedTruncation）体系的并行化研究，其研究的重点主要集中在JPEG2000中最复杂的部分EBCOT的Tier-1编码，因为Tier-1编码包含了大量的计算负载，所以针对EBCOT国内外提出了许多种体系结构，并且大部分也已经在实际的应用中被采用，如参考文献[1],[2],[3]提到的体系结构，所有的这些方法采用的是JPEG2000的缺省模式，或者称之为串行模式与并行模式的并存模式，除此之外，还有基于图像压缩过程中如何提高内存利用率的并行（参考文献[4]），这主要是通过使用RESTART、RESET和CAUSAL三个模式选择，从而得到减少JPEG2000编码器的内存利用，特别是减少子带数据占用的内存。

另外还有基于如何把位平面和双通过程并行化BPDP（Bit-planeandPassDualParallel）的系数位模式（CoefficientBitModeling）并行（参考文献[5]），这主要是利用并行的思想通过在一次扫描之内完成小数位平面FBP（FractionalBit-plane）编码而实现。

此外在硬件方面，国内外还有利用并行的思想，使用超大规模集成电路（VeryLargeScaleIntegration）实现EBCOT编码器。

其中文献[6]提出一种新的VLSI体系采用一种叫做动态内存控制（DynamicMemoryControl）策略来加速编码过程。

另外文献[7]中针对位平面编码器提出了一种管道VLSI体系，在每一个通道（Pass）过程中同时处理一列。

然而，单纯地从图像压缩的时间长短的角度考虑，以图像压缩时间最少进行并行化的文章却比较少，本文正是基于这个角度出发，通过分析JPEG2000图像压缩算法的串行代码实现，从中要找出JPEG2000图像压缩技术中各个阶段中运算费时最长、计算量最大的部分来并行化，从而得到节约计算时间，满足图像压缩应用中实时性的要求。

围绕<<基于JPEG2000图像压缩的并行算法研究>>这个课题内容，本文作者在毕业论文阶段主要作了以下工作：

•对JPEG2000标准的串行算法进行讨论和分析；

•设计实现基于小波变换系数块的并行算法；

•对实现其它并行算法的实现进行讨论和分析；

1.3论文结构

本论文全文共分六章，其中前四章介绍基本理论知识，第五章是重点。

第一章，为引言，介绍了本文的课题背景、本文结构以及本文课题的特点；

第二章，介绍了并行计算机分类，体系结构，模型以及并行算法，以及衡量并行算法性能的指数如效率和加速比；

第三章，介绍了图像压缩技术简介，特别是无损压缩和有损压缩的方法

第四章，介绍了JPEG2000标准，讨论了JPEG2000标准的优越性能以及各个处理阶段

第五章，分析了JPEG2000的编码部分的代码，分析数据处理过程，提出其并行化的方案，最后是试验结果。

总结和展望。

最后为结束语。

第二章并行计算机体系结构与并行算法

2.1并行计算机体系结构

2.1.1并行计算机分类

随着计算机科学技术的飞速发展，并行计算机应用领域也越来越广泛。

虽然近几十年来硬件技术的发展导致了CPU处理速度的飞速提高，但是在一些如能源、气象、军事、医学、人工智能等的高级应用领域，其处理速度仍然得不到满足。

这些领域的实际应用强烈要求快速而有效的并行计算机来实现大规模的科学计算和数据处理。

并行技术包括硬件技术和软件技术两个方面。

硬件技术涉及硬件制造和硬件级别的指令并行等，软件技术则包括并行操作系统、并行编译环境、并行编程环境和并行算法设计等。

1996年美国学者M.J.Flynn按照指令流和数据流的不同将并行计算机分为四类，其中有两类属于并行计算机范围。

1．单指令流单数据流（SISD）计算机

大多数PC机都属于这类，它不属于并行计算机范畴，而属于传统的串行计算机它有两个非常重要的特征：

串行性和确定性。

2．单指令流多数据流（SIMD）计算机

SIMD中有一个指令流，但可能有多个单元在执行，然而在任何时间只能有一条指令在执行。

该类计算机对数据并行类问题，能够得到很高的处理速度，其主要特征是：

同步的，确定的，适合指令/操作级并行。

阵列处理机、流水线处理机等均属于此类。

3．多指令流单数据流（MISD）计算机

此类计算机实例很少，然而一些特殊用途的计算可能适合这一范围：

如操作一个单信号流的多频率滤波器。

4．多指令流多数据流（MIMD）计算机

该类是并行计算机较理想的结构，每一个处理器在各自唯一的数据流上执行各自的指令流。

其主要特征如下：

指令流可同步或者异步执行；

指令流的执行具有确定性和不确定性；

适合块、回路或者子程序级的并行；

可以按照多指令或者单程序的模式运行。

根据内存分布和存储方式的不同,MIMD计算机又可分为以下几种类型。

1）共享存储MIMD，也称为对称多处理机（SMP）

SMP系统是并行技术发展初期最常见的多处理计算机体系，在该类计算机中，每一个处理器的地位都一样，它们连接在一起，通过中央开关机构（如公共总线、交叉开关、包开关等）去访问全局共享存储器，属于紧密耦合多处理机（TCM）系统。

但是由于存储器共享，导致了在处理器和存储器系统之间的瓶颈。

2）分布式共享存储MIMD也称为非一致内存范围（NUMA）

分布式共享存储MIMD系统中每一个处理器都有各自的局部存储器，将各个局部存储器组合起来形成一个共享的地址空间。

它属于松散耦合多处理机（LCM）系统。

由于不需要集中的开关机构，因而它的扩展性要比共享存储MIMD系统好，可以连接大量的处理器，编程也较方便，适合科学工程计算。

其代表机型是SGI的Original2000和Sun的Enterprise6500。

3）分布式存储MIMD

分布式存储MIMD是系统中每个处理器都有各自的局部存储器，构成一个单独的点，节点间通过告诉网络连接。

处理器可以访问自己节点内部的存储，对于其它节点则不能访问。

而要通过消息传递的方式进行。

分布式存储MIMD主要有以下两种形式：

1大规模并行（MassivelyParallelProcessing）系统，简称MPP

MPP是最常见的并行系统。

MPP体系突破类SMP系统中处理器与内存

间的瓶颈，其最大的优点是可以最大可能的增加处理器的数量。

但MPP系

统也有较大的缺点，即由于每一个节点机无法直接访问全部内存，需要依赖

消息传递来相互通信，而消息传递对于编程者来说是不透明的，因为大大增

加了编程的复杂度，同时，由于MPP体系的特殊性，目前流行的MPP计算

机玩玩都有专用的结构。

MPP系统的代表性机型有ASCIOptionRed、Inter

Paragon、MeikoCS-2、nCUBE、CM-5等。

我国自行研制的曙光1000计算

机和神州－II巨型机也属于典型的MPP计算机系统。

2群集（Cluster）系统，也称为机群，簇集

群集系统是利用高速通用网络（如ATM等）将一组高性能工作站或者高

档PC机，按照某种结构连接，并在并行程序设计以及可视化人机交互继承

开发环境支持下，统一调度，协调处理，实现高效并行处理的系统。

典型的

Cluster系统有IBM公司的SP-2和DEC的Trucluster。

我国自行研制的曙光

1000A，曙光2000也属于这类体系结构。

2.1.2并行计算模型

并行计算模型是指将各种并行机（至少室某一类并行机）的基本特征抽取出来，形成一个处于具体并行机之上的抽象并行计算机。

并行计算模型与并行算法设计、并行计算机之间的关系如图2－1：

迄今为止，已有多种并行计算模型存在，例如PRAM模型，LogP模型、C3模型、BDM模型等，但其中的每一种都只是抽象了实际并行机的一个或者几个方面，尚无一种模型适合与所有的并行机。

1．PRAM模型室对一类共享存储并行机的特征提取，假设网络带宽无限，可直接开发原始算法内在粒度并行。

2．LogP模型是对一类分布式并行计算机的特征提取，基于点对点通信的计算模型，集中分析了处理机与网络之间的瓶颈。

其中

L（Latency）：

表示源处理器与目标处理机之间进行消息通信所

需要等待的延迟时间的上限。

O（overhead）：

处理机用于发送或者接受每一个消息的时间开

销。

在这段时间内处理机不能执行其他操作。

G（gap）:

一台处理机连续地进行消息接受时的最小时间

间隔。

G的倒数与每台处理机可用的通信带宽相

对应。

P（Processor）：

处理机/存储器模块对的数量。

3．C3模型是对一类基于消息传递的分布式粗粒度系统的特征提取，集中反映的是网络拥挤和路由影响。

4．BDM模型是共享存储编程模式与消息传递的分布式存储系统之间的一个桥梁模型，反映的是存储系统种流水线预取等方面的影响。

2.2并行算法概述

并行算法是指在各种并行计算机上求解问题和处理数据的算法，其本质是把多任务映射到多处理机中执行，或将现实的多维问题映射到具体特定的拓扑结构的多处理机上求解。

并行算法的实现强烈地依赖于计算机硬件和软件环境。

2.2.1并行算法设计方法

利用并行处理机系统求解一个给定的问题，需要根据系统的类型和特征设计并行算法。

通常有三种途径：

1、检测可开发现有串行算法中固有并行性而直接将其串行化；

2、从问题本身的特征出发，设计一个新的并行算法；

3、修改已有的并行算法使其可求解另一类相似问题。

目前，普遍使用的并行算法的设计方面有以下几种：

1．流水线技术（PipeliningTechnique）

流水线是一项重要的并行算法的设计技术，它在VLSI并行算法中表现的尤为突出。

其基本思想是将一个计算任务t,分成一系列子任务t1,t2,…tm,使得一旦t1完成，后继的子任务就可立即开始，并以同样的速率进行计算。

2．分治策略（Divide-and-ConquerTechnique）

其基本思想是将原问题分解成若干个特征相同的子问题分而治之，将计算负载分摊在各个计算节点上，以减少单个节点的计算量，从而达到加速整体运行效率的目的。

若所得的子问题规模仍然太大，可反复使用分治策略直至很容易求解诸子问题为止。

常见的分治方法有以下两种：

数据分割：

各结点基本执行相同的任务，只是数据不同。

任务分割：

总任务分解为数个子任务，将任务分摊在各个结点上。

3．平衡树方法（Balancing-treeTechnique）

将输入元素作为叶节点构筑一棵平衡二叉树，然后自叶向根往返遍历。

此法成功的部分原因是在树中能快速地存取所需要的信息。

平衡二叉树的方法可以推广到内节点的子节点的数目不只是两个的任意平衡树。

这种方法对数据的传播、压缩、抽取和前缀计算等甚为有效。

4．倍增技术（DoubleTechnique）

又叫指针跳跃技术（PointerJumpingTechnique）,特别适合处理以链表、有向图或者有根树之类表示的数据结构，在图论和链表算法中有着广泛的应用。

每当递归调用时，所要处理的数据之间的距离将逐步加倍，经过k步后就可完成距离为

的所有数