多媒体通信课程论文.docx

多媒体通信课程论文.docx

《多媒体通信课程论文.docx》由会员分享，可在线阅读，更多相关《多媒体通信课程论文.docx（16页珍藏版）》请在冰豆网上搜索。

多媒体通信课程论文

多媒体通信课程论文

论文题目MPEG-7及MPEG-21技术探讨

姓名xxxxx

学号xxxxx

指导老师xxxxx

目录

摘要01

前言01

1MPEG-7标准01

1.1MPEG-7简介01

1.2MPEG-7的目标02

1.3MPEG-7的组成02

1.4MPEG-7主要功能03

1.4.1MPEG-7视觉03

1.4.2MPEG-7音频03

1.4.3MPEG-7多媒体描述方案03

1.4.4MPEG-7参考软件：

实验模型04

1.5MPEG-7技术说明04

1.5.1MPEG-7多媒体描述方案04

1.5.2MPEG-7多媒体描述符与描述模式04

1.5.3导航与存取05

1.5.4内容组织05

1.5.5用户交互05

2MPEG-21标准05

2.1MPEG-21概念和标准构成05

2.1.1MPEG-21的基本概念05

2.1.2MPEG-21标准构成06

2.2MPEG-21的关键问题06

2.2.1网络部分的关键问题06

2.2.2内容和质量方面的关键问题06

2.2.3消费者方面的关键问题07

2.3MPEG-21标准的目标07

2.4MPEG-21各部分标准内容08

MPEG-7及MPEG-21技术探讨

【摘要】MPEG-7标准，正式命名为“多媒体内容描述接口”，提供了丰富的标准化的工具集来描述多媒体内容。

两种人类用户和自动处理视听信息的系统是MPEG-7的范围内。

MPEG-21多媒体框架基于两个基本的概念：

1）发送和处理的基本单元（数字项）；2）对数字项有影响的用户。

数字项是多媒体框架的“内容”，用户是多媒体框架的“主体”。

【关键词】MPEG-7标准，MPEG21标准，多媒体内容描述，多媒体框架。

前言

在MPEG的发展过程中MPEG-1、-2、-4均集中在对多媒体资源的编码上，MPEG-7则转移到多媒体的描述与标记上，为多媒体的应用打下了基础。

MPEG-2l要提出一个整合的多媒体框架解决方案,使多媒体资源能够跨越平台和标准的鸿沟实现资源更加合理、有效、便捷、安全的利用。

MPEG-21多媒体框架将研究多媒体的实现和传输所需的关键元素及其所支持的操作之间的关系。

1MPEG-7标准

1.1MPEG-7简介

MPEG-7是由运动图像专家组（MPEG），该委员会还开发成功的标准称为MPEG-1（1992年）和MPEG-2（1994）ISO/IEC制定的标准，以及MPEG-4标准。

MPEG-7标准，正式命名为“多媒体内容描述接口”，提供了丰富的标准化的工具集来描述多媒体内容。

两种人类用户和自动处理视听信息的系统是MPEG-7的范围内。

MPEG-7提供了一套完整的视听描述工具的元数据元素和它们的结构和关系的形式描述符和描述方案的标准所定义的描述（即一组实例说明计划和在用户将相应的描述符），这将形成的基础上的应用程序，使所需要的有效和高效的多媒体内容的访问（搜索，过滤和浏览）。

广泛的要求，并有针对性的多媒体应用，以及广大的视听功能的重要性，在这一背景下，这是一个具有挑战性的任务。

MPEG-7已经制定了广播，电子产品制造商，内容制作者和管理者，出版商，知识产权管理人员，电信服务提供商和学术界的专家代表。

MPEG-7描述多媒体内容数据支持这些操作要求的标准。

应用的要求，在原则上，实时和非实时的时间，以及推动和拉动应用程序。

MPEG-7的不规范或评估应用程序的MPEG-7标准的应用程序的开发中，虽然已用于理解的技术要求和评价。

必须明确的要求是从分析广泛的潜在应用程序可以使用MPEG-7的工具。

MPEG-7不是针对任何一个应用程序中，而是MPEG-7的元素，标准化的应用范围尽可能广泛的支持。

1.2MPEG-7的目标

1996年10月，MPEG开始了新的工作项目，提供上述问题的解决方案。

的MPEG家族的新成员，命名为“多媒体内容描述接口”（短MPEG-7），提供了标准化的核心技术，允许在多媒体环境中的视听资料的内容的描述。

确定的内容，目前存在的扩展能力有限的专有解决方案，特别是通过包括更多的数据类型。

视听资料与MPEG-7描述的内容可能包括：

静止图像，图形，3D模型，音频，语音，视频，以及如何将这些元素相结合，在多媒体演示（场景）组成的信息。

这些一般的数据类型的一个特殊情况是面部特征。

然而，MPEG-7描述的，并不依赖于所描述的内容的方式进行编码或存储。

这是可能创建类似物电影或一幅图片是印在纸上，以同样的方式作为数字化内容的MPEG-7描述。

MPEG-7其描述，允许不同的粒度提供了可能性，有不同程度的歧视。

的MPEG-7描述即使不依赖于（编码）表示的材料，可以利用MPEG-7中的MPEG-4编码的内容所提供的优点。

如果材料是利用MPEG-4，它提供视听材料进行编码的装置具有一定的关系时间（同步）和空间（用于视频在屏幕上，或在用于音频的房间）作为对象进行编码，这将是可以附加元素（对象）的场景内的，如音频和可视对象的描述信息。

由于描述的功能的上下文中的应用程序必须是有意义的，他们将针对不同的用户域和不同的应用程序是不同的。

这意味着，可以使用不同类型的功能，调谐到应用程序的区域进行说明的材料相同的材料。

视觉材料的例子：

一个较低的抽象级别的描述，如形状，大小，质地，颜色，运动（运动轨迹）和位置（“场景中的对象呢？

）;和音频：

关键，情绪，速度，节奏的变化，声音的空间的位置。

最高水平语义信息：

“这是一个场景，一个狂吠的黄狗在左边，一个蓝色的球，摔倒在右边，过往车辆的声音在后台”。

中间层次的抽象也可能存在。

抽象级别的功能可以提取的方式：

许多低级别的功能，可以在完全自动的方式提取，而需要高层次的功能（多）更人性化的互动。

1.3MPEG-7的组成

MPEG-7标准由以下几部分组成：

1、MPEG-7系统-MPEG-7描述的，高效的运输，储存等终端架构需要准备的工具。

2、MPEG-7描述定义语言-语言定义的MPEG-7描述工具的语法，用于定义新的描述方案。

3、MPEG-7视觉-处理（只）视觉描述的描述工具。

4、MPEG-7音频输入-处理（只）音频描述的描述工具。

5、MPEG-7多媒体描述方案-通用的功能处理和多媒体描述的描述工具。

6、MPEG-7参考软件-软件实现的MPEG-7标准与规范性地位的相关部分。

7、MPEG-7的一致性测试-制定指导方针和MPEG-7实现的一致性测试程序

8、MPEG-7的提取和使用说明-翔实的材料（技术报告的形式）的提取和使用的一些描述工具。

9、MPEG-7的配置文件和水平-提供了指导方针和标准配置文件。

10、MPEG-7的架构定义-指定的模式的描述定义语言

除了不同的正式MPEG-7的部分，也有MPEG-7在更广泛的范围的MPEG联络员活动联络员。

MPEG的联络员交易与其他标准化组织MPEG和其他相关活动之间的正式合作组织发展中。

目前MPEG-7的相关联络（其中包括），SMPTE，TV-Anytime的，EBUP/都柏林核心元和W3C。

1.4MPEG-7主要功能

1.4.1MPEG-7视觉

MPEG-7视觉描述工具的基本结构和描述符包括以下基本视觉特征：

颜色，纹理，形状，运动，定位，和面部识别。

每个类别包括小学和复杂的描述。

1.4.2MPEG-7音频

MPEG-7音频提供结构中结合的多媒体描述方案的一部分的标准用于说明音频内容。

利用这些结构是一组低级别的描述，在许多应用程序（例如，频谱，参数，时空特征的信号）的音频功能，以及高层次的描述更具体的一组应用程序的工具。

这些高层次的工具包括一般声音识别和索引的描述工具，乐器音色描述工具，讲话的内容描述工具，的音频签名说明计划，和旋律描述工具，以方便查询的嗡嗡声。

1.4.3MPEG-7多媒体描述方案

MPEG-7的多媒体的描述计划（也称为MDS），包括描述符和描述方案描述工具（）处理通用，以及多媒体的实体的集合。

通用实体的功能，用于在音频和视觉的描述，因此，“通用”的所有媒体。

例如，这些都是“矢量”，“时间”，文字描述工具，受控词表等。

除了这一套通用的描述工具，更复杂的描述工具是标准化的。

它们被用来每当多个介质，需要将要描述的根据它们的功能，这些说明工具可被分成5个不同的类（例如音频和视频）。

·内容简介：

感知信息的表示

·内容管理：

信息的媒体功能，AV内容的创建和使用的;

·内容组织：

表示多个AV内容的分析和分类;

·导航和访问：

规范的摘要和AV内容的变化;

·用户交互：

原文的用户的喜好和使用历史有关的多媒体材料的消耗。

1.4.4MPEG-7参考软件：

实验模型

实验模型（XM）软件仿真平台的MPEG-7描述符（DS），说明计划（DSS），编码方案（CSS），描述定义语言（DDL）。

除了规范组成部分，仿真平台的需要也有一些不规范的组成部分，主要执行一些程序要执行的代码的数据结构。

一起形成的数据结构和程序代码的应用程序。

对XM应用程序被分成两种类型：

服务器（提取）的应用程序和客户端应用（搜索，过滤和/或转码）。

1.5MPEG-7技术说明

1.5.1MPEG-7多媒体描述方案

MPEG-7多媒体描述方案（DSS）的元数据结构的描述和注释视听（AV）内容。

的DSS提供了一个标准化的方式描述XML的重要概念相关AV内容描述和内容管理的，为了方便搜索，索引，过滤和访问。

DSS是使用MPEG-7描述定义语言（DDL），它是基于XMLSchema语言定义，并实例化为文件或流。

将得到的描述信息，可以表示在一个文本的形式（即，人类可读的XML进行编辑，搜索，筛选）或压缩的二进制形式（例如，用于存储或传输）。

在本文中，我们提供了一个概述了MPEG-7的多媒体DS的描述他们的目标功能，在多媒体应用程序中使用。

MPEG-7标准的目标是使设备和应用程序之间的互操作性，允许互操作的搜索，索引，过滤和访问的视听（AV）内容处理与AV内容描述。

MPEG-7描述的AV内容，以及有关的信息的AV信息内容管理的特定功能。

MPEG-7描述采取两种可能的形式：

（1）的文本XML形式适合于编辑，搜索，和过滤，及

（2）的二进制形式适合用于存储，传输，和流式传送。

MPEG-7描述的设计主要是为了描述低级别的音频或视频功能，如颜色，纹理，运动，音频能量，等等，以及它们的属性的AV内容，如地点，时间，质量，等等。

据预计，大多数低级别的功能的描述符应自动提取中的应用。

另一方面，在MPEG-7的DS的设计主要是如区域，段，对象，事件和其他不可变创作和生产，使用，等等有关的元数据来描述的更高级别的AV功能。

1.5.2MPEG-7多媒体描述符与描述模式

a.多媒体描述工具组织：

多媒体描述模式（MDS）的主要目的是标准化一系列描述工具，包括描述符和描述模式，用这些工具去同时处理多媒体实体及属性。

这里，“实体”指的是用于描述视音频和文本的特征，而“属性”存在于所有媒体中。

图1说明了MPEG-7描述模式是怎样组织多媒体内容的，它包括基本元素、内容管理、内容描述、导航与存取、内容组织和用户交互等部分。

b.内容管理：

内容管理描述工具用于描述视音频内容的生命周期，从内容本身到消费。

MPEG-7描述的内容可有不同的形式、格式、编码方式，而每一种形式又可有不同的编码方式，这就建立了几种媒体层档（profile）。

c.内容描述：

内容结构方面的描述：

片断描述模式（SegmentDS）是这一部分的核心元素，它主要用于视音频内容物理和逻辑方面的描述。

SegmentDS可用来形成片断树（segmenttrees）。

MPEG-7还有一图形描述模式（GraphDS），它用来表达片断之间的复杂关系，如时间关系、片断结构树没有描述到的片断之间的关系等。

1.5.3导航与存取

MPEG-7提供DS，通过详细摘要、视和划分、以及多媒体数据的变更等使得对视音频内容的导航与存取非常方便。

MPEG-7的摘要描述模式（SummaryDS）提供了视音频内容的摘要和抽象，以便对视音频数据有效的浏览和导航。

MPEG-7地点和频率视（SpaceandFrequencyViews）在空间域或频率域上提供了视音频数据的视图，这允许多重分解（mutil-resolution）和逐步访问。

MPEG-7的变更描述模式（VariationDS）说明了视音频素材不同变更之间的关系，以便允许在不同的终端和设备条件下对视音频内容的不同的变更有合适的选择。

1.5.4内容组织

MPEG-7提供了对视音频内容、片断、事件或对象进行组织、模拟取样（modelingcollection）的DS，并描述他们各组元的特性。

取样（Collection）可用不同的模型的统计法作进一步的描述，以刻划样本成员的属性。

1.5.5用户交互

用户交互描述模式（UserInteractionDS）描述与AV内容消费相关的用户优选以及使用历史等。

MPEG-7AV内容描述是与用户优选相匹配的，以便用户选择与私有化AV内容，实现更有效的访问、显示和消费。

用户优选描述模式（UserPreferenceDS）描述不同内容类型和浏览模式的优选，包括基于时间和空间的内容相关性等。

UserPreferenceDS还对不同优选相关重要性、优选的保密性和优选是否作了更新（如通过一代理，来自动获悉用户交互）进行加权修正。

用户历史描述模式（UsageHistoryDS）描述多媒体系统用户的使用历史。

使用历史描述可在消费者及其代理、视音频内容提供商、设备之间交换；而这反过来又将影响用户对AV内容的优选。

2MPEG-21标准

2.1MPEG-21概念和标准构成

2.1.1MPEG-21的基本概念

MPEG-21多媒体框架基于两个基本的概念：

1）发送和处理的基本单元（数字项）；2）对数字项有影响的用户。

数字项是多媒体框架的“内容”（例如：

视频集，音乐唱片），用户是多媒体框架的“主体”。

数字项（DigitalItem）是一个用标准的描述、标识符和诠释数据构成的数字对象。

比如，数字项可以是一个编辑过的音乐作品，它除有音乐外，还可包括照片、视频、动画、歌词、乐谱、制造商声明等信息。

MPEG-21描述了一组抽象的术语和概念，为定义数字项形成一个有用的模型（数字项说明），在这个模型中，数字项就是“作品”的数字表示。

“用户”是在MPEG-21环境中发生交互作用或者使用数字项的任意实体，它包括个人、消费者、团体、组织、企业和政府等。

从纯技术的观点看，MPEG-21没有区分“内容提供者”和“消费者”—对MPEG-21而言，两者都是用户。

2.1.2MPEG-21标准构成

MPEG-21称为多媒体框架（MultimediaFramework），1999年开始征集需求，现正投入开发的标准，标准号ISO/IEC21000，其目标是满足所有用户的需要，它可以在广阔的范围里，为不同的网络用户提供透明的和可不断扩展的多媒体资源。

MPEG-21的基本框架包括以下6个要素。

1）数字项说明

2）多媒体内容表示

3）数字项的识别和描述

4）内容处理和使用

5）知识产权的管理和保护

6）终端和网络

2.2MPEG-21的关键问题

MPEG-21标准支持一下功能：

内容创建、内容生产、内容分配、内容消费和使用、内容分组、知识产权管理和保护、内容识别和描述、用户权限、终端和网络资源提取、内容表示及时间报告等。

该标准是从商业内容和与内容相关服务的前景出发来开展工作的，将适当与已有的其它MPEG系列标准等结合，从而对视频和音频的处理更加方便和有效，最终在全球范围内，为多媒体信息用户提供透明有效的电子交易和使用环境。

可以预见，在未来的多媒体及诸多相关领域，MPEG-21将发挥重要的作用。

2.2.1网络部分的关键问题

a网络传送：

包括传送带宽和速率、网络的一致性和可靠性、数据流量控制、延时、误码率、存取时间、移动性、性能价格比以及连贯性等问题。

b.服务和设备的易用性：

涉及到智能化、综合连接、设备兼容、鲁棒性、不同平台之间的互操作性、网际间兼容性、设备设计上对民族文化的冲击以及设备之间的分布式智能化等问题。

c.物理媒体格式的互操作性：

包括与内容无关的格式、后向兼容格式、媒体的寿命、不同平台的标准存储媒质以及媒质间的内容传输等。

d.多平台的解码和绘制：

在不同类型或不同参数的平台（设备）上回放并保证一定质量的内容，另外还包括保证不同编解码模式对用户的透明性等问题。

2.2.2内容和质量方面的关键问题

a.服务质量和灵活性：

包括可靠性、质量检测、用户感知的质量、信息集成、评价、易用性、对用户需求的动态响应、点播、有效平滑的绘制、可预测性和连续性，以及服务的可接入性等问题。

b.内容表示的质量：

包括权限和完整性、保真性和用户感知质量（智能质量）检测、价格的一致性、真实性、持续性和时效性等问题。

c.内容艺术性方面的质量：

涉及品牌、来源、丰富性、评论、一致性等问题。

d.内容的过滤、定位、检索和存储：

包括一致的内容标记、描述和查询的反应时间、在内容选择上的个性化服务、搜索的完整性、有效性、可信性、内容真实性的认证、等级与分类、更新，以及对内容的组织管理等方面问题。

2.2.3消费者方面的关键问题

a.付费/订购：

包括免费服务、以收听广告或给出个人数据的免费服务、收费的奖赏模型、租借、分类付费、奖赏的复制件、点播、每项服务的签署、简单明了的收费模型、支付的验证等等。

b.消费者信息发布：

包括内容的保护和管理、自创内容的可存取性、版权购买等。

c.消费者使用权限：

用户对于自己所付费购买或租用的内容，用户有一定的使用权利，如使用、赋值、编辑等，但是用户往往不太清楚哪些是他们拥有的权利，哪些不是。

因此，必须有一定的机制来处理用户对不同的呢荣所拥有的不同的使用权利。

d.消费者隐私保护：

由于电子商务的发展，用户在网上进行交易的记录有可能泄露用户的私人信息，这就需要用户拥有适当的对内容的提供者或第三方使用交易记录的控制权，亦即需要有用户、内容的提供者及第三方进行协商的能力。

可以采用安装一些安全控件来保护消费者的隐私，另外，关于网上交易也可以采用第三方支付平台支付宝来保护消费者的合法权益。

2.3MPEG-21标准的目标

MPEG-21的最终目标是要为多媒体信息的用户提供透明而有效的电子交易和使用环境。

1）将不同的协议、标准和技术等有机地融合在一起。

2）制定新的标准。

3）将这些不同的标准集成在一起。

MPEG-21标准其实就是一些关键技术的集成，通过这种集成环境对全球数字媒体资源进行增强，实习内容描述、创建、发布、使用、识别、收费管理、版权保护、用户隐私权保护、终端和网络资源撷取及事件报告等功能。

任何与MPEG-21多媒体框架标准环境交互或使用MPEG-21数字项实体的个人或团体都可以被视为用户。

从纯技术角度来看，MPEG-21对于“内容供应商”和“消费者”没有任何区别。

MPEG-21多媒体框架标准包括如下用户需要：

内容传送和价值交换的安全性；数字项的理解；内容的个性化；价值链中的商业规则；兼容实体的操作；其他多媒体框架的引入；对MPEG之外标准的兼容和支持；一般规则的遵从；MPEG-21标准功能及各个部分通信性能的测试；价值链中媒体数据的增强使用；用户隐私的保护；数据项完整性的保证；内容与交易的跟踪；商业处理过程视图的提供；通用商业内容处理库标准的提供；长线投资时商业与技术独立发展的考虑；用户权利的保护，包括服务的可靠性、债务与保险、损失与破坏、付费处理与风险防范等；新商业模型的建立和使用。

2.4MPEG-21各部分标准内容

以下分别简要介绍已正式批准申请为MPEG-21标准的19个子部分。

（1）MPEG-21第1部分：

技术报告—目标、技术与策略

2001年9月正式公布的MPEG-2l技术报告详细描述了多媒体框架及其技术要素，并给出了各自的功能需求。

其中，目标、技术与策略共同反映了如下MPEG-21技术报告的基本目的：

①MPEG-21的最终目标是要保证多媒体信息用户能通过各种各样的异构网络和设备来透明而广泛地使用多媒体资源；②能将不同的要素和标准集成，以推动关于数字项创建、制作、存储、传送和重利用的各项技术实现统一；③为多媒体框架的最终建立而制定相应的策略，以便在明确的功能需求基础之上形成协议和标准。

（2）MPEG-21第2部分：

数字项说明

该项工作已于2002年5月完成，并即将作为国际标准公布。

（3）MPEG-21第3部分：

数字项标识与描述

该项工作已于2002年l2月形成最终草案，并即将成为国际标准。

（4）MPEG-21第4部分：

知识产权管理与保护

对日前尚在发展中的MPEG-21标准，其不同部分的知识产权管理与保护的需求定义正在进行。

（5）MPEG-2l第5部分：

权利描述语言

在MPEG-21中，权利描述语言被视为一种能用权利数据字典中的术语来描述权利和权限的、机器可读的语言。

标准的权利描述语言应能支持不同系统和设备之间端到端的互操作性、一致性和可靠性。

继2001年1月开始广泛地征集需求定义之后，MPEG又在2001年7月召开的悉尼工作会议上，发出了有关“权利描述语言”和”权利数据字典”的建议征集。

截至2001年12月，MPEG收到了14份回应提案，并着手进入回应提案的评估阶段，同时从中选择了一些提议和某些提议的部分内容进行工作草案的制定。

2002年7月，在此基础上，MPEG又发布了有关“权利描述语言”的委员会草案，预计下一部分工作将于2003年底完成。

最后，那些符合MPEG-21标准内容的部分将被标准化。

（6）MPEG-21第6部分：

权利数据字典

权利数据字典是指用于描述用户权利（包括知识产权在内）的所有关键项的说明性字典。

由于该权利数据字典是由一整套具有一致性、结构化、集成化、明确定义的术语组成，以支持权利描述语言，而且这些术语都可以用标准的句法惯例来明确地表达，并可被应用到所有需要表达权利的部分，因此，标准的权利数据字典应定义一个内容广泛而明确的语义集来覆盖所有出现在权利描述语言中，用于权利描述的术语词汇。

按照MPEG-21的工作计划，在经过几个版本的工作草案后，MPEG于2002年7月发布了有关“权利数据字典”的委员会草案。

随着这一阶段工作的结束，下一步将进行委员会最终草案的制定。

（7）MPEG-21第7部分：

数字项适配

数字项适配作为终端与网络中的一个基本方面，始于MPEG-21的技术报告完成之后，它将为多媒体框架中的资源适配、描述符适配及服务管理的质量保证提供支持工具。

2002年3月，以“MPEG-21中数字项说明的二进制表示”为题开始公开征集与数字项适配有关的建议，并要求提交相关的技术文件。

从2002年3月到2002年12月，数字项适配经历了发出建议征集、收到回应提案、提案评估和制定工作草案等4个阶段。

2002年12月，发布了委员会草案。

（8）MPEG-21第8部分：

参考软件

MPEG-21参考软件是指与MPEG-21标准相关的各部分的软件实现，最近刚被确定为MPEG-21技术需求的候选项，为处理数字项而定义的体系结构需求是其发展的基础，其工作草案已于2002年12月完成。

参考软件将成为MPEG-21中第1项被正视的、系统间相互关联的技术需求，其他候选的技术需求可能包括数字项说明的二进制表和MPEG-21文件格式。

（9）MPEG-2l第9部分：

文件格式

由于MPEG-2l中的数字项可能包含各种复杂的多