GStreamer应用程序开发手册01031.docx
《GStreamer应用程序开发手册01031.docx》由会员分享，可在线阅读，更多相关《GStreamer应用程序开发手册01031.docx（79页珍藏版）》请在冰豆网上搜索。
GStreamer应用程序开发手册01031
Gstreamer
Gstreamer应用开发手册
（version0.10.3.1）
G（已关闭）
2007/12/4
GStreamerisalibraryforconstructinggraphsofmedia-handlingcomponents.TheapplicationsitsupportsrangefromsimpleOgg/Vorbisplayback,audio/videostreamingtocomplexaudio（mixing）andvideo（non-linearediting）processing.
I.介绍1
第1章.序言3
第2章.动机和目标5
第3章.基础概念介绍8
II.构建一个应用程序10
第4章.初始化GStreamer12
第5章.元件（Element）14
第6章.箱柜（Bins）20
第7章.总线（Bus）22
第8章.衬垫（Pads）及其功能25
第9章.缓冲区（Buffers）和事件（Events）32
第10章.你的第一个应用程序33
III. GStreamer高阶概念36
第11章.位置跟踪（Tracking）与位置偏移（Seeking）37
第12章.元数据39
第13章.接口39
第14章.GStreamer中的时钟41
第15章.动态控制参数42
第16章.线程43
第17章.自动加载（Autoplugging）44
第18章.管道控制50
IV.高级接口在GStreamer中的应用54
第19章.组件（Components）55
第20章.XML在GStreamer中的应用58
I.介绍
GStreamer 是一个非常强大而且通用的流媒体应用程序框架。
GStreamer所具备的很多优点来源于其框架的模块化:
GStreamer能够无缝的合并新的插件。
但是,由于追求模块化和高效率,使得GStreamer在整个框架上变的复杂,也同时因为复杂度的提高,使得开发一个新的应用程序显得不是那么的简单。
这个指南试图帮助你了解GStreamer的框架（version0.10.3.1）以方便你在GStreamer框架的基础上做开发。
第一章节将重点关注如何开发一个简单的音频播放器,通过对整个过程的讲解,力图使你能够理解有关GStreamer的一些概念。
在之后的章节中,我们将讨论一些关于媒体播放（playback）控制的高级问题,这些问题包括了录音、录象和编辑等等。
目录
第1章.序言3
1.1. GStreamer是什么?
3
1.2.谁需要读这个手册?
3
1.3.预备知识3
1.4.本手册结构3
第2章.动机和目标5
2.1. 当前的问题5
2.2. 设计目标6
第3章.基础概念介绍8
3.1.元件（Elements）8
3.2.箱柜（Bins）和管道（pipelines）8
3.3.衬垫（Pads）8
第1章.序言
本章将从技术的角度来描述本手册的总体结构。
1.1. GStreamer是什么?
GStreamer是一个创建流媒体应用程序的框架。
其基本设计思想来自于俄勒冈（Oregon）研究生学院有关视频管道的创意,同时也借鉴了DirectShow的设计思想。
GStreamer的程序开发框架使得编写任意类型的流媒体应用程序成为了可能。
在编写处理音频、视频或者两者皆有的应用程序时, GStreamer可以让你的工作变得简单。
GStreamer并不受限于音频和视频处理,它能够处理任意类型的数据流。
管道设计的方法对于实际应用的滤波器几乎没有负荷,它甚至可以用来设计出对延时有很高要求的高端音频应用程序。
GStreamer最显著的用途是在构建一个播放器上。
GStreamer已经支持很多格式的文件了,包括:
MP3、Ogg/Vorbis、MPEG-1/2、AVI、Quicktime、mod等等。
从这个角度看,GStreamer更象是一个播放器。
但是它主要的优点却是在于:
它的可插入组件能够很方便的接入到任意的管道当中。
这个优点使得利用GStreamer编写一个万能的可编辑音视频应用程序成为可能。
GStreamer框架是基于插件的,有些插件中提供了各种各样的多媒体数字信号编解码器,也有些提供了其他的功能。
所有的插件都能够被链接到任意的已经定义了的数据流管道中。
GStreamer的管道能够被GUI编辑器编辑,能够以XML文件来保存。
这样的设计使得管道程序库的消耗变得非常少。
GStreamer核心库函数是一个处理插件、数据流和媒体操作的框架。
GStreamer核心库还提供了一个API,这个API是开放给程序员使用的---当程序员需要使用其他的插件来编写他所需要的应用程序的时候可以使用它。
1.2.谁需要读这个手册?
本手册是从一个程序开发人员的角度来描述GStreamer的:
它叙述了如何利用GStreamer的开发库以及工具来编写一个基于GStreamer的应用程序。
对于想学习"如何编写插件"的朋友们,我们建议你去参考<<插件编写指南（PluginWritersGuide）>>。
1.3.预备知识
为了更好的理解本手册的内容,你应该具备基本的C语言基础。
由于GStreamer一直采用GObject编程模式,所以本手册也假定你已经理解了GObject的基本概念。
你可能还需要一些GTK+和GDK的知识,这方面的知识你可以参照EricHarlow的书DevelopingLinuxApplicationswithGTK+andGDK。
另外,当你读完本手册后,请读一下GStreamerPluginWriter'sGuide。
当然,你还需要关注一下其它的GStreamer文档。
1.4.本手册结构
为了帮助你更好的学习本手册,我们将本手册分为几个大的部分,每一部分阐述了一个在GStreamer应用程序开发过程中特殊而又有用的话题。
如下所示:
PartI--- GStreamer 应用程序开发手册（0.10.9.1）给你一个关于GStreamer总的概况叙述。
PartII--- GStreamer 应用程序开发手册（0.10.9.1）阐述GStreamer应用程序开发的基本概念。
本章结束后,你将可以使用GStreamer来开发你自己的音频播放器。
PartIII--- GStreamer 应用程序开发手册（0.10.9.1）我们将继续讨论一些有关GStreamer深层次的主题,这些主题告诉了我们为什么GStreamer能在众多的竞争者当中脱颖而出。
我们将使用动态参数和动态接口来讨论应用程序中管道的交讯问题,我们还将讨论线程同步、时钟同步、以及其他同步问题。
这些问题的讨论不仅向你讲述如何使用GStreamer的API,而且还将告诉你一些基于GStreamer应用程序开发过程中所经常遇到的问题的解决办法,通过这些知识的学习使你更加深刻的理解GStreamer的基本概念。
PartIV--- GStreamer 应用程序开发手册（0.10.9.1）我们将进入GStreamer 的高级编程领域。
你不需要对GStreamer所有的细节都了解清楚,但是基本的GStreamer概念仍然是需要的。
我们将讨论XML、playbin、autopluggers等话题。
PartV--- GStreamer 应用程序开发手册（0.10.9.1）你将学习到一些有关GStreamer与GNOME、KDE、OS、X或者Windows集成的知识,当然你还将学习到一些有关调试和如何处理常见问题的方法。
通过这些知识的学习,将更好的方便你使用GStreamer
第2章.动机和目标
从历史的角度来看，Linux在多媒体方面已经远远落后于其他的操作系统。
Microsoft'sWindows 和Apple'sMacOS它们对多媒体设备、多媒体创作、播放和实时处理等方面已经有了很好的支持。
另一方面，Linux对多媒体应用的综合贡献比较少，这也使得Linux很难在专业级别的软件上与MSWindows 和MacOS去竞争。
GStreamer正是为解决Linux多媒体方面当前问题而设计的。
2.1. 当前的问题
我们描述了当今Linux平台下媒体处理的一些典型问题。
2.1.1. 大量的代码复制
对于那些想要播放一个声音文件的Linux用户来说，他们必须搜索各种声音播放器来播放不同格式文件，而在这些播放器中，大部分的都一遍又一遍地重复使用了相同的代码。
对于那些想在应用程序中嵌入视频剪辑的Linux开发人员来说，他们必须要用粗略的hacks来运行外部的视频播放器，因为没有一套可用的库提供给开发人员来创建可定制的播放器。
2.1.2.“一个目标”媒体播放器/媒体库
典型的MPEG播放器可以播放MPEG视频和音频，多数的播放器实现了完整的底层构造来达到他们的唯一目标：
播放。
没有一套有效的机制可以提供对于音频和视频数据过滤和效果处理，更没有制定在视频或音频数据中添加滤波器或特殊效果的任何规定。
如果你希望将MPEG-2视频流转为AVI文件，那么你的最佳选择是，将所有的MPEG-2解码算法从播放器分离出来，并复制到你的AVI编码器中，因为这类算法不能简单的在应用程序之间共享。
开发人员曾经尝试着创建一个可以处理多种媒体类型的库，但由于缺乏通用的API，所以如何集成就成了重要的工作了。
因为在集成的过程中，我们需要关注一些特殊的媒体类型（avi文件，libmpeg2，...），而集成这些媒体类型文件需要一个统一的接口。
GStreamer允许将这些库与通用的API一起打包，这样就简化了集成和复用。
2.1.3. 没有统一的插件管理机制
典型的播放器对于不同的媒体类型会有不同的插件，两个媒体播放器会实现各自不同的插件机制，所以编解码器不能方便的交换。
每一个典型的媒体播放器的插管理件系统是具有其特定应用程序的需求。
缺少统一的插件机制，已经严重阻碍了二进制编解码器的发展，因为没有一家公司希望将代码移植到不同的插件机制。
GStreamer当然也采用自己的插件系统，它为插件开发者提供了一个非常丰富的框架，从而保证这些插件能够广泛应用，并与其他插件能够无缝的交互。
GStreamer为插件提供的框架是非常灵活，它足以满足大多数插件的需求。
2.1.4. 拙劣的用户感
因为上述问题的原因，使得应用程序开发人员将相当多的时间花在如何处理后端、插件机制等等问题上。
从而耽误了大部分的项目时间，这样就常常导致后端和用户界面都只完成了一半，于是就导致了拙劣的用户感。
2.1.5. 没有网络透明度的规定
当前还没有一个底层框架出现，来允许对网络透明媒体的操作。
有趣的是，一个分布式的MPEG编码器能够复制非分布式编码器的相同的算法。
并没有关于使用 GNOME 和 KDE 桌面平台的技术的规定被制定出来，因为GNOME 和 KDE 桌面平台本身还在改进和完善，所以很难将多媒体恰当地集成到很多用户的环境中。
注意到GStreamer还提供很多种方法，这些方法提供将GSreamer与不同的桌面系统进行集成（见附录里的集成一节），而这些方法往往都不是网络透明化。
GStreamer内核在最底层没有采用网络透明技术，只是在顶层加了作为本地使用，这就是说，创建一个核心组件的包就变得比较容易了。
GStreamer允许管道在TCP协议上分离，使用tcp插件来实现GStreamer数据协议，这个被包含在gst-plugins模块，目录gst/tcp
2.1.6. 与Windows™的产品还存在差距
我们要想看到Linux桌面系统的成功就要立足于可靠的媒体处理。
我们必须为商业编解码器和多媒体应用扫清障碍，这样Linux才能成为多媒体领域的一个选择。
2.2. 设计目标
我们将阐述在GStreamer开发中的目标．
2.2.1. 结构清晰且威力强大
GStreamer提供一套清晰的接口给以下一些开发人员：
●希望构建媒体管道的应用程序员。
程序员可以使用一系列强有利的工具来创建媒体管道，而不用去写一行代码，从而使得复杂的媒体控制变得非常简单。
●插件程序员。
GStreamer向插件程序员提供了简洁而简单的API来创建self-plugin（自包含）插件，同时还集成了大量的调试和跟踪机制和工具。
GStreamer也提供了一系列现实例子。
2.2.2. 面向对象的编程思想
GStreamer是依附于GLib2.0对象模型的，熟悉GLib或者旧版本的GTK+的程序员对GStreamer将会驾轻就熟。
GStreamer采用了信号与对象属性的机制。
所有对象的属性和功能都能在运行态被查询。
GStreamer与GTK+的编程方法非常相似，需要对象模型，对象所有（ownershipofobjects），参考计算（referencecounting）...
2.2.3. 灵活的可扩展性能
所有的GStreamer对象都可以采用GObject继承的方法进行扩展。
所有的插件都可以被动态装载，可以独立的扩展或升级。
2.2.4. 支持插件以二进制形式发布
作为共享库发布的插件能够在运行态直接加载，插件的所有属性可以由GObject属性来设置，而无需（事实上决不）去安装插件的头文件。
我们更多的关注在插件能够独立化，运行的时候还需要很多与插件相关的因素。
2.2.5. 高性能
高性能主要体现在：
●使用GLib的g_mem_chunk和非模块化分配算法使得内存分配尽可能最小。
●插件之间的连接非常轻型（light-weight）。
数据在管道中的传递使用最小的消耗，管道中插件之间的数据传递只会涉及指针废弃。
●提供了一套对目标内存直接进行操作的机制。
例如，插件可以向Xserver共享的内存空间直接写数据，缓冲区也可以指向任意的内存，如声卡的内部硬件缓冲区。
●refcounting和写拷贝将memcpy减少到最低。
子缓冲区有效地将缓冲区分离为易于管理的块。
●使用线程联合（cothreads）减少线程消耗。
线程联合（cothreads）是简单又高速的方法来切换子程序，作为衡量最低消耗600个cpu周期的标准。
●使用特殊的插件从而支持硬件加速。
●采用带有说明的插件注册，这样的话只在实际需要使用该插件才会去装载。
●所有的判断数据都不用互斥锁。
2.2.6.核心库与插件（core/plugins）分离
GStreamer内核的本质是media-agnostic，我们了解的仅仅是字节和块，以及包含基本的元件，GStreamer内核的强大功能甚至能够实现底层系统工具，像cp。
所有的媒体处理功能都是由插件从外部提供给内核的，并告诉内核如何去处理特定的媒体类型。
2.2.7. 为多媒体数字信号编解码实验提供一个框架
GStreamer成为一个简单的框架，编解码器的开发人员可以试验各种不同的算法，提高开源多媒体编解码器开发的速度，如TheoraandVorbis。
第3章.基础概念介绍
本章将介绍GStreamer的基本概念。
理解这些概念对于你后续的学习非常重要,因为后续深入的讲解我们都假定你已经完全理解了这些概念。
3.1.元件（Elements）
元件（element）是GStreamer中最重要的概念。
你可以通过创建一系列的元件（Elements）,并把它们连接起来,从而让数据流在这个被连接的各个元件（Elements）之间传输。
每个元件（Elements）都有一个特殊的函数接口,对于有些元件（Elements）的函数接口它们是用于能够读取文件的数据,解码文件数据的。
而有些元件（Elements）的函数接口只是输出相应的数据到具体的设备上（例如,声卡设备）。
你可以将若干个元件（Elements）连接在一起,从而创建一个管道（pipeline）来完成一个特殊的任务,例如,媒体播放或者录音。
GStreamer已经默认安装了很多有用的元件（Elements）,通过使用这些元件（Elements）你能够构建一个具有多种功能的应用程序。
当然,如果你需要的话,你可以自己编写一个新的元件（Elements）。
对于如何编写元件（Elements）的话题在GStreamerPluginWriter'sGuide中有详细的说明。
3.2.箱柜（Bins）和管道（pipelines）
箱柜（Bins）是一个可以装载元件（element）的容器。
管道（pipelines）是箱柜（Bins）的一个特殊的子类型,管道（pipelines）可以操作包含在它自身内部的所有元件（element）。
因为箱柜（Bins）本身又是元件（element）的子集,所以你能够象操作普通元件（element）一样的操作一个箱柜（Bins）,通过这种方法可以降低你的应用程序的复杂度。
你可以改变一个箱柜（Bins）的状态来改变箱柜（Bins）内部所有元件（element）的状态。
箱柜（Bins）可以发送总线消息（busmessages）给它的子集元件（element）（这些消息包括:
错误消息（errormessages）,标签消息（tagmessages）,EOS消息（EOSmessages））。
管道（pipeline）是高级的箱柜（Bins）。
当你设定管道的暂停或者播放状态的时候,数据流将开始流动,并且媒体数据处理也开始处理。
一旦开始,管道将在一个单独的线程中运行,直到被停止或者数据流播放完毕。
3.3.衬垫（Pads）
衬垫（Pads）在GStreamer中被用于多个元件的链接,从而让数据流能在这样的链接中流动。
一个衬垫（Pads）可以被看作是一个元件（element）插座或者端口,元件（element）之间的链接就是依靠着衬垫（Pads）。
衬垫（Pads）有处理特殊数据的能力:
一个衬垫（Pads）能够限制数据流类型的通过。
链接成功的条件是：
只有在两个衬垫（Pads）允许通过的数据类型一致的时候才被建立。
数据类型的设定使用了一个叫做capsnegotiation的方法。
数据类型被为一个GstCaps变量所描述。
下面的这个比喻可能对你理解衬垫（Pads）有所帮助。
一个衬垫（Pads）很象一个物理设备上的插头。
例如一个家庭影院系统。
一个家庭影院系统由一个功放（amplifier）,一个DVD机,还有一个无声的视频投影组成。
我们需要连接DVD机到功放（amplifier）,因为两个设备都有音频插口;我们还需要连接投影机到DVD机上,因为两个设备都有视频处理插口。
但我们很难将投影机与功放（amplifier）连接起来,因为他们之间处理的是不同的插口。
GStreamer衬垫（Pads）的作用跟家庭影院系统中的插口是一样的。
对于大部分情况,所有的数据流都是在链接好的元素之间流动。
数据向元件（element）以外流出可以通过一个或者多个 source衬垫（Pads）,元件（element）接受数据是通过一个或者多个sink衬垫（Pads）来完成的。
Source元件（element）和sink元件（element）分别有且仅有一个sink衬垫（Pads）或者source衬垫（Pads）。
数据在这里代表的是缓冲区（buffers）（GstBuffer对象描述了数据的缓冲区（buffers）的信息）和事件（events）（GstEvent对象描述了数据的事件（events）信息）。
II.构建一个应用程序
在这一部分，我们将讨论GStreamer中的一些基本概念以及一些常用的对象，像元件、衬垫和缓存等。
我们给这些对象以一种形象化的描述，相信这样会对我们在后边学习到如何构建一条管道时大有帮助。
首先你会对GStreamer的API有个粗略的认识，用这些API来构建一个基于元件的应用程序已经绰绰有余。
然后你会学习到如何构建一个简单的基于命令行的应用程序。
注意：
在这部分我们会了解一些底层（low-level）的API以及GStreamer的一些概念。
如果你立马想构建一个应用程序，你可能会使用一些高层（higher-level）的API，它们会在这手册的后部分被提到。
目录
第4章.初始化GStreamer12
4.1.简易初始化12
4.2.使用GOption接口来初始化12
第5章.元件（Element）14
5.1.什么是元件?
14
5.2.创建一个GstElement对象15
5.3. 使用元件作为GObject对象16
5.4.深入了解元件工厂17
5.5.链接元件18
5.6.元件状态19
第6章.箱柜（Bins）20
6.1.什么是箱柜20
6.2.创建箱柜20
6.3.自定义箱柜21
第7章.总线（Bus）22
7.1.如何使用一个总线（Bus）22
7.2.消息类型（Messagetypes）24
第8章.衬垫（Pads）及其功能25
8.1.衬垫（Pads）25
8.2.衬垫（Pads）的性能27
8.3.衬垫（Pads）性能的用途28
8.4.精灵衬垫（Ghostpads）30
第9章.缓冲区（Buffers）和事件（Events）32
9.1.缓冲区（Buffers）32
9.2.事件（Events）32
第10章.你的第一个应用程序33
10.1.第一个Helloworld程序33
10.2.编译运行helloworld.c35
10.3.结论35
第4章.初始化GStreamer
当你准备写一个GStreamer应用程序时，你仅需要通过包含头文件gst/gst.h来访问库函数。
除此之外，不要忘记初始化GStreamer库。
4.1.简易初始化
在GStreamer库被使用前，主应用程序中应该先调用函数gst_init，这个函数将会对GStreamer库做一些必要的初始化工作，同时也能够对GStreamer的命令行参数进行解析。
一个典型的初始化GStreamer库的代码 [1] 如下所示：
例4-1.初始化GStreamer
#include
int
main（intargc,
char*argv[]）
{
constgchar*nano_str;
guintmajor,minor,micro,nano;
gst_init（&argc,&argv）;
gst_version（&major,&minor,µ,&nano）;
if（nano==1）
nano_str="（CVS）";
elseif（nano==2）
nano_str="（Prerelease）";
else
nano_str="";
printf（"ThisprogramislinkedagainstGStreamer%d.%d.%d%s\n",
major,minor,micro,nano_str）;
return0;
}
你可以使用GST_VERSION_MAJOR,GST_VERSION_MINOR
升级会员 