python常用标准库及三方库.docx

1、python常用标准库及三方库python 常用 准 及三方 作者： yegle 接：84著作 作者全部。商 系作者 得授 ，非商 注明出 。只介 我用 得有 烈介绍欲念的几个= 准 写命令行脚本必 ，惋惜是 2.7 才增添的，得看详细 境了分析 HTML DOM ，偶 搞搞命令行自 表 提交用得上。感 不好用可是 竟是官方 =第三方 直是系 管理神器， 用 知道 * 量的 SOAP 客 端，假如 厂内部实用 SOAP 接口，那 个几乎是必 了 个 HTTP lib 的名字叫 Python HTTP for Human 。用 urllib 、 urllib2 、 httplib 的人，你懂的前

2、者是静态博客生成器（写 markdown 文本，而后自动转换成 html 静态文件），后者是文档生成器 （从前拿这个做 wiki用）检查 Python 脚本能否切合 PEP8 的 style guide*语法高亮的 lib ，好多 ruby 项目用的都是这个 python lib 来做语法高亮的其余想到了再增补吧作者： atupal链接：41著作权归作者全部。商业转载请联系作者获取受权，非商业转载请注明出处。 standard libs: 学好 python 有必需掌握上边这两个库吧， re 正则 subprocess调用shell命令的神器pdb调试traceback调试pprint美丽的输

3、出logging日记threading和multiprocessing多线程urllib/urllib2/httplib http 库， httplib 基层一点，介绍第三方的库 requestsos/sys 系统，环境有关 Queue 行列pickle/cPickle 序列化工具 hashlib md5, sha 等 hash 算法cvsjson/simplejson python 的 json 库，据 so 上的议论和 benchmark ， simplejson 的性能要高于 jsontimeit 计算代码运转的时间等等 cProfile python 性能丈量模块 glob 近似与li

4、stfile ，能够用来查找文件 atexit 有一个注册函数，可用于正幸亏脚本退出运转前履行一些代码 dis python 反汇编，当对某条语句不理解原理时，能够用 dis.dis 函数来查察代码对应的 python 解说器指令等等。3th libs:paramiko ssh python 库阅读器自动化测试工具selenium 的 python 接口 lxmlhttp:/lxml.de/ python分析 html,xml的神器 mechanizeprogrammatic web browsingFabric is a Python (2.5 or higher) library and

5、command-linetool for streamlining the use of SSH for applicationdeployment or systems administration tasks.xmltodict xml转dict ，诚心好用 urllib3和 requests:自然其实 requests就够了 Requests: HTTP for Humansflask微框架 ipdb 调试神器，同时介绍 ipython ！联合 ipython 使用 redis redis python 接口pymongo mongodbpython接口PIL图像办理模版引擎numpy，

6、scipy科学计算matplotlib绘图scrapy爬虫django/tornado/web.py/web2py/uliweb/flask/twisted/bottle/cherrypy. 等等 python web 框架 /服务器 sh 1.08 sh v1.08documentation 用来运转 shell 模块的 极佳选择python 除了重点字（ keywords ）和内置的种类和函数（builtins ）,更多的功能是经过 libraries （即 modules ）来提供的。常用的 libraries （ modules ）以下： 1）python 运转时服务 * copy ：

7、 copy 模块供给了对复合（ compound ）对象（list ， tuple ，dict ， custom class ）进行浅拷贝和深拷贝的功能。 * pickle ： pickle 模块被用来序列化 python 的对象到bytes 流，进而合适储存到文件，网络传输，或数据库储存。（pickle的过程也被称serializing,marshalling或许flattening，pickle同时能够用来将bytes流反序列化为python的对象）。*sys ：sys 模块包括了跟 python 分析器和环境有关的变量和函数。 * 其余： atexit ，gc ，inspect ，mar

8、shal ，traceback ，types ，warnings ，weakref 。 2）数学 * decimal ：python 中的 float 使用双精度的二进制浮点编码来表示的， 这类编码导致了小数不可以被精准的表示，比如0.1 实质上内存中为 ，还有 3*0.1 = 0.3 为 False.decimal 就是为认识决近似的问题的，拥有更高的精准度，能表示更大范围的数字，更精准地四舍五入。 * math ：math模块定义了标准的数学方法， 比如 cos(x),sin(x) 等。* random ：random 模块供给了各样方法用来产生随机数。 * 其余：fractions ，n

9、umbers 。 3）数据构造，算法和代码简化 * array ： array 代表数组，近似与 list ，与 list 不一样的是只好储存同样种类的对象。 * bisect ： bisect 是一个有序的 list ，此中内部使用二分法 （bitsection ）来实现大多数操作。 * collections ：collections 模块包括了一些实用的容器的高性能实现，各样容器的抽象基类，和创立 name-tuple 对象的函数。比如包含了容器deque，defaultdict， namedtuple等。 * heapq：heapq是一个使用heap实现的带有优先级的queue。 *i

10、tertools：itertools包括了函数用来创立有效的iterators。所有的函数都返回iterators或许函数包括iterators（比如generators和generators）。* operator：operator供给了接见 python 内置的操作和分析器供给的特别方法， 比如 x+y为 add （x，y），x+=y 为 iadd （ x，y），a % b 为 mod （ a，b）等等。 * 其余： abc ，contextlib ，functools 。 4) string 和text 办理 *codecs ：codecs 模块被用来办理不一样的字符编码与 unicod

11、e text io 的转变。 * re ： re 模块用来对字符串进行正则表达式的般配和替代。 * string ：string 模块包括大批实用的常量和函数用来办理字符串。也包括了新字符串格式的类。* struct ：struct 模块被用来在 python 和二进制构造间实现转变。 * unicodedata ：unicodedata 模块供给接见 unicode字符数据库 5) python 数据库接见 * 关系型数据库拥有共同的规范Python Database API Specification V2.0， MySQL，Oracle等都实现了此规范，而后增添自己的扩展。* sqlit

12、e3:sqlite3模块供给了SQLite数据库接见的接口。SQLite数据库是以一个文件或内存的形式存在的自包括的关系型数据库。* DBM-style 数据库模块： python 供给了打了的 modules 来支持 UNIX DBM-style 数据库文件。 dbm 模块用来读取标准的 UNIX-dbm 数据库文件， gdbm 用来读取 GNU dbm 数据库文件， dbhash 用来读取 Berkeley DB数据库文件。所有的这些模块供给了一个对象实现了鉴于字符串的长久化的词典，他与词典 dict 特别相像，可是他的keys 和 values都一定是字符串。 * shelve ： sh

13、elve 模块使用特别的“shelf ”对象来支持长久化对象。这个对象的行为与dict 相像，可是全部的他储存的对象都使用鉴于hashtable的数据库（dbhash ，dbm ，gdbm ）储存在硬盘。与dbm 模块的差别是所储存的对象不单是字符串，并且能够是随意的与pickle兼容的对象。 6）文件和目录办理 * bz2 ：bz2 模块用来办理以 bzip2 压缩算法压缩的文件。 * filecmp ：filecmp 模块供给了函数来比较文件和目录。 * fnmatch ：fnmatch 模块供给了使用 UNIX shell-style 的通配符来般配文件名。这个模块只是用来般配，使用gl

14、ob能够获取般配的文件列表。* glob：glob模块返回了某个目录下与指定的UNIX shell通配符匹配的全部文件。* gzip： gzip模块供给了类GzipFile，用来履行与GNUgzip程序兼容的文件的读写。* shutil：shutil模块用来履行更高级其余文件操作， 比如拷贝，删除，更名。shutil操作之针对一般的文件，不支持pipes，block devices等文件种类。* tarfile：tarfile模块用来保护tar存档文件。tar 没有压缩的功能。 * tempfile ：tempfile 模块用来产生暂时文件和文件名。 * zipfile ： zipfile 模

15、块用来办理 zip 格式的文件。* zlib ，zlib 模块供给了对 zlib 库的压缩功能的接见。 7）操作系统的服务 * cmmands ： commands 模块被用来履行简单的系统命令，命令以字符串的形式传入，且同时以字符串的形式返回命令的输出。可是此模块只在 UNIX 系统上可用。 * configParser ，configParser 模块用来读写 windows的 ini 格式的配置文件。 * datetime ，datetime 模块供给了各种种类来表示和办理日期和时间。 * errno ， 定义了全部的 errorcode 对应的符号名字。 * io ，io 模块实现了各

16、样 IO 形式和内置的 open() 函数。 * logging ， logging 模块灵巧方便地对应用程序记录 events ，errors ，warnings ，和 debuging信息。这些log信息能够被采集， 过滤，写到文件或系统log ，甚至经过网络发送到远程的机器上。*mmap，mmap模块提供了内存映照文件对象的支持，使用内存映照文件与使用一般的文件或 byte 字符串相像。 *msvcrt ，mscrt 只好够在 windows 系统使用， 用来接见 Visual C 运转时库的好多实用的功能。 *optparse ，optparse 模块更高级别来办理 UNIX styl

17、e 的命令行选项 sys.argv 。* os ，os 模块对通用的操作系统服务供给了可移植的（ portable ）的接口。 os 能够以为是 nt 和 posix 的抽象。 nt 供给 windows 的服务接口， posix 提供 UNIX （linux ， mac ）的服务接口。 * os.path ， os.path 模块以可移植的方式来办理路径有关的操作。 * signal ， signal模块用来实现信号（ signal ）办理，常常跟同步有关。 *subprocess ， subprocess 模块包括了函数和对象来一致创建新进度，控制新进度的输入输出流，办理进度的返回。 *t

18、ime ，time 模块供给了各样时间有关的函数。常用的time.sleep().* winreg, winreg 模块用来操作 windows 注册表。* 其余： fcntl 。 8）线程和并行 * multiprocessing ，multiprocessing 模块供给经过 subprocess 来加载多个任务，通讯，共享数据， 履行各样同步操作。 * threading ，threading模块供给了 thread 类很好多的同步方法来实现多线程编程。*queue ，queue 模块实现了各样多生产者， 多花费者行列，被用来实现多线程程序的信息安全互换。 * 其余：Coroutines

19、and Microthreading。 9）网络编程和套接字（sockets） *asynchat， asynchat模块经过封装asyncore来简化了应用程序的网络异步办理。* ssl ， ssl模块被用来使用securesockets layer （ SSL ）包装 socket 对象，进而使得实现数据加密和终端认证。 python 使用 openssl 来实现此模块。 * socketserver ， socketserver 模块供给了种类简化了 TCP ， UDP 和 UNIX 领域的 socket server 的实现。 * 其余： asyncore ，select 。 10 ）

20、internet 应用程序编程 * ftplib ，ftplib模块实现了 ftp 的 client 端协议。此模块极少使用， 由于 urllib供给了更高级的接口。 * http 包，包括了 http client 和 server 的实现和 cookies 管理的模块。 * smtplib ， smtplib 包括了 smtp client 的基层接口，用来使用 smtp 协议发送邮件。 *urllib ， urllib包供给了高级的接口来实现与http server， ftpserver和当地文件交互的client。* xmlrpc，xmlrpc模块被用类实现XML-RPC client

21、。 11 ） web编程 * cgi ，cgi模块用来实现 cgi 脚本， cgi 程序一般地被 webserver 履行，用来处理用户在 form 中的输入，或生成一些动向的内容。当与 cgi脚本有管的 request 被提交， webserver 将 cgi 作为子进度履行， cgi 程序经过 sys.stdin 或环境变量来获取输入，经过sys.stdout 来输出。 * webbrowser ，webbrowser 模块供给了平台独立的工具函数来使用 web browser 翻开文档。* 其余：wsgiref/WSGI (Python Web Server Gateway Interf

22、ace). 12)internet 数据办理和编码 * base64 ， base64 模块供给了base64 ，base32 ，base16 编码方式，用来实现二进制与文本间的编码和解码。 base64 往常用来对编码二进制数据，进而嵌入到邮件或 http 协议中。 * binascii ， binascii 模块提供了初级的接口来实现二进制和各样ASCII 编码的转变。 *csv ， csv 模块用来读写 comma-separated values （ CSV ）文件。 * email ， email 包供给了大批的函数和对象来使用MIME 标准来表示，分析和保护 email 信息。* hashlib ，hashlib模块实现了各样 secure hash和 message digest algorithms，比如 MD5 和 SHA1 。* htmlparser （ html.parser ），此模块定义了 HTMLParser 来分析 HTML 和 XHTML 文档。使用此类，需要定义自己的类且继承于HTMLParser 。* json ，json 模块被用类序列化或饭序列化Javascript object notation（ JSON ）对象。 * xml,xml包供给了各样办理 xml 的方法。参照： python essential 4.pdf