JavaNIO与IO的区别和比较Word文档格式.docx
《JavaNIO与IO的区别和比较Word文档格式.docx》由会员分享,可在线阅读,更多相关《JavaNIO与IO的区别和比较Word文档格式.docx(18页珍藏版)》请在冰豆网上搜索。
Java代码
1packagesample;
2
3importjava.io.FileInputStream;
4importjava.io.FileOutputStream;
5importjava.nio.ByteBuffer;
6importjava.nio.channels.FileChannel;
7
8publicclassCopyFile{
9publicstaticvoidmain(String[]args)throwsException{
10Stringinfile="
C:
\\copy.sql"
;
11Stringoutfile="
\\copy.txt"
12//获取源文件和目标文件的输入输出流
13FileInputStreamfin=newFileInputStream(infile);
14FileOutputStreamfout=newFileOutputStream(outfile);
15//获取输入输出通道
16FileChannelfcin=fin.getChannel();
17FileChannelfcout=fout.getChannel();
18//创建缓冲区
19ByteBufferbuffer=ByteBuffer.allocate(1024);
20while(true){
21//clear方法重设缓冲区,使它可以接受读入的数据
22buffer.clear();
23//从输入通道中将数据读到缓冲区
24intr=fcin.read(buffer);
25//read方法返回读取的字节数,可能为零,如果该通道已到达流的末尾,则返回-1
26if(r==-1){
27break;
28}
29//flip方法让缓冲区可以将新读入的数据写入另一个通道
30buffer.flip();
31//从输出通道中将数据写入缓冲区
32fcout.write(buffer);
33}
34}
35}
其中buffer内部结构如下(下图拷贝自资料):
图2:
buffer内部结构
一个buffer主要由position,limit,capacity三个变量来控制读写的过程。
此三个变量的含义见如下表格:
参数
写模式
读模式
position
当前写入的单位数据数量。
当前读取的单位数据位置。
limit
代表最多能写多少单位数据和容量是一样的。
代表最多能读多少单位数据,和之前写入的单位数据量一致。
capacity
buffer容量
Buffer常见方法:
flip():
写模式转换成读模式
rewind():
将position重置为0,一般用于重复读。
clear():
清空buffer,准备再次被写入(position变成0,limit变成capacity)。
compact():
将未读取的数据拷贝到buffer的头部位。
mark()、reset():
mark可以标记一个位置,reset可以重置到该位置。
Buffer常见类型:
ByteBuffer、MappedByteBuffer、CharBuffer、DoubleBuffer、FloatBuffer、IntBuffer、LongBuffer、ShortBuffer。
channel常见类型:
FileChannel、DatagramChannel(UDP)、SocketChannel(TCP)、ServerSocketChannel(TCP)
在本机上面做了个简单的性能测试。
我的笔记本性能一般。
(具体代码可以见附件。
见nio.sample.filecopy包下面的例子)以下是参考数据:
–场景1:
Copy一个370M的文件
–场景2:
三个线程同时拷贝,每个线程拷贝一个370M文件
场景
FileInputStream+
FileOutputStream
BufferedInputStream+
ByteBuffer+
FileChannel
MappedByteBuffer
+FileChannel
场景一时间(毫秒)
25155
17500
19000
16500
场景二时间(毫秒)
69000
67031
74031
71016
5.nio.charset
字符编码解码:
字节码本身只是一些数字,放到正确的上下文中被正确被解析。
向ByteBuffer中存放数据时需要考虑字符集的编码方式,读取展示ByteBuffer数据时涉及对字符集解码。
Java.nio.charset提供了编码解码一套解决方案。
以我们最常见的http请求为例,在请求的时候必须对请求进行正确的编码。
在得到响应时必须对响应进行正确的解码。
以下代码向baidu发一次请求,并获取结果进行显示。
例子演示到了charset的使用。
例子2BaiduReader.java
36packagenio.readpage;
37
38importjava.nio.ByteBuffer;
39importjava.nio.channels.SocketChannel;
40importjava.nio.charset.Charset;
41import.InetSocketAddress;
42importjava.io.IOException;
43publicclassBaiduReader{
44privateCharsetcharset=Charset.forName("
GBK"
);
//创建GBK字符集
45privateSocketChannelchannel;
46publicvoidreadHTMLContent(){
47try{
48InetSocketAddresssocketAddress=newInetSocketAddress(
49"
"
80);
50//step1:
打开连接
51channel=SocketChannel.open(socketAddress);
52//step2:
发送请求,使用GBK编码
53channel.write(charset.encode("
GET"
+"
/HTTP/1.1"
\r\n\r\n"
));
54//step3:
读取数据
55ByteBufferbuffer=ByteBuffer.allocate(1024);
//创建1024字节的缓冲
56while(channel.read(buffer)!
=-1){
57buffer.flip();
//flip方法在读缓冲区字节操作之前调用。
58System.out.println(charset.decode(buffer));
59//使用Charset.decode方法将字节转换为字符串
60buffer.clear();
//清空缓冲
61}
62}catch(IOExceptione){
63System.err.println(e.toString());
64}finally{
65if(channel!
=null){
66try{
67channel.close();
68}catch(IOExceptione){
69}
70}
71}
72}
73publicstaticvoidmain(String[]args){
74newBaiduReader().readHTMLContent();
75}
76}
6.非阻塞IO
关于非阻塞IO将从何为阻塞、何为非阻塞、非阻塞原理和异步核心API几个方面来理解。
何为阻塞?
一个常见的网络IO通讯流程如下:
图3:
网络通讯基本过程
从该网络通讯过程来理解一下何为阻塞:
在以上过程中若连接还没到来,那么accept会阻塞,程序运行到这里不得不挂起,CPU转而执行其他线程。
在以上过程中若数据还没准备好,read会一样也会阻塞。
阻塞式网络IO的特点:
多线程处理多个连接。
每个线程拥有自己的栈空间并且占用一些CPU时间。
每个线程遇到外部为准备好的时候,都会阻塞掉。
阻塞的结果就是会带来大量的进程上下文切换。
且大部分进程上下文切换可能是无意义的。
比如假设一个线程监听一个端口,一天只会有几次请求进来,但是该cpu不得不为该线程不断做上下文切换尝试,大部分的切换以阻塞告终。
何为非阻塞?
下面有个隐喻:
一辆从A开往B的公共汽车上,路上有很多点可能会有人下车。
司机不知道哪些点会有哪些人会下车,对于需要下车的人,如何处理更好?
1.司机过程中定时询问每个乘客是否到达目的地,若有人说到了,那么司机停车,乘客下车。
(类似阻塞式)
2.每个人告诉售票员自己的目的地,然后睡觉,司机只和售票员交互,到了某个点由售票员通知乘客下车。
(类似非阻塞)
很显然,每个人要到达某个目的地可以认为是一个线程,司机可以认为是CPU。
在阻塞式里面,每个线程需要不断的轮询,上下文切换,以达到找到目的地的结果。
而在非阻塞方式里,每个乘客(线程)都在睡觉(休眠),只在真正外部环境准备好了才唤醒,这样的唤醒肯定不会阻塞。
非阻塞的原理
把整个过程切换成小的任务,通过任务间协作完成。
由一个专门的线程来处理所有的IO事件,并负责分发。
事件驱动机制:
事件到的时候触发,而不是同步的去监视事件。
线程通讯:
线程之间通过wait,notify等方式通讯。
保证每次上下文切换都是有意义的。
减少无谓的进程切换。
以下是异步IO的结构:
图4:
非阻塞基本原理
Reactor就是上面隐喻的售票员角色。
每个线程的处理流程大概都是读取数据、解码、计算处理、编码、发送响应。
异步IO核心API
Selector
异步IO的核心类,它能检测一个或多个通道(channel)上的事件,并将事件分发出去。
使用一个select线程就能监听多个通道上的事件,并基于事件驱动触发相应的响应。
而不需要为每个channel去分配一个线程。
SelectionKey
包含了事件的状态信息和时间对应的通道的绑定。
导读
J2SE1.4以上版本中发布了全新的I/O类库。
本文将通过一些实例来简单介绍NIO库提供的一些新特性:
非阻塞I/O,字符转换,缓冲以及通道。
一.介绍NIO
NIO包(java.nio.*)引入了四个关键的抽象数据类型,它们共同解决传统的I/O类中的一些问题。
1.Buffer:
它是包含数据且用于读写的线形表结构。
其中还提供了一个特殊类用于内存映射文件的I/O操作。
2.Charset:
它提供Unicode字符串影射到字节序列以及逆影射的操作。
3.Channels:
包含socket,file和pipe三种管道,它实际上是双向交流的通道。
4.Selector:
它将多元异步I/O操作集中到一个或多个线程中(它可以被看成是Unix中select()函数或Win32中WaitForSingleEvent()函数的面向对象版本)。
二.回顾传统
在介绍NIO之前,有必要了解传统的I/O操作的方式。
以网络应用为例,传统方式需要监听一个ServerSocket,接受请求的连接为其提供服务(服务通常包括了处理请求并发送响应)图一是服务器的生命周期图,其中标有粗黑线条的部分表明会发生I/O阻塞。
图一
可以分析创建服务器的每个具体步骤。
首先创建ServerSocket
ServerSocketserver=newServerSocket(10000);
然后接受新的连接请求
SocketnewConnection=server.accept();
对于accept方法的调用将造成阻塞,直到ServerSocket接受到一个连接请求为止。
一旦连接请求被接受,服务器可以读客户socket中的请求。
InputStreamin=newConnection.getInputStream();
InputStreamReaderreader=newInputStreamReader(in);
BufferedReaderbuffer=newBufferedReader(reader);
Requestrequest=newRequest();
while(!
request.isComplete()){
Stringline=buffer.readLine();
request.addLine(line);
}
这样的操作有两个问题,首先BufferedReader类的readLine()方法在其缓冲区未满时会造成线程阻塞,只有一定数据填满了缓冲区或者客户关闭了套接字,方法才会返回。
其次,它回产生大量的垃圾,BufferedReader创建了缓冲区来从客户套接字读入数据,但是同样创建了一些字符串存储这些数据。
虽然BufferedReader内部提供了StringBuffer处理这一问题,但是所有的String很快变成了垃圾需要回收。
同样的问题在发送响应代码中也存在
Responseresponse=request.generateResponse();
OutputStreamout=newConnection.getOutputStream();
InputStreamin=response.getInputStream();
intch;
while(-1!
=(ch=in.read())){
out.write(ch);
newConnection.close();
类似的,读写操作被阻塞而且向流中一次写入一个字符会造成效率低下,所以应该使用缓冲区,但是一旦使用缓冲,流又会产生更多的垃圾。
传统的解决方法
通常在Java中处理阻塞I/O要用到线程(大量的线程)。
一般是实现一个线程池用来处理请求,如图二
图二
线程使得服务器可以处理多个连接,但是它们也同样引发了许多问题。
每个线程拥有自己的栈空间并且占用一些CPU时间,耗费很大,而且很多时间是浪费在阻塞的I/O操作上,没有有效的利用CPU。
三.新I/O
1.Buffer
传统的I/O不断的浪费对象资源(通常是String)。
新I/O通过使用Buffer读写数据避免了资源浪费。
Buffer对象是线性的,有序的数据集合,它根据其类别只包含唯一的数据类型。
java.nio.Buffer类描述
java.nio.ByteBuffer包含字节类型。
可以从ReadableByteChannel中读在WritableByteChannel中写
java.nio.MappedByteBuffer包含字节类型,直接在内存某一区域映射
java.nio.CharBuffer包含字符类型,不能写入通道
java.nio.DoubleBuffer包含double类型,不能写入通道
java.nio.FloatBuffer包含float类型
java.nio.IntBuffer包含int类型
java.nio.LongBuffer包含long类型
java.nio.ShortBuffer包含short类型
可以通过调用allocate(intcapacity)方法或者allocateDirect(intcapacity)方法分配一个Buffer。
特别的,你可以创建MappedBytesBuffer通过调用FileChannel.map(intmode,longposition,intsize)。
直接(direct)buffer在内存中分配一段连续的块并使用本地访问方法读写数据。
非直接(nondirect)buffer通过使用Java中的数组访问代码读写数据。
有时候必须使用非直接缓冲例如使用任何的wrap方法(如ByteBuffer.wrap(byte[]))在Java数组基础上创建buffer。
2.字符编码
向ByteBuffer中存放数据涉及到两个问题:
字节的顺序和字符转换。
ByteBuffer内部通过ByteOrder类处理了字节顺序问题,但是并没有处理字符转换。
事实上,ByteBuffer没有提供方法读写String。
Java.nio.charset.Charset处理了字符转换问题。
它通过构造CharsetEncoder和CharsetDecoder将字符序列转换成字节和逆转换。
3.通道(Channel)
你可能注意到现有的java.io类中没有一个能够读写Buffer类型,所以NIO中提供了Channel类来读写Buffer。
通道可以认为是一种连接,可以是到特定设备,程序或者是网络的连接。
通道的类等级结构图如下
图三
图中ReadableByteChannel和WritableByteChannel分别用于读写。
GatheringByteChannel可以从使用一次将多个Buffer中的数据写入通道,相反的,ScatteringByteChannel则可以一次将数据从通道读入多个Buffer中。
你还可以设置通道使其为阻塞或非阻塞I/O操作服务。
为了使通道能够同传统I/O类相容,Channel类提供了静态方法创建Stream或Reader
4.Selector
在过去的阻塞I/O中,我们一般知道什么时候可以向stream中读或写,因为方法调用直到stream准备好时返回。
但是使用非阻塞通道,我们需要一些方法来知道什么时候通道准备好了。
在NIO包中,设计Selector就是为了这个目的。
SelectableChannel可以注册特定的事件,而不是在事件发生时通知应用,通道跟踪事件。
然后,当应用调用Selector上的任意一个selection方法时,它查看注册了的通道看是否有任何感兴趣的事件发生。
图四是selector和两个已注册的通道的例子
图四
并不是所有的通道都支持所有的操作。
SelectionKey类定义了所有可能的操作位,将要用两次。
首先,当应用调用SelectableChannel.register(Selectorsel,intop)方法注册通道时,它将所需操作作为第二个参数传递到方法中。
然后,一旦SelectionKey被选中了,SelectionKey的readyOps()方法返回所有通道支持操作的数位的和。
SelectableChannel的validOps方法返回每个通道允许的操作。
注册通道不支持的操作将引发IllegalArgumentException异常。
下表列出了SelectableChannel子类所支持的操作。
ServerSocketChannelOP_ACCEPT
SocketChannelOP_CONNECT,OP_READ,OP_WRITE
DatagramChannelOP_READ,OP_WRITE
Pipe.SourceChannelOP_READ
Pipe.SinkChannelOP_WRITE
四.举例说明
1.简单网页内容下载
这个例子非常简单,类SocketChannelReader使用SocketChannel来下载特定网页的HTML内容。
packageexamples.nio;
importjava.nio.ByteBuffer;
importjava.nio.channels.SocketChannel;
importjava.nio.charset.Charset;
import.InetSocketAddress;
importjava.io.IOException;
publicclassSocketChannelReader{
privateCharsetcharset=Charset.forName("
UTF-8"
//创建UTF-8字符集
privateSocketChannelchannel;
publicvoidgetHTMLContent(){
try{
connect();
sendRequest();
readResponse();
}catch(IOExceptione){
System.err.println(e.toString());