浅谈无缓存IO操作和标准IO文件操作区别Word文档下载推荐.docx

1、如果这一点看不懂，请看第二点;2:带不带缓存是相对来说的，如果你要写入数据到文件上时（就是写入磁盘上），内核先将数据写入到内核中所设的缓冲储存器，假如这个缓冲储存器的长度是100个字节，你调用系统函 :ssize_t write （int fd,const void * buf,size_t count）;写操作时，设每次写入长度count=10个字节，那么你几要调用10次这个函数才能把这个缓冲区写满，此时数据还是在缓冲区，并没有写入到磁盘，缓冲区满时才进行实际上的IO操作，把数据写入到磁盘上，所以上面说的“不带缓存不是就没有缓存直写进磁盘”就是这个意思。那么，既然不带缓存的操作实际在内核是有

2、缓存器的，那带缓存的IO操作又是怎么回事呢, 带缓存IO也叫标准IO，符合ANSI C 的标准IO处理，不依赖系统内核，所以移植性强，我们使用标准IO操作很多时候是为了减少对read（）和write（）的系统调用次数，带缓存IO其实就是在用户层再建立一个缓存区，这个缓存区的分配和优化长度等细节都是标准IO库代你处理好了，不用去操心，还是用上面那个例子说明这个操作过程:上面说要写数据到文件上，内核缓存（注意这个不是用户层缓存区）区长度是100字节，我们调用不带缓存的IO函数write（）就要调用10次，这样系统效率低，现在我们在用户层建立另一个缓存区（用户层缓存区或者叫流缓存），假设流缓存的长度

3、是50字节，我们用标准C库函数的fwrite（）将数据写入到这个流缓存区里面，流缓存区满50字节后在进入内核缓存区，此时再调用系统函数write（）将数据写入到文件（实质是磁盘）上，看到这里，你用该明白一点，标准IO操作fwrite（）最后还是要掉用无缓存IO操作write,这里进行了两次调用fwrite（）写100字节也就是进行两次系统调用write（）。如果看到这里还没有一点眉目的话，那就比较麻烦了，希望下面两条总结能够帮上忙:无缓存IO操作数据流向路径:数据内核缓存区磁盘 标准IO操作数据流向路径:数据流缓存区内核缓存区磁盘 下面是一个网友的见解，以供参考:不带缓存的I/O对文件描述符操

4、作，下面带缓存的I/O是针对流的。标准I/O库就是带缓存的I/O，它由ANSI C标准说明。当然，标准I/O最终都会调用上面的I/O例程。标准I/O库代替用户处理很多细节，比如缓存分配、以优化长度执行I/O等。标准I/O提供缓存的目的就是减少调用read和write的次数，它对每个I/O流自动进行缓存管理（标准I/O函数通常调用malloc来分配缓存）。它提供了三种类型的缓存:1） 全缓存。当填满标准I/O缓存后才执行I/O操作。磁盘上的文件通常是全缓存的。2） 行缓存。当输入输出遇到新行符或缓存满时，才由标准I/O库执行实际I/O操作。stdin、stdout通常是行缓存的。3） 无缓存。相

5、当于read、write了。stderr通常是无缓存的，因为它必须尽快输出。一般而言，由系统选择缓存的长度，并自动分配。标准I/O库在关闭流的时候自动释放缓存。在标准I / O库中，一个效率不高的不足之处是需要复制的数量。 据当使用每次一行函数fgets和fputs时，通常需要复制两次数据:一次是在内核和标准I / O缓存之间（当调用read和write时），第二次是在标准I / O缓存（通常系统分配和管理）和用户程序中的行缓存（fgets的参数就需要一个用户行缓存指针）之间。不管上面讲的到底懂没懂，记住一点:使用标准I / O例程的一个优点是无需考虑缓存及最佳I / O长度的选择，并且它并不

6、比直接调用read、write慢多少。带缓存的文件操作是标准C 库的实现，第一次调用带缓存的文件操时作函数 标准库会自动分配内存并且读出一段固定大小的内容存储在缓存中。所以以后每次的读写操作并不是针对硬盘上的文件直接进行的，而是针对内存中的缓存的。何时 从硬盘中读取文件或者向硬盘中写入文件有标准库的机制控制。不带缓存的文件操作通常都是系统提供的系统调用，更加低级，直接从硬盘中读取和写入文件，由于 IO瓶颈的原因，速度并不如意，而且原子操作需要程序员自己保证，但使用得当的话效率并不差。另外标准库中的带缓存文件IO 是调用系统提供的不带缓存IO实现的。这里为了说明标准I/O的工作原理,借用了gli

7、bc中标准I/O实现的细节,所以代码多是不可移植的. 1. buffered I/O, 即标准I/O 首先,要明确,unbuffered I/O只是相对于buffered I/O,即标准I/O来说的. 而不是说unbuffered I/O读写磁盘时不用缓冲.实际上,内核是存在高速缓冲区来进行 真正的磁盘读写的,不过这里要讨论的buffer跟内核中的缓冲区无关. buffered I/O的目的是什么呢?很简单,buffered I/O的目的就是为了提高效率. 请明确一个关系,那就是, buffered I/O库函数（fread, fwrite等,用户空间） unbuffered I/O系统调用（

8、read,write等,内核空间） 读写磁盘 buffered I/O库函数都是调用相关的unbuffered I/O系统调用来实现的,他们并不直接读写磁盘. 那么,效率的提高从何而来呢?注意到,buffered I/O中都是库函数,而unbuffered I/O中为系统调用,使用库函数的效率是高于使用系统调用的. buffered I/O就是通过尽可能的少使用系统调用来提高效率的. 它的基本方法是,在用户进程空间维护一块缓冲区,第一次读（库函数）的时候用read（系统调用）多从内核读出一些数据, 下次在要读（库函数）数据的时候,先从该缓冲区读,而不用进行再次read（系统调用）了. 同样,写

9、的时候,先将数据写入（库函数）一个缓冲区,多次以后,在集中进行一次write（系统调用）,写入内核空间. buffered I/O中的fgets, puts, fread, fwrite等和unbufferedI/O中的read,write等就是调用和被调用的关系 下面是一个利用buffered I/O读取数据的例子:#include stdio.hsys/types.hsys/stat.hfcntl.hint main（void） char buf5;FILE *myfile = stdin;fgets（buf, 5, myfile）;fputs（buf, myfile）;return 0;

10、 buffered I/O中的buffer到底是指什么呢?这个buffer在什么地方呢?FILE是什么呢?它的空间是怎么分配的呢?要弄清楚这些问题,就要看看FILE是如何定义和运作的了. （特别说明,在平时写程序时,不用也不要关心FILE是如何定义和运作的,最好不要直接操作 它,这里使用它,只是为了说明buffered IO） 下面的这个是glibc给出的FILE的定义,它是实现相关的,别的平台定义方式不同. struct _IO_FILE int _flags;#define _IO_file_flags _flags char* _IO_read_ptr;char* _IO_read_en

11、d;char* _IO_read_base; char* _IO_write_base; char* _IO_write_ptr;char* _IO_write_end;char* _IO_buf_base;char* _IO_buf_end;char *_IO_save_base; char *_IO_backup_base; char *_IO_save_end;struct _IO_marker *_markers;struct _IO_FILE *_chain;int _fileno;上面的定义中有三组重要的字段:1. char* _IO_read_end; char* _IO_rea

12、d_base; 2. write_base; char* _IO_char* _IO_write_ptr; char* _IO_write_end; 3. char* _IO_buf_end;其中, _IO_read_base 指向读缓冲区_IO_read_end 指向的末尾 _IO_read_end - _IO_read_base 的长度 _IO_write_base 指向写缓冲区_IO_write_end 指向_IO_write_end - _IO_write_base _IO_buf_base 指向缓冲区_IO_buf_end 指向_IO_buf_end - _IO_buf_base 上面的定义貌似给出了3个缓冲区,实际上上面的_IO_read_base, _IO_write_base, _IO_buf_base都指向了同一个缓冲区. 这个缓冲区跟上面程序中的char buf5;没有任何关系. 他们在第一次buffered I/O操作时由库函数自动申请空间,最后由相应库函数负责释放. （再次声明,这里只是glibc的实现,别的实现可能会不同,后面就不再强调了） 请看下面的程序（这里给的是stdin,行缓冲的例子）: #include FILE *myfile =stdin;printf（before