Sersync+rsync实现文件同步.docx

1、Sersync+rsync实现文件同步Sersync+rsync实现文件同步Rsync的介绍在使用sersync之前，我们必须安装配置好rsync服务器。这里我们需要注意的是，纯粹的使用rsync做单向同步时，rsync的守护进程是运行在文件推送的服务器上，而接收的服务器是运行rsync客户端。使用sersync做文件实时同步刚好相反，用于接收文件的服务器运行rsync守护进程。rsync的安装到这里http:/rsync.samba.org/ftp/rsync/下载最新的安装包，现在最新版本是rsync-3.0.9，我们以Red Hat Linux为例讲解。1、下载rsync安装包# wge

2、thttp:/rsync.samba.org/ftp/rsync/rsync-3.0.9.tar.gz2、卸载rsync(如果系统默认安装rsync) # rpm -qa |greprsync#rpm -e rsync-2.6.8-3.1 3、 安装新版rsync# tar -zxvf rsync-3.0.9# cd rsync-3.0.9# ./configure # make&make installrsync服务器的配置文件rsyncd.conf下面我们将涉及到三个文件 rsyncd.conf，rsyncd.secrets 和rsyncd.motd。rsyncd.conf 是rsync服

3、务器主要配置文件。rsyncd.secrets是登录rsync服务器的密码文件。rsyncd.motd是定义rysnc 服务器信息的，也就是用户登录信息。下面我们分别建立这三个文件。1. mkdir /etc/rsyncd注：在/etc目录下创建一个rsyncd的目录，我们用来存放rsyncd.conf 和rsyncd.secrets文件；1. touch /etc/rsyncd/rsyncd.conf注：创建rsyncd.conf ，这是rsync服务器的配置文件；1. touch /etc/rsyncd/rsyncd.secrets注：创建rsyncd.secrets ，这是用户密码文件；

4、1. chmod 600 /etc/rsyncd/rsyncd.secrets注：为了密码的安全性，我们把权限设为600；1. touch /etc/rsyncd/rsyncd.motd注：创建rsyncd.motd文件，这是定义服务器信息的文件。下一步就是我们修改 rsyncd.conf 和rsyncd.secrets 和rsyncd.motd 文件的时候了。rsyncd.conf文件内容：1. # Minimal configuration file for rsync daemon2. # See rsync(1) and rsyncd.conf(5) man pages for hel

5、p3. 4. # This line is required by the /etc/init.d/rsyncd script5. pid file = /var/run/rsyncd.pid 6. port = 8737. address = 192.168.1.171 8. #uid = nobody 9. #gid = nobody 10. uid = root 11. gid = root 12. 13. use chroot = yes 14. read only = no 15. 16. 17. #limit access to private LANs18. hosts allo

6、w=192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0 19. hosts deny=*20. 21. max connections = 5 22. motd file = /etc/rsyncd/rsyncd.motd23. 24. #This will give you a separate log file25. log file = /var/log/rsync.log26. 27. #This will log every file transferred - up to 85,000+ per user, per sync28. #t

7、ransfer logging = yes29. 30. log format = %t %a %m %f %b31. timeout = 30032. 33. linuxsirhome 34. path = /home 35. list=yes 36. ignore errors 37. auth users = linuxsir38. secrets file = /etc/rsyncd/rsyncd.secrets 39. comment = linuxsir home 40. exclude = beinan/ samba/ 41. 42. beinan43. path = /opt

8、44. list=no45. ignore errors46. comment = optdir 47. auth users = beinan48. secrets file = /etc/rsyncd/rsyncd.secrets密码文件：/etc/rsyncd/rsyncd.secrets的内容格式；1. 用户名:密码2. linuxsir:2222223. beinan:333333注： linuxsir是系统用户，这里的密码值得注意，为了安全，你不能把系统用户的密码写在这里。比如你的系统用户 linuxsir 密码是 abcdefg ，为了安全，你可以让rsync 中的linuxsi

9、r 为 222222 。rsyncd.motd 文件;它是定义rysnc 服务器信息的，也就是用户登录信息。比如让用户知道这个服务器是谁提供的等；类似ftp服务器登录时，我们所看到的 linuxsir.org ftp 。 当然这在全局定义变量时，并不是必须的，你可以用#号注掉，或删除；我在这里写了一个 rsyncd.motd的内容为：1. +2. + linuxsir.org rsync 2002-2007 +3. +rsyncd.conf文件代码说明1. pid file = /var/run/rsyncd.pid注：告诉进程写到 /var/run/rsyncd.pid 文件中；1. por

10、t = 873注：指定运行端口，默认是873，您可以自己指定；1. address = 192.168.1.171注：指定服务器IP地址；1. uid = nobody2. gid = nobdoy注：服务器端传输文件时，要发哪个用户和用户组来执行，默认是nobody。 如果用nobody 用户和用户组，可能遇到权限问题，有些文件从服务器上拉不下来。所以我就偷懒，为了方便，用了root 。不过您可以在定义要同步的目录时定义的模块中指定用户来解决权限的问题。1. use chroot = yes用chroot，在传输文件之前，服务器守护程序在将chroot 到文件系统中的目录中，这样做的好处是可

11、能保护系统被安装漏洞侵袭的可能。缺点是需要超级用户权限。另外对符号链接文件，将会排除在外。也就是说，你在rsync服务器上，如果有符号链接，你在备份服务器上运行客户端的同步数据时，只会把符号链接名同步下来，并不会同步符号链接的内容；这个需要自己来尝试；1. read only = yes注：read only 是只读选择，也就是说，不让客户端上传文件到服务器上。还有一个 write only选项，自己尝试是做什么用的吧；1. #limit access to private LANs2. hosts allow=192.168.1.0/255.255.255.0 10.0.1.0/255.25

12、5.255.0注：在您可以指定单个IP，也可以指定整个网段，能提高安全性。格式是ip 与ip 之间、ip和网段之间、网段和网段之间要用空格隔开；1. max connections = 5注：客户端最多连接数；1. motd file = /etc/rsyncd/rsyncd.motd注：motd file 是定义服务器信息的，要自己写 rsyncd.motd 文件内容。当用户登录时会看到这个信息。1. log file = /var/log/rsync.log注：rsync 服务器的日志；1. transfer logging = yes注：这是传输文件的日志；1. linuxsirhome

13、注：模块，它为我们提供了一个链接的名字，链接到哪呢，在本模块中，链接到了/home目录；要用name 形式；1. path = /home注：指定文件目录所在位置，这是必须指定的； 1. auth users = linuxsir注：认证用户是linuxsir ，是必须在 服务器上存在的用户；1. list=yes注：list 意思是把rsync 服务器上提供同步数据的目录在服务器上模块是否显示列出来。默认是yes 。如果你不想列出来，就no ；如果是no是比较安全的，至少别人不知道你的服务器上提供了哪些目录。你自己知道就行了；1. ignore errors注：忽略IO错误，详细的请查文档；

14、1. secrets file = /etc/rsyncd/rsyncd.secrets注：密码存在哪个文件；1. comment = linuxsir home data注：注释可以自己定义，写什么都行，写点相关的内容就行；1. exclude = beinan/ samba/注：exclude 是排除的意思，也就是说，要把/home目录下的beinan和samba 排除在外； beinan/和samba/目录之间有空格分开 ；启动rsync 服务器及防火墙的设置启动rsync服务器启动rsync 服务器相当简单，daemon 是让rsync 以服务器模式运行；1. /usr/bin/rsy

15、nc -daemon -config=/etc/rsyncd/rsyncd.confrsync服务器和防火墙Linux 防火墙是用iptables，所以我们至少在服务器端要让你所定义的rsync 服务器端口通过，客户端上也应该让通过。1. iptables -A INPUT -p tcp -m state -state NEW -m tcp -dport 873 -j ACCEPT查看一下防火墙是不是打开了 873端口；1. iptables -L通过rsync客户端来同步数据1. rsync -avzP linuxsirlinuxsir.org:linuxsirhome linuxsirho

16、mePassword: 这里要输入linuxsir的密码，是服务器端提供的，在前面的例子中，我们用的是 222222，输入的密码并不显示出来；输好后就回车；注： 这个命令的意思就是说，用linuxsir 用户登录到服务器上，把linuxsirhome数据，同步到本地目录linuxsirhome上。当然本地的目录是可以你自己定义的，比如 linuxsir也是可以的；当你在客户端上，当前操作的目录下没有linuxsirhome这个目录时，系统会自动为你创建一个；当存在linuxsirhome这个目录中，你要注意它的写权限。说明：-a 参数，归档模式，表示以递归方式传输文件，并保持所有文件属性，相当

17、于-rlptgoD，-r 是递归 -l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件；-z 传输时压缩；-P 传输进度；-v 传输时的进度等信息，和-P有点关系，自己试试。可以看文档；1. rsync -avzP -delete linuxsirlinuxsir.org:linuxsirhome linuxsirhome这回我们引入一个 delete 选项，表示客户端上的数据要与服务器端完全一致，如果 linuxsirhome目录中有服务器上不存在的文件，则删除。最终目的是让linu

18、xsirhome目录上的数据完全与服务器上保持一致；用的时候要小心点，最好不要把已经有重要数据的目录，当做本地更新目录，否则会把你的数据全部删除；1. rsync -avzP -delete -password-file=rsync.password linuxsirlinuxsir.org:linuxsirhome linuxsirhome这次我们加了一个选项 password-file=rsync.password ，这是当我们以linuxsir用户登录rsync服务器同步数据时，密码将读取 rsync.password 这个文件。这个文件内容只是linuxsir用户的密码。我们要如下做；

19、1. touch rsync.password2. chmod 600 rsync.password3. echo 222222rsync.password4. rsync -avzP -delete -password-file=rsync.password linuxsirlinuxsir.org:linuxsirhome linuxsirhome注： 这样就不需要密码了；其实这是比较重要的，因为服务器通过crond 计划任务还是有必要的；让rsync 客户端自动与服务器同步数据编辑crontabcrontab -e加入如下代码：1. 10 0 * * * rsync -avzP -del

20、ete -password-file=rsync.password linuxsirlinuxsir.org:linuxsirhome linuxsirhomesersync的介绍sersync主要用于服务器同步，web镜像等功能。基于boost1.43.0,inotify api,rsync command.开发。目前使用的比较多的同步解决方案是inotify-tools+rsync ，另外一个是google开源项目Openduckbill（依赖于inotify- tools），这两个都是基于脚本语言编写的。相比较上面两个项目，本项目优点是：sersync是使用c+编写，而且对linux系统

21、文件系统产生的临时文件和重复的文件操作进行过滤（详细见附录，这个过滤脚本程序没有实现），所以在结合rsync同步的时候，节省了运行时耗和网络资源。因此更快。摘自：sersync原理使用 Linux 2.6 内核的 inotify 监控 Linux 文件系统事件，被监听目录下如果有文件发生修改，sersync 将通过内核自动捕获到事件，并将该文件利用 rsync 同步到多台远程服务器。sersync 仅仅同步发生增、删、改事件的单个文件或目录，不像rsync镜像同步那样需要比对双方服务器整个目录下数千万的文件，并且支持多线程同步，因此效率非常 高。安装sersync到这里 Hat Linux为例

22、讲解。1. wget 2. mkdir /usr/sersync3. tar xzf sersync2.5_32bit_binary_stable_final.tar.gz -C /usr/sersync/就这样，sersync安装完成，下面介绍如何配置及使用。配置sersyncsersync的配置文件在/usr/sersync/confxml.xml。首先创建连接rsyncd的密码文件：1. echo 123456 /usr/sersync/rsync.pas2. chmod 600 /usr/sersync/rsync.pas下面是confxml.xml文件的一些配置解释：1. 2. 3.

23、 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. localpath watch=”/data0/htdocs/68. 69. sendurl base=”70. regexurl regex=”false” match=”71. 72. 73. 请根据自己的具体情况修改。sersync2命令使用说明1.在主服务器上开启sersync守护进程,使sersync在后台运行，开启实时同步。./sersync -d过程如下:1. rootlocalhost GNU-Linux-x86