FTP使用说明文档.docx

1、FTP使用说明文档综合资源ftp采集1 ftp采集程序大shell使用说明目录结构为：bin： 为程序目录cfg 为配置目录log： 日志记录1.1 shell程序bin目录下的ftpmain.sh为程序入口，主要验证参数合法性，收集要ftp文件的配置信息，处理日志信息，控制ftp采集的总流程。1.2 核心配置信息4.1.1 colparm.xml配置文件 -采集源服务器名，与参数对应的索引 /parser/cm_parser1/cm_parser1.sh-分析程序路径-网元名列表 /pmapp/libin/spool/voice/CSZTE/cfg/nelist.txt -ftp采集程序 /

2、u1/tmn/datacol/cm_ftpcol/bin/ftpcol.sh -流水日志 /u1/tmn/cmapp/ftpmain/log/logtd_nouxi_flow.log -错误日志 /u1/tmn/cmapp/ftpmain/log/td_nouxi_err.log 2 ftp采集程序使用说明目录结构为：Bin： 为程序目录Conf： 为配置目录Log： Temp：ftp命令以及日志的目录 2.1 shell程序ftpcol.sh为程序入口，主要验证参数合法性，收集要ftp文件的配置信息，处理日志信息，给ftpcore.sh传递参数。ftpcore.sh为核心程序，得到配置文件里

3、面的信息，ftp到服务器，下载文件。log.sh 为日志记录程序。在ftpcol.sh里面定义了一个shell所在当前目录的变量MainDirectory。将这个变量的值，改成该程序所在的目录。timecreate1.sh 为得到当前日期的shell。返回的格式信息为 周几(英文)_小时_分钟。2.2 perl程序2.2.1 digester.pldigester.pl负责操作xml，取相应节点的值。如果成功获取，则返回相应的信息；如果获取失败，则返回NULL。 里面的方法： hasServerName 判断服务名id在配置文件里面是否存在 hasContent1 判断节点是否有内容。有，返回

4、true；没有，返回false hasContent2 判断两个节点是否同时有内容。有，返回true；没有，返回false getContent 得到该节点的内容。有内容，返回内容信息；没有，返回NULL getComplexContent 得到更深一层的数据。如果有多条，用空格作为分隔符。如果都没有数据，则返回NULL2.2.2 operate.ploperate.pl是实现shell不好实现的功能，并返回处理后的结果。里面的方法：getIncon 在缺失日志中，选取结尾为needcol的数据。在传给shell时，将结尾的needcol字段去除，如果有多条数据，则以空格隔开。addOver

5、如果该条缺失记录大于最大补采时间或最大补采次数，则在该行添加addOver字段，表明下次不再补采该条缺失记录。bakRlostcfg 备份rlostcfg，每月1号将rlostcfg中上上个月的记录剪出来 getCpath 在自动补采时，读缺失文件，该方法是得到缺失文件所在服务器上的目录。该方法调用了getInconFileMessage，如果有多个目录，则以空格隔开。getCfile2 在自动补采时，读缺失文件，该方法是得到服务器上的缺失文件。该方法调用了getInconFileMessage。每条数据用, 分割。缺失文件所在的目录，与上面getCpath相对应。举个例子： 服务器上有HP和

6、MP两个目录里缺失文件，HP下缺失aaa.txt bbb.cfg ccc.log文件；MP下缺失ddd.sql eee.NET文件。getCpath返回的信息为: HP空格MP。getCfile2返回的信息为aaa.txt, bbb.cfg, ccc.log空格ddd.sql, eee.NET。getStrCurrentTime得到当前时间。如果月份或日份为个数，则添加一个零，保证位数相同。dealRlostcfg 处理缺失记录。通过传入最大补采日期和最大补采次数，对缺失文件进行相应的操作。analyseInputTime 将手动传入的日期参数分析出时钟、分钟和该天是星期几。2.2.3 tim

7、ecreat.pl operate.pl是实现shell传入日期参数的操作。yearmonthday返回的格式为：yyyy_MM_ddWeekhourminute返回的格式为：Monday_hh_mi Yearmonthdayhourminutesecond返回的格式为：yyyy_MM_dd_hh_mi_ssanalyseInputTime将一个字符串转化为相应格式的日期。该方法用于手动补采。3配置文件3.1 核心配置信息3.1.1 colparm.xml配置文件这里定义了ftp采集日志等信息 .id属性为标识了该ftp服务名称。 /spool/npr/data/SCnew_siemens/t

8、mp/ /spool/npr/data/SCnew_siemens/bak/ /spool/npr/data/SCnew_siemens/parser/Server/SCnew_siemens/sendlostmsg.sh /spool/npr/ftpcol/log/SCnew_siemens/flow_err/SCnew_siemens_ftpflow.log这一块是自动采集的配置信息。Keeppath为ftp下载到哪一目录。默认配置三个，pitem id=1 是ftp下载到目录。然后复制到pitem id=2目录里，最后剪贴到pitem id=3目录里。如果只配两个，ftp下载到pitem

9、 id=1目录里，然后直接剪贴到pitem id=2目录里。Othermethod定义了执行完主程序后，还要扩展内容。比如像修改采集过来文件的文件名，读取网元名到指定的目录。Flowlog定义了日志所要打印到的文件里面。weekhourminute /spool/npr/ftpcol/temp/complexfalsetimecreate定义日期生成格式(参数：yearmonthday yearmonthdayhourminutesecond weekhourminute 详见timecteat.pl分析)。ftpFile定义了采集所生成的ftp执行命令。fname 定义ftp登陆服务器时，将

10、存在的文件名存入文件中(参数 ：single complex 默认为complex)。有的服务器只能ls一个文件，参数选为single。完整的模板： /u1/tmn/spool/voice/NOUXI/tmp/ /u1/tmn/spool/voice/NOUXI/bak/ /u1/tmn/spool/voice/NOUXI/parser/ ./log/log/NOUXI/NOUXI_ftpflow.log weekhourminute ./log/temp/ ./server/NOUXI/sendlostmsg.sh single false 3.1.2 ftpcol.xml配置文件这里定义了

11、配置信息。 !- /u1/tmn/npr/test/MP/data/ path1 /u1/tmn/npr/test/MP/data1/ path2 - CSA1/colpathcreat_csa1.sh !- cfile1,cfile2 cfile1,cfil2,cfile3 - CSA1/colfilecreat_csa1.sh CSA1/getexistfile_csa1.sh 30 15id属性为标识了该ftp服务名称。如果colpath为空，则找colpathcreat属性，如果同时存在时，用colpath属性内容。colpath属性为固定的目录，colpathcreat则是从shel

12、l代码里面获得的目录内容。目的是要进入ftp服务器的哪一个目录。如果colfile为空，则找colfilecreat属性，如果同时存在时，用colfile属性内容。colfile属性为固定的目录，colfilecreat则是从shell代码里面获得的目录内容。目的是ftp哪些文件。如果colfile为空，则getexistfile必须有可以执行的shell。目的是理论上ftp要下的文件。frequ是延迟时间，以分钟计算。最大不能超过24小时。lag是ftp的时间粒度，用60除以该数目，必须是整数。3.1.3 ftpcon.xml配置文件这里定义了ftp连接信息 10.154.33.80 21

13、wnms Langchao#789id属性为标识了该ftp服务名称，sip定义ip地址，port定义了端口号，suser定义了登陆名称，spwd定义了登陆密码。3.2 Server文件夹下配置信息所有的ftp服务器，以id为名字，在Server下面建立文件夹。3.2.1 colparm的othermethod属性定义的shell用户扩展功能用的shell：扩展方法：将采集过来的文件修改其文件名，将网元名列表写入到指定的文件中。3.2.2 fname_exit文件得到当前ftp服务器上要采集文件前缀名，配合ftpcol getexistfile属性定义的shell使用。因为要得到当前ftp服务器

14、确定的采集文件，用ls 前缀* 得到， 所以这个前缀名信息要非常广。3.2.3 fname_filecreat文件得到当前ftp服务器理论上要采集文件前缀名，配合ftpcol colfilecreat属性定义的shell使用。因为要得到当前ftp服务器确定的采集文件，用ls 前缀* 得到， 所以这个前缀名信息要足够详细。3.2.4 ftpcol的colpathcreat属性定义的shell有的ftp目标目录是随着时间变换的，比如目录为 星期_时钟_分钟，所以要根据当前的日期，减去时间延迟，根据文件生成的粒度，计算出要ftp的目录是星期几，多少点钟，多少分钟。3.2.5 ftpcol的colfi

15、lecreat属性定义的shell有的ftp目标文件是随着时间变换的，比如目录为 前缀名_星期_时钟_分钟，前坠名则是从fname_exist里面得到。根据当前的日期，减去时间延迟，根据文件生成的粒度，计算出要ftp的目录是星期几，多少点钟，多少分钟。再加上前缀名，则得到了要ftp的文件。3.2.6 ftpcol的getexistfile属性定义的shell有的ftp目标文件是随着时间变换的，比如目录为 前缀名_星期_时钟_分钟，前坠名则是从fname_filecreat里面得到。根据当前的日期，减去时间延迟，根据文件生成的粒度，计算出要ftp的目录是星期几，多少点钟，多少分钟。再加上前缀名，

16、则得到了要ftp的文件。4注意事项4.1 xml配置文件1、 所有标识为目录的内容，最后以/结束。比如colparm.xml文件里面的lostlogbak节点，表示缺失日志备份的目录，内容为/spool/npr/ftpcol/log/SCnew_siemens/lostbak/。最后结束的时候必须有/符号。4.2程序部署问题1、 shell程序不会自己定义文件夹，如果保存一个文件到这个目录，这个目录不存在，程序就会报错。5操作步骤1. 在ftpcol/bin/ftpcol.sh脚本中修改bin的目录MainDirectory=/pmapp/datacol/ftpcol/bin2. 配置conf目录下的配置文件3. 在ftpcol/server创建场景服务器id的文件夹，根据实际情况，写ftp的目录和ftp文件的脚本4. 在log/conf和log/log创建场景服务器id的文件夹5. 在/spool目录下创建保存数据的文件夹6. 进入bin目录，执行采集