VBA处理网页基础一分解Word文件下载.docx
《VBA处理网页基础一分解Word文件下载.docx》由会员分享,可在线阅读,更多相关《VBA处理网页基础一分解Word文件下载.docx(11页珍藏版)》请在冰豆网上搜索。
主讲文本处理技巧、文本内码转换、URL内码转换、补充ADOStream对象在WEB方面的应用、XML数据交互、WEB服务和服务器推送机制等知识补遗。
(7)数据提取和数据防盗的博弈:
主要介绍几种常见的网络数据防盗的情形,并探讨如何破解思路。
(8)JAVASCRIPT篇:
高阶教程,主要简介JAVASCRIPT基础知识,以及MSScriptControl对象主要属性和方法,VBA如何解析json序列。
以下开始第一篇的正文:
一、网络通信基础知识串讲
网络通俗的说,是能上网的计算机的集合。
计算机彼此不同,它们如何进行通讯呢,通过什么规则来通信呢。
通过TCP/IP等标准协议,它允许我们的电脑,通过互联网直接和另一台电脑进行通讯。
请注意,TCP/IP一般只是底层协议(传输层),可以简单理解为它只是提供计算机设备之间的底层通讯接口,其他例如软件方面的对接,还需要高层协议,后面我们会讲到。
有了通讯的规则,那计算机硬件方面是怎么互相识别呢。
他们是通过数字地址,即我们通常说的IP,就像XX的IP就是119.75.217.56,我们可以在浏览器地址栏键入119.75.217.56也可以对XX进行访问。
这一串数字实在不好记啊,所以就有了域名,。
用域名通讯的时候,域名要先经过互联网上的域名服务器(DNS)进行转换,转成IP地址,再进行访问。
网络上的两台计算机通讯,很多情况,一台是我们这些客户机,另外一台是提供信息的服务器。
客户机需要浏览网页资讯的时候,是通过我们机子上安装的浏览器,例如IE、FIREFOX等,向服务器发送请求,服务器响应浏览器的请求,将相关的信息回传给我们的浏览器,浏览器进行识别和翻译,展现出来大量的文本或图片等,来供我们查看。
请注意,一般而言,通讯是静态的。
服务器在等待浏览器的请求之前,是不会主动做任何事情的。
现在页面很多动态实时的效果,其实还是我们浏览器,不停的向服务器发送请求,服务器返回消息再更新页面的结果,例如AJAX技术;
或者是首次请求后,通讯并没有断开,服务器源源不断的往浏览器发送更新数据,这就是传说中的长连接技术。
服务器能识别我们的请求,我们的浏览器,也能翻译或解释那些服务器返回的数据或文档,那彼此之间的通讯格式,还需要一个协议去规范的。
这就是我们常说的超文本传输协议——HTTP。
HTTP协议就是用于客户端和服务器之间的文档或数据的交互的。
请注意,这里的文档指的不仅是文本,还可能是图片、视频或音频,或者是指向到其他文档的嵌入式链接,因此叫超文本。
一般情况,当我们的浏览器,通过域名,访问了某个服务器,一般会进到服务器的门户主页面中。
当我们点击门户页面的某个超链接或者点击某个提交按钮后,要求服务器进一步返回我们需要的某个资源文档,或者执行我们提交给它的某些命令时(例如成绩查询)。
其实,我们刚才点击的超链接或按钮,就蕴含着我们要获取的文档或者执行程序的路径,这个路径统称URL——统一资源定位符。
HTTP通讯中,这个路径的格式一般为:
HTTP:
//域名:
端口/文档或程序的全路径?
参数。
端口就是服务器某个特定进程来处理客户端发来的消息,默认为80,可以先不用去理解这个名词。
文档或程序路径是相对路径。
服务器也是一台计算机,上面除了存放资源文件,还存放着维护服务器的软件,因此资源文档可能并不存放在其根目录上。
例如,可能我们的资源文档根目录是服务器上/admin/web这个目录,那http:
//域名/news/weather.html其实访问的就是服务器根目录下/admin/web/news/weather.html这个文件。
最后的?
参数,是可选的,用于传递浏览器向服务器发送的请求参数,可有多个参数,用“&
”符号隔开,每个参数的名和值用“=”符号隔开,例如:
综上所述,一句话而言,服务器接收浏览器发来的HTTP请求,并翻译识别请求中的消息并进行权限校检,进而识别请求中的URL并翻译成服务器的一个文档名称(找到它并按请求的内容进行返回)或程序名称(传递参数按请求的规定执行它并将结果返回)。
二、HTTP协议简析
基本上,大部分的web通讯,都是使用http协议。
我们用下面的图,复习下通讯的流程(客户端发起请求,服务器回送响应):
(1)首先客户机与服务器建立连接。
(2)建立连接后,客户机通过HTTP协议发送一个请求给服务器。
(3)服务器接到请求后,给予相应的响应信息。
(4)客户端接收服务器所返回的信息通过浏览器显示在用户的显示屏上,然后客户机与服务器断开连接。
从流程上,可以看出,它由请求和响应构成。
通讯的每次请求或相应中,都包含着两个部分:
头部和主体。
头部包含了构建通讯所需的信息/命令;
主体包含了通信传递的数据,头部和主体之间间隔一个VBCRLF。
我们还是通过,FIDDLER这个抓包软件来进行讲解,请上
举例说明如下,请在浏览器地址栏键入:
这时,我们先打开FIDDLER,然后再按下网页的搜索按钮。
这样,FIDDLER就可以捕捉到,执行搜索的HTTP请求,还能截取到查询结果的响应消息。
我们分阶段进行解析。
(一)请求阶段
如图操作,选择第一条记录,有时候就是发送查询命令的HTTP请求。
选择左边的INSPECTORS的RAW标签,就可以看见HTTP请求的内容。
POSTHTTP/1.1
Host:
User-Agent:
Mozilla/5.0(WindowsNT5.1;
rv:
14.0)Gecko/20100101Firefox/14.0.1
Accept:
text/html,application/xhtml+xml,application/xml;
q=0.9,*/*;
q=0.8
Accept-Language:
zh-cn,zh;
q=0.8,en-us;
q=0.5,en;
q=0.3
Accept-Encoding:
gzip,deflate
DNT:
1
Connection:
keep-alive
Referer:
Cookie:
JSESSIONIDlz=00002DNpApMXAw1wHVO0vSgVGuf:
16f9u5edl;
JSESSIONID=0000g4T4RXnmmvxkZ2Vi0rZy3fM:
132eapo0d
Content-Type:
application/x-www-form-urlencoded
Content-Length:
37
searchType=2&
keyWords=310115*********
实际情况中,有可能会看到一系列的发包记录,那实际的获取数据的发包请求又是哪一条呢?
一般不用一个个记录去看,我们可以选取结果页面的一个标识语句(例如“搜索结果”啊,“注册成功”啊,这样的标示语句),在FIDDLER界面按住CTRL+F,会出现查找功能的界面,然后键入我们要查找的标识,如图,就可以搜索出到底是哪条记录。
从上面的RAW标签,可以看出,HTTP请求的通用格式:
Ø
HTTP方法URL或URL的路径部分HTTP协议版本
头部字段
回车换行
消息主体
下面按照该格式的每个条目进行解释:
1、首行的HTTP方法,就是请求的方法,总共有5种,但是常用的就GET和POST,GET是索取数据的请求,要求服务器返回URL指定的文档内容,或返回URL指定的数据处理过程的结果所指向的文档,是最常见的。
POST是向服务器提交数据的请求,要求服务器接收并利用随附的消息主体的数据,来执行某个程序或获取文档,通常用于浏览器向服务器发送表单数据,例如提交注册信息,或者进行数据查询等。
所以,如果采用GET方式,一般消息主体为空,采用POST方式的话,一般就有相应的消息主体。
请注意,并不意味着采用GET方式就不能携带数据了,上一节我们说了,URL是可以携带我们需要传递给服务器的参数的。
例如
那既然GET方式也可以携带参数,那两者区别又是什么呢?
一是安全性,GET方式参数就在URL,提交的是密码等私密资料就不合适用GET;
二是,GET方式提交的数据最多只能有1024字节,而POST则没有此限制。
三是,GET一般不能改变服务器的数据,而POST可以改变服务器的数据,例如注册了个用户,服务器就多了数据条目。
2、头部字段,头部字段主要描述的是我们的请求的内容,绝大部分是可选的。
格式为“字段名称:
字段值”,以下列举几个常用又比较重要的头部字段吧,其他请自行参阅HTTP协议:
2.1host字段:
该字段指定请求资源的Intenet主机和端口号,即URL的域名部分,HTTP/1.1请求必须包含该字段。
2.2Referer字段:
Referer字段值,就是我们发起HTTP请求时的那个页面URL,是用来控制盗链的一种方式。
2.3User-Agent字段:
该字段的内容包含发出请求的用户信息(浏览器和系统等消息)。
有时候也会作为放盗的一种方式,更多用来服务器判定依据不同用户系统情况,返回不同的兼容文档。
2.4Cache-Control字段:
用来指定请求遵循的缓存机制。
包括no-cache、no-store、max-age、max-stale、min-fresh、only-if-cached等。
2.5Cookie字段:
这是比较重要的请求头信息之一;
这个我们后面详细说,先跳过。
2.6If-Modified-Since字段:
所请求的页面在客户端的缓存中的最近更新时间;
2.7Pragma字段:
指定“no-cache”值表示服务器必须返回一个刷新后的文档,即使它是代理服务器而且已经有了页面的本地拷贝;
2.8Content-Type字段:
在使用POST方式的时候,这个字段非常关键,用来标识后附的消息主体的类型。
作