昭福教育网

使用postman测试猜想为了验证这个设想打开谷歌浏览器,在地址栏

简介: (三)使用postman测试猜想为了验证这个设想打开谷歌浏览器,在地址栏中输入以下网址:https://www.epubit.com/pubcloud/content/front/portal/getUbookList

来源:麦叔编程作者:麦叔这是一个详细的爬虫进阶教程,里面包含了很详细的思考和试错过程,如果你对学爬虫是认真的,建议认真看。

我们要抓取这个网站上的所有图书列表:一、探索研究创建一个新的python文件,写入如下代码:import requestsurl = 'https://www.epubit.com/books'res = requests.get(url)print(res.text)运行发现打印结果如下:这里面根本没有图书的信息。

但使用浏览器检查器可以看到图书的信息:我们碰到了一个基于前后端分离的网站,或者说一个用JaScript获取数据的网站。

这种网站的数据流程是这样的:初次请求只返回了网页的基本框架,并没有数据。

但网页的基本框架中包含JaScript的代码,这段代码会再发起一次或者多次请求获取数据。

为了抓取这样的网站,有两个办法:分析出后续请求的地址和参数,写代码发起同样的后续请求。

二、分析后续请求打开谷歌浏览器的检查器,按图中的指示操作:点击Network,这里可以查看浏览器发送的所有网络请求。

选XHR,查看浏览器用JaScript发送的请求。

再来理解一下浏览器打开一个网页的过程,一般并不是一个请求返回了所有的内容,而是包含多个步骤:第一个请求获得HTML文件,里面可能包含文字,数据,图片的地址,样式表地址等。

浏览器根据HTML中的链接,再次发送请求,读取图片,样式表,基于JaScript的数据等。

所以我们看到有这么不同类型的请求:XHR, JS,CSS,Img,Font, Doc等。

我们爬取的网站发送了很多个XHR请求,分别用来请求图书列表,网页的菜单,广告信息,页脚信息等。

具体操作步骤如图:在左边选中请求在右边选择Response下面可以看到这个请求返回的数据,从数据可以判断是否包含图书信息。

Jascript请求返回的格式通常是JSON格式,这是一种JaScript的数据格式,里面包含用冒号隔开的一对对数据,比较容易看懂。

在众多的请求中,可以根据请求的名字大致判断,提高效率。

点开查看,返回的果然是图书列表。

请记住这个链接的地址和格式,后面要用到:https://www.epubit.com/pubcloud/content/front/portal/getUbookList?page=1&row=20&=&startPrice=&endPrice=&tagId=分析一下,可以看到:网址是:https://www.epubit.com/pubcloud/content/front/portal/getUbookListpage=1表示第1页,我们可以依次传入2,3,4等等。

(三)使用postman测试猜想为了验证这个设想打开谷歌浏览器,在地址栏中输入以下网址:https://www.epubit.com/pubcloud/content/front/portal/getUbookList?page=1&row=20&=&startPrice=&endPrice=&tagId=可是得到了如下的返回结果:{"code": "-7", "data": null, "msg": "系统临时开小差,请稍后再试~", "success": false}这并不是系统出了问题,而是系统检测到我们是非正常的请求,拒绝给我们返回数据。

这说明除了发送这个URL,还需要给服务器传送额外的信息,这些信息叫做Header,翻译成中文是请求头的意思。

在下图中可以看到正常的请求中包含了多个请求头:选中要查看的请求在右边选Headers往下翻,可以看到Request Headers,下面就是一项项数据:Accept: application/json, text/plain, /Accept-Encoding:gzip, deflate, br....为了让服务器正常处理请求,我们要模拟正常的请求,也添加相应的header。

如果给的Header也都一样,服务器根本不可能识别出我们是爬虫。

但通常服务器并不会检查所有的Header,可能只要添加一两个关键Header就可以骗服务器给我们数据了。

在浏览器中无法添加Header,为了发送带Header的HTTP请求,我们要使用另一个软件叫做Postman。

打开postman后可以看到如下界面:在最上面点击加号,可以添加一个新的请求中间填写请求的URL点Headers进入Headers的设置界面,添加Header。

我们来了解一下几个常见的header:User-Agent: 这个Header表示请求者是谁,一般是一个包括详细版本信息的浏览器的名字,比如:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36如果爬虫不添加这个Header,服务器一下就能识别出这是不正常请求,可以予以拒绝。

Cookie: 如果一个网站需要登录,登录的信息就保存在Cookie中。

服务器通过这个Header判定是否登陆了,登陆的是谁。

假设我们要自动在京东商城下单,我们可以先人工登录,复制Cookie的值,用Python发送请求并包含这个Cookie,这样服务器就认为我们已经登陆过了,允许我们下单或做其他操作。

如果在程序中加上计时的功能,指定具体下单的时间点,这就是秒杀程序。

Accept:指浏览器接受什么格式的数据,比如**application/json, text/plain, */***是指接受JSON,文本数据,或者任何数据。

Origin-Domain: 是指请求者来自那个域名,这个例子中是:www.epubit.com关于更多的HTTP的Header,可以在网上搜索HTTP Headers学习。

我一个个添加常用的Header,但服务器一直不返回数据,直到添加了Origin-Domain这个Header。

网页的程序有可能不检查Header,也有可能检查一个Header,也有可能检查多个Header,这都需要我们尝试才能知道。

既然Origin-Domain是关键,也许程序只检查这一个Header,我们通过左边的选择框去掉其他的Header,只保留Origin-Domain,请求仍然成功,这说明只检查了这一个Header:然后修改地址栏中的page参数,获取其他的页,比如截图中修改成了3,再发送请求,发现服务器返回了新的数据(其他的20本书)。

(四)写抓取程序开发爬虫,主要的时间是分析,一旦分析清楚了,爬取代码并不复杂:import requestsdef get_page(page=1):'''抓取指定页的数据,默认是第1页''' # 使用page动态拼接URL url = f'https://www.epubit.com/pubcloud/content/front/portal/getUbookList?page={page}&row=20&=&startPrice=&endPrice=&tagId=' headers = {'Origin-Domain': 'www.epubit.com'} # 请求的时候同时传入headers res = requests.get(url, headers=headers) print(res.text)get_page(5)这里我们测试了抓取第5页的数据,比对打印出的JSON数据和网页上的第5页数据,结果是匹配的。

现在我们去分析JSON的数据结构,再来完善这个程序。

(五)分析JSON数据JSON就像Python中的字典,用大括号存放数据,用冒号分割键和值。

下面是省略的JSON数据:{"code": "0", "data": { "current": 1, //第一页 "pages": 144, //一共几页 "records": [ //很多本书的信息放在方括号中 { "authors": "[美] 史蒂芬·普拉达(Stephen Prata)", //作者 "code": "UB7209840d845c9", //代码 "collectCount": 416, //喜欢数 "commentCount": 64, //评论数 "discountPrice": 0, //折扣价 "downebookFlag": "N", "fileType": "", ... }, { "authors": "笨叔", "code": "UB7263761464b35", "collectCount": 21, "commentCount": 3, "discountPrice": 0, "downebookFlag": "N", "fileType": "", ... }, ... ], "size": 20, "total": 2871 }, "msg": "成功", "success": true}我们来学习一下这个JSON格式:最外面是一个大括号,里面包含了code, data, msg, success四块信息。

其中code, msg和sucess表示请求的状态码,请求返回的提示,请求是否成功。

data的冒号后面是一个大括号,表示一个数据对象。

{ "authors": "[美] 史蒂芬·普拉达(Stephen Prata)", //书名 "code": "UB7209840d845c9", //代码 "collectCount": 416, //喜欢数 "commentCount": 64, //评论数 "discountPrice": 0, //折扣0,表示没有折扣 ... "forSaleCount": 3, //在售数量 ... "logo": "https://cdn.ptpress.cn/pubcloud/bookImg/A20190961/20200701F892C57D.jpg", "name": "C++ Primer Plus 第6版 中文版", //书名 ... "price": 100.30, //价格 ...}每本书的信息有很多个字段,这里省略掉了很多字段,给重要的信息添加了注释。

(六)完成程序现在来完善上面的程序,从JSON中解析出我们要的数据,为了简化,我们只抓取:书名,作者,编号和价格。

程序框架:import requestsimport jsonimport time class Book:# --省略--def get_page(page=1): # --省略-- books = parse_book(res.text) return booksdef parse_book(json_text): #--省略--all_books = []for i in range(1, 10): print(f'======抓取第{i}页======') books = get_page(i) for b in books: print(b) all_books.extend(books) print('抓完一页,休息5秒钟...') time.sleep(5)定义了Book类来表示一本书添加了parse_book函数负责解析数据,返回包含当前页的20本书的list最下面使用for循环抓取数据,并放到一个大的列表中,range中添加要抓取的页数。

下面来看看,被省略掉的部分:Book类:class Book:def __init__(self, name, code, author, price): self.name = name self.code = code self.author = author self.price = price def __str__(self): return f'书名:{self.name},作者:{self.author},价格:{self.price},编号:{self.code}'下面是__str__函数是一个魔法函数,当我们使用print打印一个Book对象的时候,Python会自动调用这个函数。

parse_book函数:import jsondef parse_book(json_text):'''根据返回的JSON字符串,解析书的列表''' books = [] # 把JSON字符串转成一个字典dict类 book_json = json.loads(json_text) records = book_json['data']['records'] for r in records: author = r['authors'] name = r['name'] code = r['code'] price = r['price'] book = Book(name, code, author, price) books.append(book) return books在最上面import了json模块,这是Python自带的,不用安装关键的代码就是使用json把抓来的JSON字符串转成字典,剩下的是对字典的操作,就很容易理解了。


以上是文章"

使用postman测试猜想为了验证这个设想打开谷歌浏览器,在地址栏

"的内容,欢迎阅读昭福教育网的其它文章