189 8069 5689

Python爬虫某东商品评论信息采集流程分析

这篇文章主要讲解了“Python爬虫某东商品评论信息采集流程分析”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python爬虫某东商品评论信息采集流程分析”吧!

目前创新互联建站已为超过千家的企业提供了网站建设、域名、虚拟主机网站托管运营、企业网站设计、钟祥网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

评论接口

一、接口查找

随意点击某一商品,跳转详情页,点击商品评价

Python爬虫某东商品评论信息采集流程分析

继续下翻,查看评论展示页数,这里只显示100页

要查找真正的评论接口,直接刷新页面,找起来相当麻烦。

打开调试,清空请求内容,直接点击查看第二页的接口信息,如下图

Python爬虫某东商品评论信息采集流程分析

查看response信息,根据字段comments很容易判断这就是要找的评论接口,里面还包含了热门评论信息。

二、参数查找

先截图记录下点击第二页的请求参数

接着继续点击第三页内容,左侧搜索框中直接搜索productP,过滤无用的接口信息,查看请求参数,并和前一页的请求参数做比较。

Python爬虫某东商品评论信息采集流程分析

分析到这里可以得到如下结论

  • productId代表当前商品的ID,更换商品ID,便可以采集不同商品的评论

  • page代表访问的页数,这里计算页数从0开始,参数请求的页数等于实际点击的页数减1

三、代码测试

代码如下,请求时需要在headers中加入ua和referer,这里翻页只设置2

执行结果如下:

Python爬虫某东商品评论信息采集流程分析

代码里只提取了商品ID,评论内容,评论时间,如下图红框标注的数据

如果要提取其他字段信息,可在代码中自行添加。

搜索接口

一、接口查找

搜索以食品为例,输入食品,点击搜索

Python爬虫某东商品评论信息采集流程分析

继续下翻,查看商品返回页数,这里也是最大返回100页信息

Python爬虫某东商品评论信息采集流程分析

二、参数查找

同样的,根据下滑,翻页查看参数的变化

Python爬虫某东商品评论信息采集流程分析

页面上商品展示信息较多,有可能出现会临时加载一次请求的可能,继续下翻,恰好可以看到新增了一次请求,请求参数如下,看着参数增多了。(注意:新增的参数可以忽略)

接着点击第三页

Python爬虫某东商品评论信息采集流程分析

如果无法发现规律,可继续点击翻页查看变化规则。

接口参数的构造逻辑有以下几点:

  • 每一页有两次请求,page初始值为1

  • s的值每次请求增加25,初始值为1

  • 其他参数值不变,部分新增参数可以忽略

三、html页面解析

直接定位到页面商品位置,可以看到所有商品信息都在ul标签下的li标签里面

Python爬虫某东商品评论信息采集流程分析

点击li标签,可以看到div/div下的a标签里面,包含商品title信息,商品链接信息,链接当中又包含我们需要提取的product_id信息,右键copy、copy xpath直接提取位置信息。

四、代码测试

代码如下,注意headers中,referer参数需要进行url编码。

Python爬虫某东商品评论信息采集流程分析

感谢各位的阅读,以上就是“Python爬虫某东商品评论信息采集流程分析”的内容了,经过本文的学习后,相信大家对Python爬虫某东商品评论信息采集流程分析这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


文章名称:Python爬虫某东商品评论信息采集流程分析
文章URL:http://cdxtjz.com/article/gdhisj.html

其他资讯