189 8069 5689
本篇内容介绍了“怎么用Python爬虫获取网址美图”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！
专注于为中小企业提供成都网站设计、成都做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业开江免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了数千家企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。
Python学习教程之爬虫：爬取街拍美图
1. 抓包
2. 查看参数信息
多看几页即可看见规律，主要改变的项无非是offset，timestamp，这里的stamp是13位的时间戳，再根据keyword改变搜索项，可以改变offset值实现翻页操作，其他的都是固定项
3. 数据解析
返回的数据中可以得到具体的栏目，image_list中是所有的图片链接，我们解析这个栏目，然后根据title下载图片即可
4. 流程分析
构建url发起请求，改变offset的值执行便利操作，对返回的json数据进行解析，根据title名称建立文件夹，如果栏目含有图片，则以title_num的格式下载图片
import requests
import os
import time
headers = {
'authority': 'www.toutiao.com',
'method': 'GET',
'path': '/api/search/content/?aid=24&app_name=web_search&offset=100&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis×tamp=1556892118295',
'scheme': 'https',
'accept': 'application/json, text/javascript',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'content-type': 'application/x-www-form-urlencoded',
'referer': 'https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D',
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
'x-requested-with': 'XMLHttpRequest',
}
def get_html(url):
return requests.get(url, headers=headers).json()
def get_values_in_dict(list):
result = []
for data in list:
result.append(data['url'])
return result
def parse_data(url):
text = get_html(url)
for data in text['data']:
if 'image_list' in data.keys():
title = data['title'].replace('|', '')
img_list = get_values_in_dict(data['image_list'])
else:
continue
if not os.path.exists('街拍/' + title):
os.makedirs('街拍/' + title)
for index, pic in enumerate(img_list):
with open('街拍/{}/{}.jpg'.format(title, index + 1), 'wb') as f:
f.write(requests.get(pic).content)
print("Download {} Successful".format(title))
def get_num(num):
if isinstance(num, int) and num % 20 == 0:
return num
else:
return 0
def main(num):
for i in range(0, get_num(num) + 1, 20):
url = 'https://www.toutiao.com/api/search/content/?aid={}&app_name={}&offset={}&format={}&keyword={}&' \
'autoload={}&count={}&en_qc={}&cur_tab={}&from={}&pd={}×tamp={}'.format(24, 'web_search', i,
'json', '街拍', 'true', 20, 1, 1, 'search_tab', 'synthesis', str(time.time())[:14].replace('.', ''))
parse_data(url)
if __name__ == '__main__':
main(40)“怎么用Python爬虫获取网址美图”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！