今日在线

婚前检查有哪些项目,python项目实战:带领你爬取很多图片哟,成都天气预报

前语

信任我们都做过许多的Python项目吧,是不是很风趣呀,本节为我们介绍一个爬取许多图片的事例,加深我们的常识

废话少说,上代码

首要导入库

import os
import json
import requests
import time

获取一切图片组的信息

def get_info():
""" 获取一切图片组的信息 """
res = []
wit梦想次元掠取记h open('data/info.txt', 'r') as f:
for line in f:
data = json.loads(line)
res.extend(data['data']['list'])
return res

获取要下载的一切图片url、目录名、要存储的姓名

def get_info_imgs(info):
""" 获取要下载的一切图片url、目录名、要存储的姓名 """
res = []
for 北京星星雨教育研究所item in info:
nic婚前查看有哪些项目,python项目实战:带领你爬取许多图片哟,成都天气预报kname = item["author"]["nickname"]
catalog = item["source"]["catalog"]
name = item["source"]["热河杆子帮name"]
issue = item["issue"]
pictureCount = item["pictureCount"]
for pic_idx in range(pictureCount):
# url = "http://aiss-125423婚前查看有哪些项目,python项目实战:带领你爬取许多图片哟,成都天气预报3499.costj.myqcloud.com/picture/%s/%s/%s.jpg" % (catalog, issue, pic_idx)
url = "http://tuigirl-1254818389.婚前查看有哪些项目,python项目实战:带领你爬取许多图片哟,成都天气预报cosbj.myqcloud.com/picture/%s/%s/%s.jpg" % (catalog, issue, pic_idx)
director婚前查看有哪些项目,python项目实战:带领你爬取许多图片哟,成都天气预报y婚前查看有哪些项目,python项目实战:带领你爬取许多图片哟,成都天气预报 = os.pa宫兰芳th.join("data", name, "%s-%s" % (issue, nickname))
filepath = os.path.join(directory, "%s.jpg" % pic_idx)
# 每张图片一组,包括 图片url,地点目录,存储途径
res清炒蒜蓉四季豆.append((
url, directory, filepath
))
return res

学习历来不是一个人的工作,要有个彼此监督的同伴,工作需要学习python或许有爱好学习python的同伴能够私信回复小编“学习” 收取全套免费python学习材料、视频()装包

设置文件夹,文件夹名为传入的 directory 参数,若不存在会主动创立

def setup_download_dir(d辱母杀人案发展irectory):
""" 设置文件夹,文件夹名为传入的 directory 参数,若不存双清路14号院在会主动创立 """
if not os.path.exists(directory):
try:
os.makedirs(directory)
except魏道斌 Exception as e:
pass
成聪水联return True王齐铭直播
from multiprocessing import Process, Queue, Pool

下载一张图片

def download_one(im蒙日圆g):
""" 下载一张图片 """
url, directory, filepath = img
# 假如文件现已存在,抛弃下载
if os.path.exists(filepath):
print('exists:', filepath)
return
setup_download_dir(directory)
rsp = requests.get(url)
print('start download', url)
with open(filepath, 'wb') as f:
f.write(rsp.content)
print('end download', url)

并发下载一切图片

def downlo缤越试驾ad(imgs, processe婚前查看有哪些项目,python项目实战:带领你爬取许多图片哟,成都天气预报s=10):
""" 并发下载一切图片 """
start_t吴聘有孩子吗ime = time.time()
pool = Pool(processes)
for img in imgs:
pool.apply_async(download_one, (img, ))
poo漆黑大帝迪迦l.close()
pool.join()
end_time = time.time()
print('下载结束,婚前查看有哪些项目,python项目实战:带领你爬取许多图片哟,成都天气预报用时:%s秒' % (end_time - start_t3串4什么意思ime))

履行函数

if __n阮初夏霍殊ame__ == "__main__":
info = ge娘西游t_info()
imgs = get_info_imgs(i甘婷婷的老公nfo)
download(imgs, processes=smfk10)

哈哈,是不是过程清晰呀?欢迎我们一同学习,一同沟通,共同进步

相关文章