自学python爬虫的第一天

admin管理员组

文章数量:1794759

自学python爬虫的第一天

爬取图片 所谓的爬取图片是指我们将某一个网页上的图片全部通过编写python代码保存到我们的电脑上，不用一张张的下载，那样太浪费时间了！！！！ 我们知道了用python爬虫来获取图片，那么下面我们先了解一下爬虫的步骤

找到我们需要爬取的网页的url

通过python中的第三方模块进行发送请求

接受服务器给我们反馈回来的数据

根据我们的需求进行数据解析

永久性的保存

废话不多说，直接上项目 项目一：爬取有趣图片网上的大陆明星的图片 步骤如下：

1.我们先在浏览器上打开有趣图片网网址：www.youqutu/mingxing/dalustar如图所示：

2.我们要下载的是最左侧的图片，我们就需要在网页中找到他们存放的位置，F12查看网页源代码

如图所示：我们要爬取的图片存放在img中，我们知道了图片的位置，那么我们就需要将图片路径解析出来 3.这里呢小编使用的是正则解析。解析出图片路径，我们就要进行保存了。 4.直接上代码：

import requests import re import os if not os.path.exists('./qiutuLibs'): os.mkdir('./qiutuLibs') headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36' } url='www.youqutu/mingxing/dalustar/list_%s.html' for i in range(0,20): new_url=format(url%i) page_text=requests.get(url=new_url,headers=headers).text # print(page_text) ex='<img class="preview thumb-in" src="(.*?)">' img_src_list=re.findall(ex,page_text,re.S) print(img_src_list) for src in img_src_list: img_data=requests.get(url=src,headers=headers).content img_name=src.split('/')[-1] imgPath='./qiutuLibs/'+img_name with open(imgPath,'wb') as fp: fp.write(img_data) print('下载成功')

运行效果如下

如有不懂之处，欢迎咨询小编，小编将为你耐心讲解！！！！

本文标签： 爬虫Python