Spiderbuf
爬虫练习
Python习题
技术文章
在线工具
捐赠
Python爬虫实战N01User-Agent与Referer校验反爬案例解析
发布日期:
1735573203
阅读数:664
打开Python爬虫实战练习页面User-Agent与Referer校验反爬_N01_Spiderbuf,可以看到页面很简单,内容是《2021胡润中国500强》排行榜。 在网页上点击右键 > 显示网页源代码,找到数据的起始位置,发现所有数据都明晃晃地放在HTML源码里面。这就不用多说了,这样的页面前面也爬过很多了,直接用Python写爬虫代码并运行。 url = 'http://www.spiderbuf.cn/playground/n01' myheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Appl...
Python爬虫实战H01CSS样式偏移混淆文本内容的解析与爬取案例解析
发布日期:
1735573127
阅读数:603
打开Python爬虫实战练习页面CSS样式偏移混淆文本内容的解析与爬取_H01_Spiderbuf,可以看到页面很简单,内容是《2021胡润中国500强》排行榜。 在网页上点击右键 > 显示网页源代码,找到数据的起始位置,发现其它内容都是直接放在 &lt;p&gt; 标签里面的,唯独企业名称与企业估值(亿元)的位置内容比较多。 把企业名称与企业估值(亿元)的HTML源码的内容与网页上显示的作一下对比,会发现内容的位置不一致。 <div class="col-xs-6 col-lg-4" style="margin-bottom: 30p...
Python爬虫实战N02使用Base64编码的图片爬取与解码还原案例解析
发布日期:
1735573040
阅读数:567
打开Python爬虫实战练习页面使用Base64编码的图片爬取与解码还原_N02_Spiderbuf,可以看到页面很简单,只有一小段文字及一张图片组成。 在网页上点击右键 > 显示网页源代码,在HTML源码里面直接按Ctrl + F ,然后输入关键字img(img是HTML中加载图片的常用标签)进行搜索,在HTML代码的第63行我们找到了img标签。 但与以往不同的是,img标签的src属性并没有像往常一样指向一个链接,而是一大串看似杂乱的字符串。 src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAABWQAAAODCAYAAA...
Python爬虫实战N03限制访问频率不低于1秒案例解析
发布日期:
1735572967
阅读数:651
打开Python爬虫实战练习页面限制访问频率不低于1秒_N03_Spiderbuf,可以看到页面内容是由NordPass发布的2022年全球最常用密码列表,总共20页数据。 在网页上点击右键 > 显示网页源代码,可以在HTML源码里面直接看到需要的数据,尝试翻页,发现数据依然能在HTML当中看到,而且翻页的链接也在HTML源码里面。 在人工浏览页面及翻页时,没有发现动态加载的数据,也没有觉察到有什么明显的反爬措施,这种情况我们可以根据以往的经验直接用Python写爬虫代码。 # coding=utf-8 import requests from lxml import etree bas...
Python爬虫实战H02高分电影列表复杂页面的解析(仿豆瓣电影)- xpath高级用法案例解析
发布日期:
1735489017
阅读数:580
打开Python爬虫实战练习页面高分电影列表复杂页面的解析(仿豆瓣电影)- xpath高级用法_H02_Spiderbuf,可以看到页面内容是豆瓣电影评分。 在网页上点击右键 > 显示网页源代码,可以看到一部分的豆瓣电影评分内容,HTML代码很长,通过把网页上最后一个《唐伯虎点秋香》在HTML源码里搜索,就能发现网页上显示的内容都在HTML源码里面了。 这种情况我们就直接获取页面解析内容就可以了。 但当我们按照常规的方式获取xpath表达式时,发现有些内容是前后没有HTML标签包裹的,而且会有内容混在一起难以分开,这种情况我们之前是没有遇到过的。这里其实就依照了豆瓣电影原版页面的HTML...
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21