打开Python爬虫实战练习页面无序号翻页_E03_Spiderbuf，可以看到页面很简单，内容是《2021胡润中国500强》排行榜，总共有5页。点击一下翻页，发现浏览器地址栏中并没有出现以往翻页的页面，取而代之的是一串字符串。 在网页上右键 -> 网页源码，往下滚动查找翻页的HTML代码，或者在开发者工具（F12）直接通过光标选中页面翻页区域，得到以下的代码。 <nav aria-label="Page navigation"> <ul class="pagination"> <li><span>共...
打开Python爬虫实战练习页面User-Agent与Referer校验反爬_N01_Spiderbuf，可以看到页面很简单，内容是《2021胡润中国500强》排行榜。 在网页上点击右键 > 显示网页源代码，找到数据的起始位置，发现所有数据都明晃晃地放在HTML源码里面。这就不用多说了，这样的页面前面也爬过很多了，直接用Python写爬虫代码并运行。 url = 'http://www.spiderbuf.cn/playground/n01' myheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Appl...
打开Python爬虫实战练习页面CSS样式偏移混淆文本内容的解析与爬取_H01_Spiderbuf，可以看到页面很简单，内容是《2021胡润中国500强》排行榜。 在网页上点击右键 > 显示网页源代码，找到数据的起始位置，发现其它内容都是直接放在 &lt;p&gt; 标签里面的，唯独企业名称与企业估值(亿元)的位置内容比较多。 把企业名称与企业估值(亿元)的HTML源码的内容与网页上显示的作一下对比，会发现内容的位置不一致。 <div class="col-xs-6 col-lg-4" style="margin-bottom: 30p...
打开Python爬虫实战练习页面使用Base64编码的图片爬取与解码还原_N02_Spiderbuf，可以看到页面很简单，只有一小段文字及一张图片组成。 在网页上点击右键 > 显示网页源代码，在HTML源码里面直接按Ctrl + F ，然后输入关键字img（img是HTML中加载图片的常用标签）进行搜索，在HTML代码的第63行我们找到了img标签。 但与以往不同的是，img标签的src属性并没有像往常一样指向一个链接，而是一大串看似杂乱的字符串。 src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAABWQAAAODCAYAAA...
打开Python爬虫实战练习页面限制访问频率不低于1秒_N03_Spiderbuf，可以看到页面内容是由NordPass发布的2022年全球最常用密码列表，总共20页数据。 在网页上点击右键 > 显示网页源代码，可以在HTML源码里面直接看到需要的数据，尝试翻页，发现数据依然能在HTML当中看到，而且翻页的链接也在HTML源码里面。 在人工浏览页面及翻页时，没有发现动态加载的数据，也没有觉察到有什么明显的反爬措施，这种情况我们可以根据以往的经验直接用Python写爬虫代码。 # coding=utf-8 import requests from lxml import etree bas...