打开Python爬虫实战练习页面初识浏览器指纹：Selenium是如何被反爬的_H06_Spiderbuf，可以看到页面内容是由NordPass发布的2022年全球最常用密码列表，只是一个简单的表格，数据也只有10条。 在网页上点击右键 > 显示网页源代码，可以看到网页结构也并不复杂。HTML代码并不多，总共就88行，但在源码当中没有看到页面上显示的内容，这种情况一般是由JavaScript动态加载并渲染内容的。 F12打开谷歌浏览器开发者工具，刷新一下页面，看到network（网络）这里加载了几个文件，其中有一个JavaScript文件是值得注意的，因为其它几个文件名就能猜到它的作用，...
打开Python爬虫实战练习页面CSS伪元素反爬_N04_Spiderbuf，可以看到页面内容是豆瓣电影评分。 在网页上点击右键 > 显示网页源代码，可以看到网页结构也并不复杂。往下滚动查看源码，第115行开始是豆瓣电影内容介绍及评分。 第115行HTML源码找到了9.3这样的数字，看起来是电影评分，但回到页面上看，实际上看到的是9.7这样的内容。很明显HTML源码里的内容是用来误导爬虫的。 <span>豆瓣电影评分:</span><span class="mnopqr pkenmc">.</span><span ...
打开Python爬虫实战练习页面CSS Sprites （雪碧图）反爬_N05_Spiderbuf，可以看到页面内容跟布局都已经很熟悉了，并且网页内容也并不复杂。 在网页上点击右键 > 显示网页源代码，可以看到网页结构也并不复杂。往下滚动查看源码，第82 - 84行是企业估值(亿元)的源码，但在源码中看不到任何内容，而页面中的内容是正常的。出现这种情况就要想到是由CSS样式控制了内容的显示，所以要根据 class 属性值 sprite 去继续分析。 <p>企业估值(亿元)：<span class="sprite uvwxyz"></spa...
打开Python爬虫实战练习页面网页表单爬取（RPA初阶）_N06_Spiderbuf，可以看到页面是由一些常见的表单控件组成的，有些表单控件有值，有些没有。 网页表单通常由标签 &lt;form&gt; 标签对包含起来，按照HTML5的标准，表单控件通常有text、email、password、url、number、range、Date pickers (date, month, week, time, datetime, datetime-local)、search、color、tel、textarea等组成，大部分是以 &lt;input&gt;标签包含，...
方法有多种，例如：模拟浏览器、JavaScript代码调试等。建议同时掌握多种解法，训练自己对网页爬虫的直觉。
小知识：普通人的手是无法使用鼠标划出一条完美的直线的，但机器人可以。。。...