2024-11-19阅读数:26
打开Python爬虫练习页面[随机CSS样式类名,无Element ID_N07_Spiderbuf](https://spiderbuf.cn/playground/n07),可以看到页面数据并不复杂。 在网页上点击右键 > 显示网页源代码,可以看到网页结构也并不复杂。源码第16 - 29行有CSS样式代码,根据提示应该就是这里会变化,直接在源码的页面上刷新,可以看到CSS的类名发生了变化,而且每刷新一次都会变。 往下翻看源码,可以看到源码第70 - 1436行就是我们需要爬取的内容,div对应的CSS类名也会随刷新页面变化。 因为CSS类名每次都是随机的,就很难像之前那样直接使用XP...
2024-11-18阅读数:34
平时写代码使用VSCode居多,写Python以及前端代码时基本不用过多地配置即可开始编写代码、运行,也算是开箱即用的程度。但涉及到Golang这样需要编译调试的开发语言就需要进行一些配置了,尤其是需要跨平台运行时就要用到交叉编译。 先科普一下交叉编译的概念:交叉编译是在一个平台上生成另一个平台上的可执行代码。同一个体系结构可以运行不同的操作系统;同样,同一个操作系统也可以在不同的体系结构上运行。 开发环境使用Windows以及macOS居多,但编译出来的程序往往是在Linux上运行,如果直接在服务器上进行编译就比较麻烦,所以就需要用到交叉编译。 交叉编译也可以用命令行进行,但每次都复制...
2024-11-17阅读数:78
这是一个静态的页面,通过点击“mnist”超链接跳转到真实数据页面。 注意使用浏览器开发者工具(F12)仔细分析超链接跳转时的请求头。 然后检查自己的Python爬虫代码,看看是否漏掉了一些参数。。。...
2024-11-15阅读数:45
在MacBook上逐步部署了开发环境,但因为之前没怎么使用过macOS操作系统,而且感觉macOS在权限管理方面比较细化也比较严格,在这个过程中踩了一些坑。 其中一个就是使用VMware Fusion安装虚拟机,在虚拟机中安装了Ubuntu系统,安装并启动nginx服务后在MacBook上无法使用Chrome访问的问题。 问题状况: 在虚拟机里使用curl命令可以正常访问到nginx的欢迎页面,但回到MacBook上在Chrome浏览器地址栏输入虚拟机的IP则无法访问,提示无法访问此网站(ERR_ADDRESS_UNREACHABLE)。 curl http://localhost/ ...
2024-10-14阅读数:156
The current Flask app is not registered with this 'SQLAlchemy' instance. Did you forget to call 'init_app', or did you create multiple 'SQLAlchemy' instances? 使用Flask开发Web应用时,必不可少的就是使用SQL Alchemy对数据库进行操作。但是经常会看到有些人遇到一个报错,就是以上这些报错提示。 这样的报错通常发生在保存数据及提交时,如以下代码: ```python db.session.add(spiderbuf) db...