C08 - JS 逆向爬虫实战示例代码
coding=utf-8 import time import base64 import hmac import hashlib import requests import urllib.parse import json from Crypto.Cipher import AES import numpy as np base_url = ‘https://spiderbuf.cn/web-scraping-practice/scraper-practice-c08’ myheaders = { ‘User-Agent’: ‘M...
Python爬虫实战C08 JS逆向实战练习案例解析
爬虫实战练习C08案例解析 打开Python爬虫实战练习C08页面 爬虫实战练习C08,页面上的是金融数据,涵盖股票(科技、金融、能源)、ETF(指数、行业)、加密货币,字段包括代码、名称、价格、涨跌幅等。先点击“立即验证”看看要求计算什么数据,发现是要求计算 Price 列的平均值。 初步分析 想要打开开发者工具,发现快捷键跟右键都失效了,只能从浏览器菜单打开了。 打开浏览器开发者工具之后刷新一下页面,看看都加载了什么。发现了一个 API 数据接口,有三个参数,返回的响应内容看似是加密数据。 在开发者工具 -> 网络,点击 API 的请求,右边切换到启动器,直接点击请求调用堆栈(c08...
永久免费的云主机资源:Oracle Cloud Infrastructure (OCI) 申请教程
Oracle Cloud 之前只知道 CloudFlare 会有免费的 CDN 等资源可以白嫖,AWS 有限期免费试用的云主机,没想到 Oracle Cloud 居然有永久免费的云主机可以白嫖。虽然配置是低了一点,但用来学习、测试还是足够的。而且申请的海外主机在国内访问速度也很快,反倒是我之前在腾讯云买的一台香港主机卡得一匹。 配置 按照 Oracle Cloud 的免费政策,每人可以申请两台永久免费(Always Free)的云主机,配置是 1 OCPU + 1G 内存(注意这里不是10,是 ocpu)。有人可能觉得这个配置做不了什么,装个数据库就会卡。但其实安装 MySQL 之类的数据库而...
告别断连!用 .ssh/config + iTerm2 打造稳定顺滑的SSH体验
SSH 远程连接云服务器 因为一直有远程连接云服务器、本地虚拟化平台的之类的需要,所以 SSH 的工具从最初的 PuTTY、XShell、FinalShell,到 MobaXterm、Tabby 等都有用过,切换到 macOS 作为工作环境后,主要是以 Tabby 为主。之所以使用这些工具而不是命令行,主要是因为这些工具使用 SFTP 比较方便。 在 macOS 上连接 SSH,很多人会选择 Tabby 这样的跨平台 SSH 客户端,它界面美观、上手简单。但近期包括我在内的不少人都遇到一个烦恼:Tabby 频繁断连,甚至在长时间运行进程时直接掉线,上传一个不到30M的文件也会失败,严重影响工作...
JS逆向破解爬虫练习C11通关提示
模拟了电商平台的商品列表,以爬取 MacBook M4 商品价格为目标,多币种的价格需要通过筛选才能完全爬取。其中的条件组合会直接影响参数的生成,需要好好分析通参数的加密形式。 参数的多次传递及校验,需要一些新的技能才能分析出参数的生成逻辑。 也许,你会有一点不错的运气,凭借多年来的爬虫经验形成的直觉走捷径。 如果你知道了 MacBook M4 的价格,记得通过验证页面告诉我。...