1. 清空所有包
2. 点击filter里面的XHR按钮,来过滤其他只保留XHR请求
3. 下拉滚动条,出现新内容时,查看抓到的包
4. 查看包中Response部分是否JSON返回数据
5. 将JSON字符串全部拷贝到json.cn查看
6. 分析JSON对象的层级结构,找到我们需要的数据。
CSDN分类新闻
# 导入包
import requests
# 通过XHR请求分析到的真实请求地址
url = "https://cms-api.csdn.net/v1/web_home/select_content?componentIds=www-blog-recommend&cate1=big-data"
# 请求页面
r = requests.get(url)
# 将返回的JSON字符串解析成Python对象(字典/列表)
d = r.json()
for i in d['data']['www-blog-recommend']['info']:
print(i['extend']['title'])
print(i['extend']['url'])
京东电子书价格
1. 打开开发者工具,点击Network
2. 刷新页面
3. 点击放大镜(Search)按钮,输入我们想查找的内容.
4. 点Filter过滤按钮,输入刚才查找到的网站
5. 找到地址后把真实请求地址复制
6. 粘贴到浏览器中,查看返回的JSON数据,看是否能精简url(可选),一般情况下都要去掉callback
# 导入包
import requests
# 原始网址 https://e.jd.com/30133975.html?ebook=1
# 分析价格地址
url = "https://p.3.cn/prices/mgets?skuids=J_30133975,J_12229841&type=2&pdtk=&pduid=1629804128957760986697&pdpin=&pdbp=0"
r = requests.get(url)
r.json()
巨潮资讯网上市公司十大股东
import requests
url = "http://www.cninfo.com.cn/data20/stockholderCapital/getTopTenStockholders?scode=600188"
r = requests.get(url)
d = r.json()
for i in d['data']['records']:
print(i['F001D'])
print(i['F002V'])
留言