• 28 comments
• Andrew Coyne

8. XHR 抓包及JSON结果解析

1. 清空所有包

2. 点击filter里面的XHR按钮，来过滤其他只保留XHR请求

3. 下拉滚动条，出现新内容时，查看抓到的包

4. 查看包中Response部分是否JSON返回数据

5. 将JSON字符串全部拷贝到json.cn查看

6. 分析JSON对象的层级结构，找到我们需要的数据。

CSDN分类新闻

# 导入包
import requests
# 通过XHR请求分析到的真实请求地址
url = "https://cms-api.csdn.net/v1/web_home/select_content?componentIds=www-blog-recommend&cate1=big-data"
# 请求页面
r = requests.get(url)
# 将返回的JSON字符串解析成Python对象(字典/列表)
d = r.json()
for i in d['data']['www-blog-recommend']['info']:
    print(i['extend']['title'])
    print(i['extend']['url'])

京东电子书价格

1. 打开开发者工具,点击Network

2. 刷新页面

3. 点击放大镜(Search)按钮,输入我们想查找的内容.

4. 点Filter过滤按钮,输入刚才查找到的网站

5. 找到地址后把真实请求地址复制

6. 粘贴到浏览器中,查看返回的JSON数据,看是否能精简url(可选)，一般情况下都要去掉callback

# 导入包
import requests
# 原始网址 https://e.jd.com/30133975.html?ebook=1
# 分析价格地址
url = "https://p.3.cn/prices/mgets?skuids=J_30133975,J_12229841&type=2&pdtk=&pduid=1629804128957760986697&pdpin=&pdbp=0"
r = requests.get(url)
r.json()

巨潮资讯网上市公司十大股东

import requests
url = "http://www.cninfo.com.cn/data20/stockholderCapital/getTopTenStockholders?scode=600188"
r = requests.get(url)
d = r.json()
for i in d['data']['records']:
    print(i['F001D'])
    print(i['F002V'])