AI网络爬虫：批量获取post请求动态加载的json数据

文章预览

网站 https://www. futurepedia.io/ai-innov ations 的数据是通过post请求动态加载的： 查看几页的请求载荷： {"companies":[],"startDate":"2023-12-01T00:00:00.000Z","endDate":"2024-06-09T12:25:08.525Z","limit":25,"page":9,"categories":[],"itemTypes":[],"query":null} {"companies":[],"startDate":"2023-12-01T00:00:00.000Z","endDate":"2024-06-09T12:25:08.525Z","limit":25,"page":7,"categories":[],"itemTypes":[],"query":null} {"companies":[],"startDate":"2023-12-01T00:00:00.000Z","endDate":"2024-06-09T12:25:08.525Z","limit":25,"page":5,"categories":[],"itemTypes":[],"query":null} 这三个请求载荷的主要区别在于它们的"page"参数。这个参数通常用于分页，表示请求的是第几页的数据。具体来说： 第一个请求载荷请求的是第9页的数据。 第二个请求载荷请求的是第7页的数据。 第三个请求载荷请求的是第5页的数据。 其他参数，如"companies"、"startDate"、"endDate"、"limit"、"categories"和"ite ………………………………