首页 » 抓包
没有分页号而是动态加载的列表页怎么采集?

没有分页号而是动态加载的列表页怎么采集?

以《今日头条》为例:http://toutiao.com/ 使用《万能文章采集器》并多款软件辅助实现动态加载列表页的采集。

作者:水淼发表于:2016-12-06 11:21:55
隐藏列表页(栏目页)抓包分析教程

隐藏列表页(栏目页)抓包分析教程

有时候从浏览器直接复制的列表页URL是假的,用软件读取不到列表,因此要通过抓包网页通信,获取到真实列表页URL。
可以通过点下一页再下一页(没有分页点击的话就滚动条下拉刷新列表页),看看不同页抓取到的地址的差异,判断出页号在哪里。
有的页号是1、2、3、4,有的是数量0、20、40这样递增,灵活判断。

作者:水淼发表于:2016-12-06 11:19:48
2

Copyright © 2009-2019 水淼软件技术 Inc. 保留所有权利。粤ICP备16013086号 霏凡软件站 转载文章如有侵权请联系删除