admin管理员组

文章数量:1794759

获取隐藏了部分内容的网页源代码，审查元素可以，查看源代码不行。学习python爬虫

获取隐藏了部分内容的网页源代码，审查元素可以，查看源代码不行。学习python爬虫

  • 故事背景：最近一个朋友想批量下载“巨潮资讯网”上有关“股票质押的”的PDF，拜托我之后，我想用python写一个爬虫工具。

    • 原网页如下： wwwinfo/new/fulltextSearch?notautosubmit=&keyWord=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC

  • 构想：按照之前的Python爬虫入门经验，获取网页源代码，找出下载链接，再下载就ok。 好！查看网页源代码。。。放置“搜索结果”的这部分网页代码看不到？！这个“深圳万科”只是个示例

  • 但是审查元素的时候是存在的，“何康新能”“永高股份”。。。：

  • 去研究了一下，怎么获得隐藏的网页代码，网上都说什么F12抓包，抓包。。。 懵逼，我是一个小白啊，能不能来个手把手教学的？ 看到两个有用的网页：

    • zhidao.baidu/question/1178494981402265499.html www.qqjike/qqjishu/2018/0124/5500.html

  • 我回到“巨潮资讯网”，F12审查元素 ——> Network ——> XHR ——> F5 reload，看到这几个东西：

  • 选择这个full?searchxxxxxxxxxx：

  • 在进入这个网页后，公告栏是请求了另一个url：

    • Request URL: wwwinfo/new/fulltextSearch/full?searchkey=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC&sdate=&edate=&isfulltext=false&sortName=pubdate&sortType=desc&pageNum=1

    打开它，得到了返回数据，就是想要的“搜索结果”的数据： 8. 这个网页先呈现出一个布局界面，核心内容即搜索结果是异步加载的。 以后如果学习了html、JavaScrip等前端知识，再回来把这里的异步加载讲清楚。

    本文标签： 源代码爬虫部分内容元素网页

    版权声明：本文标题：获取隐藏了部分内容的网页源代码，审查元素可以，查看源代码不行。学习python爬虫 内容由林淑君副主任自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.xiehuijuan.com/baike/1686621189a87278.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。