html点击下一页表单,在scraypython中单击html表单按钮进入下一页

admin管理员组

文章数量:1794759

html点击下一页表单,在scray/python中单击html表单按钮进入下一页

我在scrapy中编写了一个spider程序，从一个网站中提取数据。我有一个类似结构的html表的链接列表，到目前为止，这些链接的提取都很好。现在的问题是，这些表中的一些运行在多个页面上，也就是说，如果一个数据集超过30行，它就会被拆分。但大多数表格只有70页，最多只有一页。通过按html表单中的“下一页”按钮可以进入下一页。我希望蜘蛛去每个表，从第一页提取数据，然后继续到第二页、第三页等，直到没有“下一步”按钮，然后继续使用下一个原始URL。在

我知道我需要的可能是form_request命令，但我对这些东西并不熟悉，而且我在网上找到的所有示例的结构都略有不同，因此我们将非常感谢您的帮助。在

这是我的代码，它提取每个表的第一页。在from scrapy.spiders import BaseSpider

from scrapy.selector import HtmlXPathSelector

from example.items import exitem

from scrapy.http import FormRequest

class MySpider(BaseSpider):

name = "example"

with open('linklist.txt') as f:

start_urls = f.readlines()

def parse(self, response):

hxs = HtmlXPathSelector(response)

main = hxs.xpath("/html/body/table[2]/tr/td[2]/table/tr/td/table[1]/tr[1]/td[1]/table")

titles = hxs.xpath("/html/body/table[2]/tr/td[2]/table/tr/td/table[1]/tr[2]/td/table/tr")

items = []

for titles in titles:

item = exitem()

item["pid"] = titles.xpath("td[2]/font/text()").extract()

item["famname"] = titles.xpath("td[3]/font/b/text()").extract()

item["firstname"] = titles.xpath("td[4]/font/text()").extract()

item["sex"] = titles.xpath("td[5]/font/text()").extract()

item["age"] = titles.xpath("td[6]/font/text()").extract()

item["famstat"] = titles.xpath("td[7]/font/text()").extract()

item["res"] = titles.xpath("td[8]/font/text()").extract()

item["nation"] = titles.xpath("td[9]/font/text()").extract()

item["state"] = titles.xpath("td[10]/font/text()").extract()

item["job"] = titles.xpath("td[11]/font/text()").extract()

return(items)

这是网站上的表格：

^{pr2}$

第二页的“开始”值为31，第三页为61，第四页为91，依此类推

本文标签： 下一页表单单击按钮html