Scrapy 解析方法中的**kwargs具体怎么用

shixiaolong0
·
·
IPFS
·

示例:


import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://www.example.com']

    def start_requests(self):
        for url in self.start_urls:
            headers = {'User-Agent': 'Mozilla/5.0'}
            yield scrapy.Request(url, callback=self.parse, headers=headers)

    def parse(self, response, **kwargs):
        headers = kwargs.get('headers')
        self.logger.info(f'User-Agent = {headers.get("User-Agent")}')
        # your parsing logic here

CC BY-NC-ND 4.0 授权

喜欢我的作品吗?别忘了给予支持与赞赏,让我知道在创作的路上有你陪伴,一起延续这份热忱!

shixiaolong0变化!如果今天的自己和昨天点自己没有差异,那么就是白活! 简书:https://www.jianshu.com/u/dd76e4af1f33 twitter:https://twitter.com/dragon72463399 rust学习笔记:https://dev.to/dragon72463399
  • 来自作者
  • 相关推荐

同样的请求头request可以请求成功,而scrapy却不行

机器控制的世界,使这个世界也许变得不那么真实

赣州行,赣州交通有感