91HTTP代理
91http官网生成提取链接
产品购买
  • 不限量套餐
  • 按量套餐
  • 包时套餐
  • 隧道套餐
  • 共享长效
  • 独享长效
  • 住宅IP套餐
企业定制推荐有礼
91http官网生成提取链接
产品购买
  • 不限量套餐
  • 按量套餐
  • 包时套餐
  • 隧道套餐
  • 共享长效
  • 独享长效
  • 住宅IP套餐
企业定制推荐有礼
  1. Python-Scrapy
  • API接口
    • 提取IP
      GET
    • 添加白名单
      GET
    • 删除白名单
      GET
    • 获取白名单列表
      GET
    • 获取可用地区列表
      GET
  • 订单接口
    • 获取业务详情
      GET
  • 代码样例
    • Python3
      • requests调用HTTP代理
      • Urllib调用HTTP代理
      • Aiohttp调用Http代理
      • Httpx调用HTTP代理
      • HttpClient调用HTTP代理
      • Websocket调用HTTP代理
      • Pyppeteer调用HTTP代理
      • Playwright调用HTTP代理
      • requests调用Socks5代理
      • aiohttp调用Socks5代理
    • ProxyPool
      • 构建代理IP池
    • Python2
      • requests调用HTTP代理
      • urllib2调用HTTP代理
      • requests调用Socks5代理
    • Python-Selenium
      • Selenium使用Chrome调用Http代理
      • PhantomJS调用HTTP代理
      • Firefox调用HTTP代理
      • Chrome调用Socks5代理
      • PhantomJS调用Socks5代理
    • Python-Scrapy
      • Scrapy调用HTTP代理
    • Python-feapder
      • feapder调用HTTP代理
    • Java
      • okhttp3调用HTTP代理
      • httpclient调用HTTP代理
      • jsoup调用HTTP代理
      • hutool调用HTTP代理
      • Selenium调用HTTP代理
      • resttemplate调用HTTP代理
      • playwright调用HTTP代理
      • okhttp3调用Socks5代理
      • jdk调用Socks5代理
    • C#
      • 标准库调用HTTP代理
      • HttpToSocks5调用Socks5代理
    • Node.js
      • 标准库调用HTTP代理
      • request调用HTTP代理
      • puppeteer调用HTTP代理
      • axios调用HTTP代理
      • websocket调用HTTP代理
      • playwright调用HTTP代理
      • request-promise调用Socks5代理
      • Puppeteer调用Socks5代理
    • PHP
      • curl调用HTTP代理
      • Curl调用Socks5代理
      • GuzzleHttp代理
    • C语言
      • libcurl库调用HTTP代理
      • libcurl库调用Socks5代理
    • GoLang
      • 标准库调用HTTP代理
      • 标准库调用Socks5代理
    • 易语言
      • Http代理
      • Socks5代理
  • 链路定制API接口
    • 自动换IP（出口地区不可控）
      • 自动换IP（随机出口）
    • 自主控制（出口地区可控）
      • 更换链路出口IP
      • 获取链路当前公网IP
      • 获取可用的城市列表
      • 更换链路出口城市
      • 修改代理鉴权密码
  • 隧道代理使用样例
    • Python3
      • requests调用HTTP代理
      • Urllib调用HTTP代理
      • Aiohttp调用Http代理
      • Httpx调用HTTP代理
      • HttpClient调用HTTP代理
      • Websocket调用HTTP代理
      • Pyppeteer调用HTTP代理
      • Playwright调用HTTP代理
      • requests调用Socks5代理
      • aiohttp调用Socks5代理
    • Python-Selenium
      • Selenium使用Chrome调用Http代理
    • Java
      • okhttp3调用HTTP代理
      • httpclient调用HTTP代理
      • jsoup调用HTTP代理
      • hutool调用HTTP代理
      • Selenium调用HTTP代理
    • PHP
      • curl调用HTTP代理
      • Curl调用Socks5代理
  1. Python-Scrapy

Scrapy调用HTTP代理

Python使用Scrapy调用Http代理IP的代码样例#

温馨提示：
1.
http/https 网页均可适用
2.
在第一级 tutorial 目录下运行如下命令查看结果：scrapy crawl 91http
3.
scrapy 不是 python 原生库，需要安装才能使用: pip install scrapy

Scrapy项目目录#

运行命令：scrapy startproject tutorial 新建 Scrapy 项目，创建包含下列内容的 tutorial 目录

spider.py#

编写爬虫：在 tutorial/spiders/ 目录下新建 spider.py 文件

middlewares.py#

middlewares.py 中新增 ProxyDownloaderMiddleware 即代理中间件；
根据需要设置白名单或者使用账号密码

settings.py#

settings.py中激活ProxyDownloaderMiddleware代理中间件和自定义拓展

扫码添加 91HTTP客服微信

在这里，获得 91HTTP 使用上的任何帮助，快速上手让你的研测效率得到大幅提升

扫码联系客服
修改于 2024-10-28 09:34:23
上一页
PhantomJS调用Socks5代理
下一页
feapder调用HTTP代理
Built with