爬虫蜘蛛Telnet控制台用法与实例(41)python Scrapy教程1.51以上版本

Scrapy配有内置的telnet控制台,用于检查和控制Scrapy运行过程。telnet控制台只是在Scrapy进程中运行的常规python shell,所以你可以从中做任何事情。

telnet控制台是一个内置的Scrapy扩展,默认启用,但你也可以根据需要禁用它。有关扩展本身的更多信息,请参阅 Telnet控制台扩展。

如何访问telnet控制台

telnet控制台侦听TELNETCONSOLE_PORT设置中定义的TCP端口 ,默认为6023。要访问控制台,您需要键入:

telnet localhost 6023  >>>

 

您需要在Windows中默认安装的telnet程序,以及大多数Linux发行版。

telnet控制台中的可用变量

telnet控制台就像在Scrapy进程中运行的常规Python shell一样,所以你可以做任何事情,包括导入新模块等。

但是,telnet控制台附带了一些为方便起见而定义的默认变量:

捷径 描述
crawler Scrapy Crawler(scrapy.crawler.Crawler对象)
engine Crawler.engine属性
spider 活跃的蜘蛛
slot 引擎插槽
extensions Extension Manager(Crawler.extensions属性)
stats 统计信息收集器(Crawler.stats属性)
settings Scrapy设置对象(Crawler.settings属性)
est 打印发动机状态报告
prefs 用于内存调试(请参阅调试内存泄漏)
p pprint.pprint函数的快捷方式
hpy 用于内存调试(请参阅调试内存泄漏)
Telnet控制台用法示例

以下是您可以使用telnet控制台执行的一些示例任务:

查看引擎状态

您可以使用est()Scrapy引擎的方法使用telnet控制台快速显示其状态:

telnet localhost 6023  >>> est()  Execution engine status    time()-engine.start_time                        : 8.62972998619  engine.has_capacity()                           : False  len(engine.downloader.active)                   : 16  engine.scraper.is_idle()                        : False  engine.spider.name                              : followall  engine.spider_is_idle(engine.spider)            : False  engine.slot.closing                             : False  len(engine.slot.inprogress)                     : 16  len(engine.slot.scheduler.dqs or [])            : 0  len(engine.slot.scheduler.mqs)                  : 92  len(engine.scraper.slot.queue)                  : 0  len(engine.scraper.slot.active)                 : 0  engine.scraper.slot.active_size                 : 0  engine.scraper.slot.itemproc_size               : 0  engine.scraper.slot.needs_backout()             : False

 

暂停,恢复和停止Scrapy引擎

暂停:

telnet localhost 6023  >>> engine.pause()  >>>

 

恢复:

telnet localhost 6023  >>> engine.unpause()  >>>

 

停止:

telnet localhost 6023  >>> engine.stop()  Connection closed by foreign host.

 

Telnet控制台信号

 

scrapy.extensions.telnet.update_telnet_varstelnet_vars 
在telnet控制台打开之前发送。您可以连接此信号以添加,删除或更新将在telnet本地命名空间中可用的变量。为此,您需要更新telnet_vars处理程序中的 dict。

参数: telnet_varsdict) – telnet变量的字典
Telnet设置

这些是控制telnet控制台行为的设置:

 

TELNETCONSOLE_PORT

默认: [6023, 6073]

用于telnet控制台的端口范围。如果设置为None0,则使用动态分配的端口。

 

TELNETCONSOLE_HOST

默认: '127.0.0.1'

telnet控制台应该监听的接口

本文目录导航

  • 如何访问telnet控制台
  • telnet控制台中的可用变量
  • Telnet控制台用法示例
  • Telnet控制台信号
  • Telnet设置
本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如果侵犯你的利益,请发送邮箱到 [email protected],我们会很快的为您处理。