【scrapy、flask】如何在社区版 PyCharm 中调试 scrapy爬虫和 flask web 服务

软件版本

• PyCharm 2020.2 (Community Edition) ，此为官网上的免费社区版
• Windows 10 操作系统

调试 scrapy 爬虫

1. 编写 scrapy 爬虫启动的入口文件如下：

   import os
   import sys
   
   from scrapy.cmdline import execute
   
   sys.path.append(os.path.dirname(os.path.abspath(__file__)))
   execute(['scrapy', 'crawl', 'tobse', '-a', 'page_start=1'])
   

   修改 execute 函数参数为你的爬虫启动命令和参数。

2. 打开运行/调试配置编辑窗口。
   

3. 在打开的窗口中添加和编辑一个配置文件如下图，编辑好后保存（Apply）。
   

4. 选中一个添加的配置文件，开始调试。
   

调试 flask web 服务

参考上述 scrapy 爬虫调试，其中需要变更步骤 3 的配置如下图：