python爬虫文件打包成exe文件

前言：

最近想把写好的爬虫文件发给朋友，由于考虑到朋友电脑里没有运行环境，下载环境安装所需要的库实在是太麻烦了，所以直接打包成exe文件发给他，这样就算没有python环境也可以双击exe文件运行。这里将我打包文件的步骤和中间出现的一些问题进行一个总结。

1. python程序打包exe常用命令

这里我们常用的打包工具是pyinstaller，我们先来安装一下

pip install pyinstaller

安装完毕后我们打开文件所在目录的cmd控制台，输入以下命令即可打包

pyinstaller -F 文件.py#-F表示将python程序直接打包成exe，后面空格接文件名字
​
pyinstaller -F -w 文件.py#-w表示生成的exe文件双击不会出现控制台
​
pyinstaller -F -i 图标.ico 文件.py
#-i表示生成的exe文件使用自定义图标，后面空格接图标名称
#图标文件一定要和打包文件放在同一目录下

我们输入命令来打包一下

此时目录下会多出一些文件(红色框圈出)，总体结构是这样的

打包好的exe文件就在dist目录下

2. 爬虫程序打包过程中出现的问题

当我们将爬虫程序打包后，双击exe文件却发现文件运行不了，控制台报如下错误

Traceback (most recent call lsat):
    File "xxx.py",line 3,in <module>
    File "src/lxml/etree.pyx",line 74,in init lxml.etree
ImportError:cannot import name _elementpath
[8292]Failed to execute script 'xxx' due to unhandled exception!

这是因为我们在写python爬虫程序的时候用到了lxml库，但打包的时候没有将lxml打包进去，这时我们打包就要加上这样一句话来手动指定导入

pyinstaller -F XXX.py --hidden-import lxml._elementpath

此时打包完后又出现了新的问题，当我们运行exe文件执行爬虫程序时发现又会报错

Failed and Retry
('Could not find a suitable TLS CA certificate bunde,invalid path:C:\\XXX\\XXX\\cacert.pem')

原因是当我们在程序中用requests库进行请求操作的时候需要CA证书，也就是cacert.pem这个文件，打包的时候pyinstaller无法将这个文件打包，所以当我们运行exe文件的时候，程序找不到这个cacert.pem文件就会报错。这时候就需要这样做：

1. 在代码中加入这样一行代码，并重新打包

import os,sys
os.environ['REQUESTS_CA_BUNDLE'] =  os.path.join(os.path.dirname(sys.argv[0]), 'cacert.pem')

2. 从别的地方找一个cacert.pem文件复制过来

我查了很多办法，都说按【python安装路径\Lib\site-packages\requests\cacert.pem】路径找这个文件，但我发现我的requests目录下并没有这个文件，于是我在【site-packages】目录下直接搜索cacert.pem，成功找到了这个文件

我们将文件复制出来(一定要是复制，移动的话会导致对应的库无法正常使用)，与打包好的exe文件放在同一级目录下，这时我们再双击exe文件就能正常运行了