python爬取有妖气漫画

关注

原创最新推荐文章于 2024-09-24 15:01:55 发布 1.8w 阅读 AI 写同款· GEO 优化 ›

手把手教你搭建一个漫画小说网站？（有斗罗大陆和斗破苍穹漫画的福利哦）由于《斗罗大陆》和《斗破苍穹》动漫的热播，让我深深沉迷其中，因为动画更新的太慢了，搞得我只能去找小说，找漫画去过瘾，来来回回也刷了不少遍了。在这个过程中，由于热爱，我甚至把他们的漫画全都下载了下来，想随时随地的看，啊哈哈哈哈哈哈哈哈嗝然后下载下来图片，在电脑上一张一张翻着看并不方便，所以便萌生了自己搭建一个小说网站的想法，真正的在手机上随时随地的看。如何搭建一个漫画小说网站？ PS：小说和漫画都有版权，本文主要交流技术，请勿用做商用盈利 ... 阅读详情

爬取URL=https://www.u17.com/chapter/26636.html#image_id=221085
爬取有妖气漫画，本人谷歌浏览器获取到的信息：
位置selector：#cur_img_221085
属性位置：tc > comic_read_img 盒子下

开始爬取

url='https://www.u17.com/chapter/26636.html#image_id=221085'
resp=requests.get(url)
print(resp.text)

发现并没有img图片，重新摸索浏览器信息，在加载HTML页面是JS部分声明img列表；由此可判断该部分img图片由js动态生成。
原因：requests爬取静态HTML文内容在这里插入图片描述
当然动态加载的网页自然也有办法爬取
准备：
pip install selenium
下载PhantomJS
下载地址：https://phantomjs.org/download.html
或http://npm.taobao.org/dist/phantomjs/
环境变量path加入phantomjs/bin即可

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
pic_list=[]
url='https://www.u17.com/chapter/929918.shtml#image_id=8108355'
driver=webdriver.PhantomJS(executable_path='D:/Program Files (x86)/phantomjs-2.1.1-windows/bin/phantomjs.exe')
driver.get(url)
soup=BeautifulSoup(driver.page_source,'html.parser')
result=soup.find_all('img',class_='image_cache loading')
for img_src in result:
    if img_src['data-src'] not in pic_list:
        pic_list.append(img_src['data-src'])
head={'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1',
      'Connection':'keep-alive'}
for img_src in pic_list:
    count=1
    resp=requests.get(img_src)
    f=open('Z-H-J-'+count+'.jpg','wb')
    f.write(resp.content)
    count=count+1

如果出现以下信息，请忽略，只是因为目前的Selenium版本放弃 PhantomJS，但不影响程序运行

UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
  warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

结果爬取到的图片，像素化的图片有待结果…
在这里插入图片描述