Python网络爬虫：从基础到实战的完整指南

原创已于 2024-12-02 08:24:21 修改 · 1.9k 阅读

20 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

Python

编程语言

于 2024-12-02 08:24:14 首次发布

📝个人主页🌹：一ge科研小菜鸡-CSDN博客
🌹🌹期待您的关注 🌹🌹

一、引言

网络爬虫是一种自动化程序，能够模拟人类访问网页的行为，从互联网上抓取信息。Python以其强大的库生态、简单易用的语法，成为网络爬虫开发的首选语言。本文将从网络爬虫的基础概念、常用库，到实际案例和反爬策略，逐步带你深入了解Python网络爬虫的开发过程。

二、网络爬虫的基础概念

1. 什么是网络爬虫？

网络爬虫是一种从网页提取信息的程序。它通常用于：

数据收集：从新闻、博客等网站收集数据。
市场分析：抓取电商网站价格、评论等信息。
学术研究：分析社交媒体、论坛内容等。

2. 爬虫的工作流程

发送请求：向目标网站发送HTTP请求。
获取响应：接收服务器返回的HTML页面。
解析页面：提取目标数据，如文本、图片、链接等。
存储数据：将提取的数据保存为文件或存入数据库。

三、常用的Python爬虫库

1. Requests

功能：用于发送HTTP请求。
优势：简单、易用、支持GET、POST等多种请求方式。

示例代码：

import requests

url = 'https://example.com'
response = requests.get(url)
print(response.text)  # 输出HTML页面内容

2. BeautifulSoup

功能：解析HTML和XML文档。
优势：支持HTML标签选择，易于提取结构化数据。

示例代码：

from bs4 import BeautifulSoup

html = '<html><body><h1>Hello, World!</h1></body></html>'
soup = BeautifulSoup(html, 'html.parser')
print(soup.h1.text)  # 输出: Hello, World!

3. Scrapy

功能：一个功能强大的爬虫框架。
优势：支持多线程爬取、数据管道、自动化管理等。

四、构建简单网络爬虫示例

目标：爬取豆瓣电影Top 250

1. 项目需求

爬取电影名称、评分、排名等信息。
数据存储为CSV文件。

2. 代码实现

import requests
from bs4 import BeautifulSoup
import csv

# 定义目标URL
url = 'https://movie.douban.com/top250'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'}

# 发送请求并解析HTML
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

# 提取电影信息
movies = []
for item in soup.find_all('div', class_='item'):
    title = item.find('span', class_='title').text
    rank = item.find('em').text
    rating = item.find('span', class_='rating_num').text
    movies.append([rank, title, rating])

# 保存到CSV文件
with open('douban_top250.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Rank', 'Title', 'Rating'])
    writer.writerows(movies)

print("数据爬取并保存成功！")

五、处理反爬机制

1. 常见反爬策略

User-Agent检测：网站检查请求头中的User-Agent。
IP限制：对异常请求频率的IP地址进行封禁。
验证码：通过图片或滑块验证码来防止自动化程序访问。

2. 应对策略

设置请求头：模拟真实浏览器。
使用代理：通过代理IP轮换避免被封。
延迟请求：避免频繁请求触发反爬机制。

示例：设置随机User-Agent和请求延迟

import requests
import time
import random

url = 'https://example.com'
user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
]

for i in range(5):
    headers = {'User-Agent': random.choice(user_agents)}
    response = requests.get(url, headers=headers)
    print(response.status_code)
    time.sleep(random.uniform(1, 3))

六、数据存储

1. CSV文件存储

适用于结构化数据，方便与Excel等工具结合使用。

2. 数据库存储

推荐使用SQLite或MySQL，适合大规模数据的管理和查询。

示例：存储到SQLite数据库

import sqlite3

# 创建数据库连接
conn = sqlite3.connect('movies.db')
cursor = conn.cursor()

# 创建表
cursor.execute('''CREATE TABLE IF NOT EXISTS top250
                  (id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, rating REAL)''')

# 插入数据
cursor.execute("INSERT INTO top250 (title, rating) VALUES (?, ?)", ("The Shawshank Redemption", 9.7))
conn.commit()

# 查询数据
cursor.execute("SELECT * FROM top250")
print(cursor.fetchall())

# 关闭连接
conn.close()