Python网络爬虫HTTP原理，从零开始入门爬虫！

一、爬虫基础

在写爬虫之前，我们还需要了解一些基础知识，如HTTP原理、网页的基础知识、爬虫的基本原理、Cookies的基本原理等。本文中，我们就对这些基础知识做一个简单的总结。

二、HTTP 基本原理

在本文中，我们会详细了解 HTTP的基本原理，了解在浏览器中敲入URL 到获取网页内容之间发生了什么。了解了这些内容，有助于我们进一步了解爬虫的基本原理。

1.URI和 URL

这里我们先了解一下URI和URL,URI的全称为Uniform Resource Identifier,即统―资源标志符，URL的全称为Universal Resource Locator，即统一资源定位符。

URL是URI的子集，也就是说每个URL都是URI，但不是每个URI都是 URL。那么，怎样的URI不是URL呢?URI还包括一个子类叫作 URN，它的全称为Universal Resource Name，即统―资源名称。URN 只命名资源而不指定如何定位资源，比如urn:isbn:0451450523指定了一本书的ISBN,可以唯一标识这本书，但是没有指定到哪里定位这本书，这就是URN。URL、URN和URI的关系。

但是在目前的互联网中，URN用得非常少，所以几乎所有的URI都是URL,一般的网页链接我们既可以称为URL,也可以称为URI,我个人习惯称为URL。

2.超文本

接下来，我们再了解一一个概念——超文本， 其英文名称叫作hypertext,我们在浏览器里看到的网
页就是超文本解析而成的，其网页源代码是一系列HTML代码，里面包含了-系列标签，比如img显
示图片，p指定显示段落等。浏览器解析这些标签后，便形成了我们平常看到的网页，而网页的源代码HTML就可以称作超文本。

例如，我们在Chrome浏览器里面打开任意一一个页面，如淘宝首页，右击任一地方并选择 “检查”
项(或者直接按快捷键F12)，即可打开浏览器的开发者工具，这时在Elements 选项卡即可看到当前
网页的源代码，这些源代码都是超文本，如图所示。

三、HTTP 和HTTPS

在百度的首页， URL的开头会有http 或https,这就是访问资源需要的协议类型。有时，我们还会看到ftp、sftp、 smb 开头的URL,它们都是协议类型。在爬虫中，我们抓取的页面通常就是http或https协议的，这里首先了解一下这两 个协议的含义。

HTTP的全称是Hyper Text Transfer Protocol, 中文名叫作超文本传输协议。HTTP协议是用于从网络传输超文本数据到本地浏览器的传送协议，它能保证高效而准确地传送超文本文档。HTTP由万维网协会( World Wide Web Consortium )和Internet工作小组IETF ( Internet Engineering Task Force )共同合作制定的规范，目前广泛使用的是HTTP1.1版本。

HTTPS的全称是Hyper Text Transfer Protocol over Secure Socket Layer,是以安全为目标的HTTP
通道，简单讲是HTTP的安全版，即HTTP下加入SSL层，简称为HTTPS。

HTTPS的安全基础是SSL,因此通过它传输的内容都是经过SSL加密的，它的主要作用可以分
为两种。

• 建立一个信息安全通道来保证数据传输的安全。
• 确认网站的真实性，凡是使用了HTTPS的网站，都可以通过点击浏览器地址栏的锁头标志来查看网站认证之后的真实信息，也可以通过CA机构颁发的安全签章来查询。

现在越来越多的网站和App都已经向HTTPS方向发展，例如:

• 苹果公司强制所有ioS App在2017年1月1日前全部改为使用HTTPS加密，否则App就无法在应用商店上架。
• 谷歌从2017年1月推出的Chrome 56开始，对未进行HTTPS加密的网址链接亮出风险提示，即在地址栏的显著位置提醒用户“此网页不安全" 。
• 腾讯微信小程序的官方需求文档要求后台使用HTTPS请求进行网络通信，不满足条件的域名和协议无法请求。

四、HTTP 请求过程

我们在浏览器中输人一一个URL,回车之后便会在浏览器中观察到页面内容。实际上，这个过程是

浏览器向网站所在的服务器发送了一个请求，网站服务器接收到这个请求后进行处理和解析，然后返回对应的响应，接着传回给浏览器。响应里包含了页面的源代码等内容，浏览器再对其进行解析，便将网页呈现了出来。

此处客户端即代表我们自己的PC或手机浏览器，服务器即要访问的网站所在的服务器。

1.请求

请求，由客户端向服务端发出，可以分为4部分内容:请求方法( Request Method)、请求的网址
( Request URL )、请求头( Request Headers )、请求体( Request Body )。

• 请求方法

常见的请求方法有两种: GET和POST。

在浏览器中直接输入URL并回车，这便发起了一个GET请求，请求的参数会直接包含到URL里。例如，在百度中搜索Python,这就是一一个GET请求，链接为htps://www baidu. com/,其中URL中包含了请求的参数信息，这里参数wd表示要搜寻的关键字。POST 请求大多在表单提交时发起。比如，对于一个登录表单，输人用户名和密码后，点击“登录”按钮，这通常会发起一个 POST请求，其数据通常以表单的形式传输，而不会体现在URL中。

GET和POST请求方法有如下区别：

• GET请求中的参数包含在URL里面，数据可以在URL中看到，而POST请求的URL不会包含这些数据，数据都是通过表单形式传输的，会包含在请求体中。
• GET请求提交的数据最多只有1024字节，而POST方式没有限制。

一般来说，登录时，需要提交用户名和密码，其中包含了敏感信息，使用GET方式请求的话，密码就会暴露在URL里面，造成密码泄露，所以这里最好以POST方式发送。上传文件时，由于文件内容比较大，也会选用POST方式。

我们平常遇到的绝大部分请求都是GET或POST请求，另外还有一些请求方法， 如GET、HEAD、
POST、PUT、 DELETE、OPTIONS、CONNECT、TRACE等。

• 请求的网址

请求的网址，即统一资源定 位符URL,它可以唯一确定 我们想请求的资源。

• 请求头

请求头，用来说明服务器要使用的附加信息，比较重要的信息有Cookie . Referer. User-Agent等。

• 请求体

请求体一般承载的内容是 POST请求中的表单数据，而对于GET请求，请求体则为空。

2.响应

响应，由服务端返回给客户端，可以分为三部分:响应状态码( Response Status Code).响应头( Response Headers )和响应体( Response Body )。

• 响应状态码

响应状态码表示服务器的响应状态，如200代表服务器正常响应，404代表页面未找到，500代表
服务器内部发生错误。在爬虫中，我们可以根据状态码来判断服务器响应状态，如状态码为200,则
证明成功返回数据，再进行进一步的处理， 否则直接忽略。
 

• 响应头

响应头包含了服务器对请求的应答信息，如Content-Type、Server、 Set-Cookie 等。

• 响应体

最重要的当属响应体的内容了。响应的正文数据都在响应体中，比如请求网页时，它的响应体
就是网页的HTML代码;请求- -张图片时 ,它的响应体就是图片的二进制数据。我们做爬虫请
求网页后，要解析的内容就是响应体.

关于Python技术储备

学好 Python及Python爬虫 不论是就业还是做副业赚钱都不错，但要学会 Python爬虫 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习的小伙伴们一点帮助！

👉CSDN大礼包：《Python入门资料&实战源码&安装工具】免费领取（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python基础学习视频

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~在这里插入图片描述

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

因篇幅有限，仅展示部分资料

三、精品Python学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

六、Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。


这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】