HTTP协议介绍

什么是HTTP协议

HTTP是hypertext transfer protocol（超文本传输协议）的简写，它是TCP/IP协议的一个应用层协议，用于定义WEB浏览器与WEB服务器之间交换数据的过程。客户端连上web服务器后，若想获得web服务器中的某个web资源，需遵守一定的通讯格式，HTTP协议用于定义客户端与web服务器通迅的格式。

HTTP协议的版本

HTTP协议的版本：HTTP/1.0、HTTP/1.1

HTTP1.0和HTTP1.1的区别

• 在HTTP1.0协议中，客户端与web服务器建立连接后，只能获得一个web资源。
• 在HTTP1.1协议，允许客户端与web服务器建立连接后，在一个连接上获取多个web资源。

HTTP协议详解之请求篇

http请求由三部分组成，分别是：请求行、消息报头、请求正文

• 客户端连上服务器后，向服务器请求某个web资源，称之为客户端向服务器发送了一个HTTP请求。

  一个完整的HTTP请求包括如下内容：

#请求行，包含描述客户端请求的方式,资源，http版本号
GET / HTTP/1.1(CRLF)
#消息报头，描述客户端请求的主机，和环境信息
Host: www.baidu.com(CRLF)
Connection: keep-alive(CRLF)
Upgrade-Insecure-Requests: 1(CRLF)
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36(CRLF)
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8(CRLF)
Accept-Encoding: gzip, deflate, sdch, br(CRLF)
Accept-Language: zh-CN,zh;q=0.8,en;q=0.6(CRLF)
Cookie: BDUSS=QxRUdVMDI3OVlFVDJwOGNidHk2TndWYmNONHc3bH5PbjN5eGZrZFl3SEhkVUpYQVFBQUFBJCQAAAAAAAAAAAEAAAChtS83bmVvTHbQobK8AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAMfoGlfH6BpXQ0; BIDUPSID=F7B338154BC3A29E828C070C64F82D7A; BAIDUID=B0A2EAACC94D834831486E6066C11593:FG=1; PSTM=1473848206; BD_HOME=1; BD_UPN=123253; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; BD_CK_SAM=1; H_PS_PSSID=1457_18281_17943_21078_21189_21160_20929; BDSVRTM=0(CRLF)
#一个空行，实际为(CRLF),该CRLF表示消息报头已经结束，在此之前为消息报头
(CRLF)
#实体内容,提交的数据
user=neo&pwd=1234

HTTP协议详解之请求行

请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本，格式如下：Method Request-URI HTTP-Version CRLF
其中 Method表示请求方法；Request-URI是一个统一资源标识符；HTTP-Version表示请求的HTTP协议版本；CRLF表示回车和换行（除了作为结尾的CRLF外，不允许出现单独的CR或LF字符）。

请求方法（所有方法全为大写）有多种，各个方法的解释如下：

• GET 请求获取Request-URI所标识的资源
• POST 在Request-URI所标识的资源后附加新的数据
• HEAD 请求获取由Request-URI所标识的资源的响应消息报头
• PUT 请求服务器存储一个资源，并用Request-URI作为其标识
• DELETE 请求服务器删除Request-URI所标识的资源
• TRACE 请求服务器回送收到的请求信息，主要用于测试或诊断
• CONNECT 保留将来使用
• OPTIONS 请求查询服务器的性能，或者查询与资源相关的选项和需求

用户如果没有设置，默认情况下浏览器向服务器发送的都是get请求，例如在浏览器直接输地址访问，点超链接访问等都是get，用户如想把请求方式改为post，可通过更改表单的提交方式实现。

• GET方式的特点：在URL地址后附带的参数是有限制的，其数据容量通常不能超过1K。
• 如果请求方式为POST方式，则可以在请求的实体内容中向服务器发送数据，Post方式的特点：传送的数据量无限制。

但是往往我们在服务区端设置POST方式传输不会超过MB

HTTP协议详解之响应篇

HTTP响应也是由三个部分组成，分别是：状态行、消息报头、响应正文

• 在接收和解释请求消息后，服务器返回一个HTTP响应消息。

#状态行,描述服务器对请求的处理结果
HTTP/1.1 200 OK  
#消息包头，描述服务器的基本信息
Server: bfe/1.0.8.18
Date: Thu, 22 Sep 2016 07:01:45 GMT
Content-Type: text/html;charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Cache-Control: private
Expires: Thu, 22 Sep 2016 07:01:45 GMT
Content-Encoding: gzip
X-UA-Compatible: IE=Edge,chrome=1
Strict-Transport-Security: max-age=604800
BDPAGETYPE: 2
BDQID: 0xd881788f000085db
BDUSERID: 925873569
Set-Cookie: BDSVRTM=87; path=/
Set-Cookie: BD_HOME=1; path=/
Set-Cookie: H_PS_PSSID=1457_18281_17943_21078_21221_21189_21160_20929; path=/; domain=.baidu.com
Set-Cookie: __bsi=16744036888088543099_00_0_I_R_88_0303_C02F_N_I_I_0; expires=Thu, 22-Sep-16 07:01:50 GMT; domain=www.baidu.com; path=/
#一个空行，实际为(CRLF),该CRLF表示消息报头已经结束，在此之前为消息报头
(CRLF)
#实体内容
...

HTTP协议详解之状态行

状态行格式如下：

HTTP-Version Status-Code Reason-Phrase CRLF

HTTP版本号　状态码　原因叙述<CRLF>

HTTP/1.1 200 OK

• HTTP-Version表示服务器HTTP协议的版本；
• Status-Code表示服务器发回的响应状态代码；
• Reason-Phrase表示状态代码的文本描述。

状态码用于表示服务器对请求的处理结果，它是一个三位的十进制数。

HTTP协议详解之消息报头

HTTP消息由客户端到服务器的请求和服务器到客户端的响应组成。请求消息和响应消息都是由开始行（对于请求消息，开始行就是请求行，对于响应消息，开始行就是状态行），消息报头（可选），空行（只有CRLF的行），消息正文（可选）组成。

HTTP消息报头包括普通报头、请求报头、响应报头、实体报头。 每一个报头域都是由名字+“：”+空格+值 组成，消息报头域的名字是大小写无关的。

普通报头

在普通报头中，有少数报头域用于所有的请求和响应消息，但并不用于被传输的实体，只用于传输的消息。

HTTP1.0使用的类似的报头域为Pragma。

• 请求时的缓存指令包括：

no-cache（用于指示请求或响应消息不能缓存）、no-store、max-age、max-stale、min-fresh、only-if-cached;

• 响应时的缓存指令包括：

public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age、s-maxage.

为了指示IE浏览器（客户端）不要缓存页面，服务器端的PHP程序可以编写如下：

Header("Cache-Control:no-cache");
//Header("Pragma:no-cache");作用相当于上述代码，通常两者//合用

这句代码将在发送的响应消息中设置普通报头域：Cache-Control:no-cache

• Date 普通报头域表示消息产生的日期和时间

• Connection 普通报头域允许发送指定连接的选项。例如指定连接是连续，或者指定“close”选项，通知服务器，在响应完成后，关闭连接

• Cache-Control 用于指定缓存指令，缓存指令是单向的（响应中出现的缓存指令在请求中未必会出现），且是独立的（一个消息的缓存指令不会影响另一个消息处理的缓存机制）

请求报头

请求报头允许客户端向服务器端传递请求的附加信息以及客户端自身的信息。

常用的请求报头

• Accept
  • Accept请求报头域用于指定客户端接受哪些类型的信息。eg：
    • Accept：image/gif，表明客户端希望接受GIF图象格式的资源；
    • Accept：text/html，表明客户端希望接受html文本。
• Accept-Charset
  • Accept-Charset请求报头域用于指定客户端接受的字符集。
    • Accept-Charset:iso-8859-1,gb2312.如果在请求消息中没有设置这个域，缺省是任何字符集都可以接受。
• Accept-Encoding
  • Accept-Encoding请求报头域类似于Accept，但是它是用于指定可接受的内容编码。
    • Accept-Encoding:gzip.deflate.如果请求消息中没有设置这个域服务器假定客户端对各种内容编码都可以接受。
• Accept-Language
  • Accept-Language请求报头域类似于Accept，但是它是用于指定一种自然语言。
    • Accept-Language:zh-cn.如果请求消息中没有设置这个报头域，服务器假定客户端对各种语言都可以接受。
• Authorization
  • Authorization请求报头域主要用于证明客户端有权查看某个资源。当浏览器访问一个页面时，如果收到服务器的响应代码为401（未授权），可以发送一个包含Authorization请求报头域的请求，要求服务器对其进行验证。
• Host（发送请求时，该报头域是必需的）
  • Host请求报头域主要用于指定被请求资源的Internet主机和端口号，它通常从HTTP URL中提取出来的，默认端口80
• User-Agent
  • User-Agent请求报头域允许客户端将它的操作系统、浏览器和其它属性告诉服务器。不过，这个报头域不是必需的。

响应报头

响应报头允许服务器传递不能放在状态行中的附加响应信息，以及关于服务器的信息和对Request-URI所标识的资源进行下一步访问的信息。

常用的响应报头

• Location
  • Location响应报头域用于重定向接受者到一个新的位置
  • Location响应报头域常用在更换域名的时候。
• Server
  • Server响应报头域包含了服务器用来处理请求的软件信息。与User-Agent请求报头域是相对应的。
• WWW-Authenticate
  • WWW-Authenticate响应报头域必须被包含在401（未授权的）响应消息中，客户端收到401响应消息时候，并发送Authorization报头域请求服务器对其进行验证时，服务端响应报头就包含该报头域。
    • WWW-Authenticate:Basic realm="Basic Auth Test!" //可以看出服务器对请求资源采用的是基本验证机制。

实体报头

• 请求和响应消息都可以传送一个实体。
• 一个实体由实体报头域和实体正文组成，但并不是说实体报头域和实体正文要在一起发送，可以只发送实体报头域。
• 实体报头定义了关于实体正文（有无实体正文）和请求所标识的资源的元信息。

常用的实体报头

• Content-Encoding
  • Content-Encoding实体报头域被用作媒体类型的修饰符，它的值指示了已经被应用到实体正文的附加内容的编码，因而要获得Content-Type报头域中所引用的媒体类型，必须采用相应的解码机制。
  • Content-Encoding这样用于记录文档的压缩方法
    • Content-Encoding：gzip
• Content-Language
  • Content-Language实体报头域描述了资源所用的自然语言。没有设置该域则认为实体内容将提供给所有的语言阅读者。
• Content-Length
  • Content-Length实体报头域用于指明实体正文的长度，以字节方式存储的十进制数字来表示。
• Content-Type
  • Content-Type实体报头域用语指明发送给接收者的实体正文的媒体类型。
    • Content-Type:text/html;charset=ISO-8859-1
    • Content-Type:text/html;charset=GB2312
• Last-Modified
  • Last-Modified实体报头域用于指示资源的最后修改日期和时间。
• Expires
  • Expires实体报头域给出响应过期的日期和时间。为了让代理服务器或浏览器在一段时间以后更新缓存中(再次访问曾访问过的页面时，直接从缓存中加载，缩短响应时间和降低服务器负载)的页面，我们可以使用Expires实体报头域指定页面过期的时间。
  • Expires：Thu，15 Sep 2006 16:23:12 GMT
  • HTTP1.1的客户端和缓存必须将其他非法的日期格式（包括0）看作已经过期。
  • 为了让浏览器不要缓存页面，我们也可以利用Expires实体报头域，设置为0.
  • php设置如下：Header("Expires:0");

HTTP协议相关技术补充

基础：

• 高层协议有：文件传输协议FTP、电子邮件传输协议SMTP、域名系统服务DNS、网络新闻传输协议NNTP和HTTP协议等
• 中介由三种：代理(Proxy)、网关(Gateway)和通道(Tunnel)，一个代理根据URI的绝对格式来接受请求，重写全部或部分消息，通过 URI的标识把已格式化过的请求发送到服务器。网关是一个接收代理，作为一些其它服务器的上层，并且如果必须的话，可以把请求翻译给下层的服务器协议。一 个通道作为不改变消息的两个连接之间的中继点。当通讯需要通过一个中介(例如：防火墙等)或者是中介不能识别消息的内容时，通道经常被使用。
• 代理(Proxy)：一个中间程序，它可以充当一个服务器，也可以充当一个客户机，为其它客户机建立请求。请求是通过可能的翻译在内部或经过传递到其它的 服务器中。一个代理在发送请求信息之前，必须解释并且如果可能重写它。代理经常作为通过防火墙的客户机端的门户，代理还可以作为一个帮助应用来通过协议处 理没有被用户代理完成的请求。
• 网关(Gateway)：一个作为其它服务器中间媒介的服务器。与代理不同的是，网关接受请求就好象对被请求的资源来说它就是源服务器；发出请求的客户机并没有意识到它在同网关打交道。
  • 网关经常作为通过防火墙的服务器端的门户，网关还可以作为一个协议翻译器以便存取那些存储在非HTTP系统中的资源。
• 通道(Tunnel)：是作为两个连接中继的中介程序。一旦激活，通道便被认为不属于HTTP通讯，尽管通道可能是被一个HTTP请求初始化的。当被中继 的连接两端关闭时，通道便消失。当一个门户(Portal)必须存在或中介(Intermediary)不能解释中继的通讯时通道被经常使用。

协议分析的优势—HTTP分析器检测网络攻击

以模块化的方式对高层协议进行分析处理，将是未来入侵检测的方向。 HTTP及其代理的常用端口80、3128和8080在network部分用port标签进行了规定

HTTP协议Content Lenth限制漏洞导致拒绝服务攻击

使用POST方法时，可以设置ContentLenth来定义需要传送的数据长度，例如ContentLenth:999999999，在传送完成前，内 存不会释放，攻击者可以利用这个缺陷，连续向WEB服务器发送垃圾数据直至WEB服务器内存耗尽。这种攻击方法基本不会留下痕迹。 http://www.cnpaf.net/Class/HTTP/0532918532667330.html

利用HTTP协议的特性进行拒绝服务攻击的一些构思

服务器端忙于处理攻击者伪造的TCP连接请求而无暇理睬客户的正常请求（毕竟客户端的正常请求比率非常之小），此时从正常客户的角度看来，服务器失去响应，这种情况我们称作：服务器端受到了SYNFlood攻击（SYN洪水攻击）。 而Smurf、TearDrop等是利用ICMP报文来Flood和IP碎片攻击的。本文用“正常连接”的方法来产生拒绝服务攻击。 19端口在早期已经有人用来做Chargen攻击了，即Chargen_Denial_of_Service，但是！他们用的方法是在两台Chargen 服务器之间产生UDP连接，让服务器处理过多信息而DOWN掉，那么，干掉一台WEB服务器的条件就必须有2个：

• 有Chargen服务
• 有HTTP 服务 方法：攻击者伪造源IP给N台Chargen发送连接请求（Connect），Chargen接收到连接后就会返回每秒72字节的字符流（实际上根据网络实际情况，这个速度更快）给服务器。

Http指纹识别技术

Http指纹识别的原理大致上也是相同的：记录不同服务器对Http协议执行中的微小差别进行识别.Http指纹识别比TCP/IP堆栈指纹识别复杂许 多,理由是定制Http服务器的配置文件、增加插件或组件使得更改Http的响应信息变的很容易,这样使得识别变的困难；然而定制TCP/IP堆栈的行为 需要对核心层进行修改,所以就容易识别. 要让服务器返回不同的Banner信息的设置是很简单的,象Apache这样的开放源代码的Http服务器,用户可以在源代码里修改Banner信息,然 后重起Http服务就生效了；对于没有公开源代码的Http服务器比如微软的IIS或者是Netscape,可以在存放Banner信息的Dll文件中修 改,相关的文章有讨论的,这里不再赘述,当然这样的修改的效果还是不错的.另外一种模糊Banner信息的方法是使用插件。 常用测试请求：

• HEAD/Http/1.0发送基本的Http请求
• DELETE/Http/1.0发送那些不被允许的请求,比如Delete请求
• GET/Http/3.0发送一个非法版本的Http协议请求
• GET/JUNK/1.0发送一个不正确规格的Http协议请求 Http指纹识别工具Httprint,它通过运用统计学原理,组合模糊的逻辑学技术,能很有效的确定Http服务器的类型.它可以被用来收集和分析不同Http服务器产生的签名。

为了提高用户使用浏览器时的性能，现代浏览器还支持并发的访问方式，浏览一个网页时同时建立多个连接，以迅速获得一个网页上的多个图标，这样能更快速完成整个网页的传输。

HTTP1.1中提供了这种持续连接的方式，而下一代HTTP协议：HTTP-NG更增加了有关会话控制、丰富的内容协商等方式的支持，来提供 更高效率的连接。

相关资料

• http://www.cnblogs.com/xdp-gacl/p/3751277.html
• http://www.cnblogs.com/li0803/archive/2008/11/03/1324746.html