搜索

从curl命令行视角来讲解HTTP请求

鱼头的Web海洋

共 9387字，需浏览 19分钟

 ·

2021-08-16 02:13

发送一个HTTP请求有很多途径，例如浏览器、curl命令行、wget命令行等。本文将带你从curl命令行视角来讲解一个http请求中各个不同数据字段的含义

我们先来简单讲解一下 curl 命令。

curl 是一个用来请求 Web 服务器的命令行工具，-v 代表输出通信的整个过程，-d代表发送 一个POST 请求并在请求正文中带上指定数据，使用方式如下

curl -v -d 'name=hagan' http://www.hagan.zone # 使用post方式请求url并带上数据

请求完整过程如下

hagan@hanyonggang life % curl -v -d 'name=hagan' http://www.hagan.zone 
*   Trying 42.193.104.246...
* TCP_NODELAY set
* Connected to www.hagan.zone (42.193.104.246) port 80 (#0)
> POST / HTTP/1.1
> Host: www.hagan.zone
> User-Agent: curl/7.64.1
> Accept: */*
> Content-Length: 10
> Content-Type: application/x-www-form-urlencoded
> 
* upload completely sent off: 10 out of 10 bytes
< HTTP/1.1 301 Moved Permanently
< Server: nginx/1.18.0
< Date: Fri, 30 Jul 2021 01:26:20 GMT
< Content-Type: text/html
< Content-Length: 169
< Connection: keep-alive
< Location: https://www.hagan.zone/
< 
<html>
<head><title>301 Moved Permanently</title></head>
<body>
<center><h1>301 Moved Permanently</h1></center>
<hr><center>nginx/1.18.0</center>
</body>
</html>
* Connection #0 to host www.hagan.zone left intact
* Closing connection 0

本文将详细剖析以上数据

Request

Request代表发送请求部分，示例中Request部分代码如下

hagan@hanyonggang life % curl -v -d 'name=hagan' http://www.hagan.zone 
*   Trying 42.193.104.246...
* TCP_NODELAY set
* Connected to www.hagan.zone (42.193.104.246) port 80 (#0)
> POST / HTTP/1.1 # [请求类型] [请求URL] [协议版本]
> Host: www.hagan.zone # 消息报头
> User-Agent: curl/7.64.1 # 消息报头
> Accept: */* # 消息报头
> Content-Length: 10 # 消息报头
> Content-Type: application/x-www-form-urlencoded # 消息报头
> 
* upload completely sent off: 10 out of 10 bytes

Request包含三个部分，分别为 请求行 消息报头(Header) 请求正文(Body)

下面的讲解请参考示例中Request部分代码来理解。

1.请求行

请求行包含三个部分，分别为 请求类型 请求URL 协议版本

> POST / HTTP/1.1 # [请求类型] [请求URL] [协议版本]

1.请求类型

本次请求的请求类型为 POST，常见的请求类型如下

  • GET # 请求获取Request-URL所标识的资源
  • POST # 在Request-URL所标识的资源后附加新的数据
  • HEAD # 请求获取由Request-URL所标识的资源的响应消息报头
  • PUT # 请求服务器存储一个资源并用Request-URL作为标识
  • DELETE # 请求服务器删除Request-URL所标识的资源
  • TRACE # 请求服务器回送收到的请求消息，主要用于测试或诊断
  • CONNECT # 保留将来使用
  • OPTIONS # 请求查询服务器性能、查询资源相关选项、预检请求

2.请求URL

本次请求的请求URL为 /

3.协议版本

本次请求的协议版本为HTTP 1.1，常见的协议版本如下

  • HTTP/1.0
  • HTTP/1.1
  • HTTP/2.0

2.消息报头(Header)

消息报头有很多种字段类型，本次请求包含如下五个消息报头

> Host: www.hagan.zone # 消息报头
> User-Agent: curl/7.64.1 # 消息报头
> Accept: */* # 消息报头
> Content-Length: 10 # 消息报头
> Content-Type: application/x-www-form-urlencoded # 消息报头

常见的消息报头如下

Accept

指定客户端接受哪些类型的信息

  • text/html # HTML文本
  • image/gif # gif图片
  • */* # 啥都行

Accept-Charset

客户端接受的字符集

  • gb2312 # 中文字符
  • iso-8859-1 # 西文字符集
  • utf-8 # 多语言字符

Accept-Encoding

可接受的内容编码

  • gzip # 压缩类型
  • deflate # 压缩类型
  • identity # 默认

Accept-Language

指定一种自然语言

  • zh-cn # 中文

Authorization

证明客户端有权查看某个资源

Host

指定被请求资源的Internet主机和端口号

  • hagan.zone:8080

User-Agent

用户代理

  • 操作系统及版本
  • CPU类型
  • 浏览器及版本
  • 浏览器渲染引擎
  • 浏览器语言
  • 浏览器插件

Content-Type

Body编码方式

3.请求正文(Body)

请求正文有很多种编码方式，请求正文的类型需要根据消息报头的Content-Type字段来确定，本次请求的编码方式为application/x-www-form-urlencoded

> Content-Type: application/x-www-form-urlencoded # 消息报头

常见的Content-Type类型如下

application/x-www-form-urlencoded

默认数据编码方式

?name=hagan&age=22

application/json

序列化后的JSON字符串

text/xml

XML作为编码方式的远程调用规范

text/plain

数据以纯文本形式进行编码

multipart/form-data

允许body里面包含多个模块，每个模块可以是不同类型，常用于文件上传

需要规定一个用于分割模块的分隔符 boundary

Content-Type: multipart/form-data; boundary=hagan # boundary为分隔符

当指定分隔符为 hagan 时请求体格式如下

--hagan
Content-Disposition: form-data; name="fullname" # name为参数名
  
haganhan # 参数值 # 规范规定参数值前面必须有两个换行符
--hagan
Content-Disposition: form-data; name="head"; filename="head.png"
Content-Type: image/png # 指定类型

<Buffer 00> # 参数值
--hagan-- # 请求体结束

整个请求体拼装完成后 , 最后会以--分隔符--结尾 --hagan--

--分隔符(boundary)
Content-Disposition: form-data; name="参数名1"  

参数值1
--分隔符(boundary)
Content-Disposition: form-data; name="参数名2"  

参数值2
--分隔符(boundary)
Content-Disposition: form-data; name="参数名3"  

参数值3
--分隔符(boundary)
Content-Disposition: form-data; name="图片名1"; filename="图片文件名1"  
Content-Type: 类型  

图片文件的二进制内容1
--分隔符(boundary)
Content-Disposition: form-data; name="图片名2"; filename="图片文件名2"  
Content-Type: 类型  

图片文件的二进制内容2
--分隔符(boundary)
Content-Disposition: form-data; name="图片名3"; filename="图片文件名3"  
Content-Type: 类型  

图片文件的二进制内容3
--分隔符(boundary)--

application/octet-stream

只能通过流的方式提交一个二进制或文件

Response

Response代表服务端响应部分，示例中Response部分代码如下

< HTTP/1.1 301 Moved Permanently # 状态行 # [协议版本] [状态码] [状态信息]
< Server: nginx/1.18.0 # 响应报头
< Date: Fri, 30 Jul 2021 01:26:20 GMT # 响应报头
< Content-Type: text/html # 实体报头
< Content-Length: 169 # 实体报头
< Connection: keep-alive # 实体报头
< Location: https://www.hagan.zone/ # 响应报头
< 
<html>
<head><title>301 Moved Permanently</title></head>
<body>
<center><h1>301 Moved Permanently</h1></center>
<hr><center>nginx/1.18.0</center>
</body>
</html>
* Connection #0 to host www.hagan.zone left intact
* Closing connection 0

Response也包含三个部分，分别为 状态行 消息报头(Header) 响应正文(Body)，下面将详细讲解这三部分。

下面的讲解请参考示例中Response部分代码来理解。

1.状态行

状态行包含三个部分，分别为 协议版本 状态码 状态信息

< HTTP/1.1 301 Moved Permanently # 状态行 # [协议版本] [状态码] [状态信息]

1.协议版本

本次响应的协议版本为 HTTP/1.1，常见协议版本如下

  • HTTP/1.0
  • HTTP/1.1
  • HTTP/2.0

2.状态码

本次响应的状态码为 301，常见状态码如下

1xx

指示信息，表示请求已接收，继续处理

2xx

成功，表示请求已被成功接收、理解、接受

  • 200 OK，请求成功
  • 201 Created，对于那些要服务器创建对象的请求来说，资源已创建完毕
  • 202 Accepted，请求已接受，但服务器尚未处理
  • 204 No Content，Response包含状态行和消息报头，但不包含响应正文
  • 206 Partial Content，部分请求成功

3xx

重定向，要完成请求必须进行更进一步的操作

  • 301 请求永久重定向至新URL
  • 302 请求临时重定向至新URL

4xx

客户端错误。请求有语法错误或请求无法实现

  • 400 Bad Request，错误的请求
  • 401 Unauthorized，需要客户端认证
  • 403 Forbidden，请求被服务器拒绝
  • 404 Not Found，未找到资源

5xx

服务端错误，服务端未能实现合法的请求

  • 500 Internal Server Error，内部服务器错误
  • 503 Server Unavailable，服务器暂时无法提供服务，一段时间后便可恢复服务

3.状态信息

本次响应的状态信息为 Moved Permanently，常见状态信息如下

  • OK
  • Moved Permanently
  • Not Found

2.消息报头(Header)

Response中的消息报头主要分为 响应报头 和 实体报头

响应报头

本次响应中的响应报头包含如下三个

< Server: nginx/1.18.0 # 响应报头
< Date: Fri, 30 Jul 2021 01:26:20 GMT # 响应报头
< Location: https://www.hagan.zone/ # 响应报头

常见的响应报头如下

Location

重定向接受者到一个新的位置

WWW- Authenticate

包含在401响应消息中，客户端收到401

Server

包含了服务器用来处理请求的软件信息

Apache- Coyote/1.1

实体报头

实体报头也叫正文报头，本次响应中的实体报头包含如下三个

< Content-Type: text/html # 实体报头
< Content-Length: 169 # 实体报头
< Connection: keep-alive # 实体报头

常见的实体报头如下

Content-Encoding

编码类型是压缩还是非压缩

eg: Content-Encoding: gzip

Content-Language

资源所用的自然语言，没有设置该域则认为实体内容将提供给所有的语言阅读

Content-Length

正文的长度，以字节方式存储的十进制数字表示

Content-Type

响应正文的媒体类型

  • 实体类型列表

Expires

响应过期的日期和时间

3.响应正文(Body)

响应正文有很多种类型，响应正文的类型需要根据消息报头的Content-Type字段来确定，本次响应的编码方式为text/html

< Content-Type: text/html # 实体报头

响应正文如下

<html>
<head><title>301 Moved Permanently</title></head>
<body>
<center><h1>301 Moved Permanently</h1></center>
<hr><center>nginx/1.18.0</center>
</body>
</html>
* Connection #0 to host www.hagan.zone left intact
* Closing connection 0

curl命令只展示数据，不提供数据的解析，如果是浏览器，则会将响应正文以 text/html 的方式进行解析，此时便得到了一个HTML页面

本文会在我的博客持续更新，欢迎访问我的博客 hagan.zone ，也可点击阅读原文直接跳转到文章详情页，里面会包含我最新的修改。

参考资料

  • http://www.ruanyifeng.com/blog/2019/09/curl-reference.html



浏览 59
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
从curl命令行视角来讲解HTTP请求
前端Sharing
0
http-server命令行 http 服务器
http-server 是简单的零配置命令行 http 服务器。它足够强大，足以用于生产用途，但它既
HTTP PromptHTTP 命令行客户端
HTTP Prompt 是一个交互式的命令行 HTTP 客户端，支持自动完成、语法高亮，基于 HTT
HTTP PromptHTTP 命令行客户端
HTTPPrompt是一个交互式的命令行HTTP客户端，支持自动完成、语法高亮，基于HTTPie和prompt_toolkit构建.
http-server命令行 http 服务器
http-server是简单的零配置命令行http服务器。它足够强大，足以用于生产用途，但它既简单又易于破解，可用于测试，本地开发和学习提供的选项：-pPorttouse(defaultsto8080
module-server处理 HTTP 请求
Moduleserver是一个为CommonJS模块提供web浏览器服务的系统工具。它的主要功能是支持逐步加载模块，每加载一次模块响应1次HTTP请求。 Moduleserver有以下限制：请求模块正
java代理http请求
前言估计看到这个标题你会觉得多此一举，因为nginx完全可以实现代理，且配置非常方便。之前接到一个需求，服务器必须使用java程序进行代理，并记录详细的出入参，以便后续根据日志查到问题。先暂且不纠结是否必要，...
CurlFuturePHP Curl 并行轮转请求库
CurlFuture：PHPCurl并行轮转请求库multicurl系列方法是提高php请求后端http接口的一种途径。但是直接使用的话，存在几方面问题：部分版本的curl扩展有bug，需要用特定的方
CurlFuturePHP Curl 并行轮转请求库
CurlFuture ： PHP Curl并行轮转请求库multicurl系列方法是提高php请求后
HTTPie命令行的 HTTP 工具包
HTTPie 是一个开源的命令行的 HTTP 工具包，提供命令行交互方式来访问 HTTP 服务。
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报