linux curl是通过url语法在命令行下上传或下载文件的工具软件，它支持http,https,ftp,ftps,telnet等多种协议，常被用来抓取网页和监控Web服务器状态。

语法：# curl [option] [url]

常见参数：

用参数

常用参数分类

# 调试类
-v, --verbose                          输出信息
-q, --disable                          在第一个参数位置设置后 .curlrc 的设置直接失效，这个参数会影响到 -K, --config -A, --user-agent -e, --referer
-K, --config FILE                      指定配置文件
-L, --location                         跟踪重定向 (H)
# CLI显示设置

-s, --silent                           Silent模式。不输出任务内容

-S, --show-error                       显示错误. 在选项 -s 中，当 curl 出现错误时将显示

-f, --fail                             不显示 连接失败时HTTP错误信息

-i, --include                          显示 response的header (H/F)

-I, --head                             仅显示 响应文档头

-l, --list-only                        只列出FTP目录的名称 (F)

-#, --progress-bar                     以进度条 显示传输进度
# 数据传输类

-X, --request [GET|POST|PUT|DELETE|…]  使用指定的 http method 例如 -X POST

-H, --header <header>                  设定 request里的header 例如 -H "Content-Type: application/json"

-e, --referer                          设定 referer (H)

-d, --data <data>                      设定 http body 默认使用 content-type application/x-www-form-urlencoded (H)

--data-raw <data>                  ASCII 编码 HTTP POST 数据 (H)

--data-binary <data>               binary 编码 HTTP POST 数据 (H)

--data-urlencode <data>            url 编码 HTTP POST 数据 (H)

-G, --get                              使用 HTTP GET 方法发送 -d 数据 (H)

-F, --form <name=string>               模拟 HTTP 表单数据提交 multipart POST (H)

--form-string <name=string>        模拟 HTTP 表单数据提交 (H)

-u, --user <user:password>             使用帐户，密码 例如 admin:password

-b, --cookie <data>                    cookie 文件 (H)

-j, --junk-session-cookies             读取文件中但忽略会话cookie (H)

-A, --user-agent                       user-agent设置 (H)
# 传输设置

-C, --continue-at OFFSET               断点续转

-x, --proxy [PROTOCOL://]HOST[:PORT]   在指定的端口上使用代理

-U, --proxy-user USER[:PASSWORD]       代理用户名及密码
# 文件操作

-T, --upload-file <file>               上传文件

-a, --append                           添加要上传的文件 (F/SFTP)
# 输出设置

-o, --output <file>                    将输出写入文件，而非 stdout

-O, --remote-name                      将输出写入远程文件

-D, --dump-header <file>               将头信息写入指定的文件

-c, --cookie-jar <file>                操作结束后，要写入 Cookies 的文件位置

一、Linux curl用法举例：

1. linux curl抓取网页：

抓取百度：

curl http://www.baidu.com       //默认为get请求

如发现乱码，可以使用iconv转码
curl http://iframe.ip138.com/ic.asp|iconv -fgb2312

2. Linux curl使用代理：

linux curl使用http代理抓取页面：
curl -x 111.95.243.36:80 http://iframe.ip138.com/ic.asp|iconv -fgb2312
curl -x 111.95.243.36:80 -U aiezu:password http://www.baidu.com

使用socks代理抓取页面：
curl --socks4 202.113.65.229:443 http://iframe.ip138.com/ic.asp|iconv -fgb2312
curl --socks5 202.113.65.229:443 http://iframe.ip138.com/ic.asp|iconv -fgb2312

代理服务器地址可以从爬虫代理上获取。

3. linux curl处理cookies

接收cookies:
curl -c /tmp/cookies http://www.baidu.com #cookies保存到/tmp/cookies文件

发送cookies:
curl -b "key1=val1;key2=val2;" http://www.baidu.com #发送cookies文本
curl -b /tmp/cookies http://www.baidu.com #从文件中读取cookies

4. linux curl发送数据：

linux curl get方式提交数据：
curl -G -d "name=value&name2=value2" http://www.baidu.com

linux curl post方式提交数据：
curl -d "name=value&name2=value2" http://www.baidu.com #post数据
curl -d a=b&c=d&txt@/tmp/txt http://www.baidu.com #post文件

以表单的方式上传文件：
curl -F file=@/tmp/me.txt http://www.aiezu.com

相当于设置form表单的method="POST"和enctype='multipart/form-data'两个属性。

5. linux curl http header处理：

设置http请求头信息：
curl -A "Mozilla/5.0 Firefox/21.0" http://www.baidu.com #设置http请求头User-Agent
curl -e "http://pachong.org/" http://www.baidu.com #设置http请求头Referer
curl -H "Connection:keep-alive \n User-Agent: Mozilla/5.0" http://www.aiezu.com

设置http响应头处理：
curl -I http://www.aiezu.com #仅仅返回header
curl -D /tmp/header http://www.aiezu.com #将http header保存到/tmp/header文件

6. linux curl认证：
curl -u aiezu:password http://www.aiezu.com #用户名密码认证
curl -E mycert.pem https://www.baidu.com #采用证书认证

6. 其他：

curl -# http://www.baidu.com #以“#”号输出进度条
curl -o /tmp/aiezu http://www.baidu.com #保存http响应到/tmp/aiezu

linux 使用curl小经验教训：
http请求地址的url要使用""括起来。当有存在多个参数使用&连接时可能会出错。