Curl

下載單個文件,默認將輸出打印到標準輸出中(STDOUT)中

curl http://www.centos.org

通過-o/-O選項保存下載的文件到指定的文件中:

  • -o:將文件保存為命令行中指定的文件名的文件中
  • -O:使用URL中默認的文件名保存文件到本地
# 將文件下載到本地并命名為mygettext.html
curl -o mygettext.html http://www.gnu.org/software/gettext/manual/gettext.html
 
# 將文件保存到本地并命名為gettext.html
curl -O http://www.gnu.org/software/gettext/manual/gettext.html

同樣可以使用轉(zhuǎn)向字符">"對輸出進行轉(zhuǎn)向輸出

同時獲取多個文件

curl -O URL1 -O URL2

若同時從同一站點下載多個文件時,curl會嘗試重用鏈接(connection)。

通過-L選項進行重定向
默認情況下CURL不會發(fā)送HTTP Location headers(重定向).當(dāng)一個被請求頁面移動到另一個站點時,會發(fā)送一個HTTP Loaction header作為請求,然后將請求重定向到新的地址上。
例如:訪問google.com時,會自動將地址重定向到google.com.hk上。

 1 curl http://www.google.com
 2 <HTML>
 3 <HEAD>
 4     <meta http-equiv="content-type" content="text/html;charset=utf-8">
 5     <TITLE>302 Moved</TITLE>
 6 </HEAD>
 7 <BODY>
 8     <H1>302 Moved</H1>
 9     The document has moved
10     <A >here</A>.
11 </BODY>
12 </HTML>

上述輸出說明所請求的檔案被轉(zhuǎn)移到了http://www.google.com.hk

這是可以通過使用-L選項進行強制重定向

# 讓curl使用地址重定向,此時會查詢google.com.hk站點
curl -L http://www.google.com

斷點續(xù)傳

通過使用-C選項可對大文件使用斷點續(xù)傳功能,如:

1 # 當(dāng)文件在下載完成之前結(jié)束該進程
2 $ curl -O http://www.gnu.org/software/gettext/manual/gettext.html
3 ##############             20.1%
4 
5 # 通過添加-C選項繼續(xù)對該文件進行下載,已經(jīng)下載過的文件不會被重新下載
6 curl -C - -O http://www.gnu.org/software/gettext/manual/gettext.html
7 ###############            21.1%

對CURL使用網(wǎng)絡(luò)限速

通過--limit-rate選項對CURL的最大網(wǎng)絡(luò)使用進行限制

1 # 下載速度最大不會超過1000B/second
2 
3 curl --limit-rate 1000B -O http://www.gnu.org/software/gettext/manual/gettext.html

下載指定時間內(nèi)修改過的文件

當(dāng)下載一個文件時,可對該文件的最后修改日期進行判斷,如果該文件在指定日期內(nèi)修改過,就進行下載,否則不下載。
該功能可通過使用-z選項來實現(xiàn):

# 若yy.html文件在2011/12/21之后有過更新才會進行下載
curl -z 21-Dec-11 http://www.example.com/yy.html

CURL授權(quán)

在訪問需要授權(quán)的頁面時,可通過-u選項提供用戶名和密碼進行授權(quán)

1 curl -u username:password URL
2 
3 # 通常的做法是在命令行只輸入用戶名,之后會提示輸入密碼,這樣可以保證在查看歷史記錄時不會將密碼泄露
4 curl -u username URL

從FTP服務(wù)器下載文件

CURL同樣支持FTP下載,若在url中指定的是某個文件路徑而非具體的某個要下載的文件名,CURL則會列出該目錄下的所有文件名而并非下載該目錄下的所有文件

1 # 列出public_html下的所有文件夾和文件
2 curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/
3 
4 # 下載xss.php文件
5 curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/xss.php

上傳文件到FTP服務(wù)器

通過 -T 選項可將指定的本地文件上傳到FTP服務(wù)器上


# 將myfile.txt文件上傳到服務(wù)器
curl -u ftpuser:ftppass -T myfile.txt ftp://ftp.testserver.com

# 同時上傳多個文件
curl -u ftpuser:ftppass -T "{file1,file2}" ftp://ftp.testserver.com

# 從標準輸入獲取內(nèi)容保存到服務(wù)器指定的文件中
curl -u ftpuser:ftppass -T - ftp://ftp.testserver.com/myfile_1.txt

獲取更多信息

通過使用 -v 和 -trace獲取更多的鏈接信息

通過字典查詢單詞

1 # 查詢bash單詞的含義
2 curl dict://dict.org/d:bash
3 
4 # 列出所有可用詞典
5 curl dict://dict.org/show:db
6 
7 # 在foldoc詞典中查詢bash單詞的含義
8 curl dict://dict.org/d:bash:foldoc

為CURL設(shè)置代理

-x 選項可以為CURL添加代理功能

1 # 指定代理主機和端口
2 curl -x proxysever.test.com:3128 http://google.co.in

其他網(wǎng)站整理

保存與使用網(wǎng)站cookie信息

1 # 將網(wǎng)站的cookies信息保存到sugarcookies文件中
2 curl -D sugarcookies http://localhost/sugarcrm/index.php
3 
4 # 使用上次保存的cookie信息
5 curl -b sugarcookies http://localhost/sugarcrm/index.php

傳遞請求數(shù)據(jù)

默認curl使用GET方式請求數(shù)據(jù),這種方式下直接通過URL傳遞數(shù)據(jù)
可以通過 --data/-d 方式指定使用POST方式傳遞數(shù)據(jù)

1 # GET
2 curl -u username https://api.github.com/user?access_token=XXXXXXXXXX
3 
4 # POST
5 curl -u username --data "param1=value1&param2=value" https://api.github.com
6 
7 # 也可以指定一個文件,將該文件中的內(nèi)容當(dāng)作數(shù)據(jù)傳遞給服務(wù)器端
8 curl --data @filename https://github.api.com/authorizations

注:默認情況下,通過POST方式傳遞過去的數(shù)據(jù)中若有特殊字符,首先需要將特殊字符轉(zhuǎn)義在傳遞給服務(wù)器端,如value值中包含有空格,則需要先將空格轉(zhuǎn)換成%20,如:

curl -d "value%201" http://hostname.com

在新版本的CURL中,提供了新的選項 --data-urlencode,通過該選項提供的參數(shù)會自動轉(zhuǎn)義特殊字符。

curl --data-urlencode "value 1" http://hostname.com

除了使用GET和POST協(xié)議外,還可以通過 -X 選項指定其它協(xié)議,如:

curl -I -X DELETE https://api.github.cim

上傳文件

curl --form "fileupload=@filename.txt" http://hostname/resource
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容