全球各地的程序員都是怎樣使用 Python？
我們從最常用的 Python 包入手，去解答上述這個問題。最初，我列出過去一年在 PyPI 上下載次數最多的 Python 包。接下來，深入研究其用途、它們之間的關系和它們備受歡迎的原因。
1、Urllib3
下載次數：8.93 億
Urllib3是一個 Python 的 HTTP 客戶端，它擁有 Python 標準庫中缺少的許多功能：
線程安全
連接池
客戶端 SSL/TLS 驗證
使用分段編碼上傳文件
用來重試請求和處理 HTTP 重定向的助手
支持 gzip 和 deflate 編碼
HTTP 和 SOCKS 的代理支持
不要被名字所誤導，Urllib3并不是urllib2的后繼者，而后者是 Python 核心的一部分。如果你想使用盡可能多的 Python 核心功能，或者你能安裝什么東西是受限，那么請查看 urlllib.request。
對最終用戶來說，我強烈建議使用 requests 包（參閱列表中的 #6）。這個包之所以會排名第一，是因為有差不多 1200 個包依賴 urllib3，其中許多包在這個列表中的排名也很高。
2、Six
下載次數：7.32 億
six 是一個是 Python 2 和 3 的兼容性庫。這個項目旨在支持可同時運行在 Python 2 和 3 上的代碼庫。
它提供了許多可簡化 Python 2 和 3 之間語法差異的函數。一個容易理解的例子是six.print_()。在 Python 3 中，打印是通過print()函數完成的，而在 Python 2 中，print后面沒有括號。因此，有了six.print_()后，你就可以使用一個語句來同時支持兩種語言。
一些事實：
它的名字叫
six，是因為二乘以三等于六。同類庫還可以看看
future包。如果你要將代碼轉換為 Python3（并停止支持 2），請查看 2to3。
雖然我理解它為什么這么受歡迎，但我希望人們能完全放棄 Python 2，因為要知道從 2020 年 1 月 1 日起 Python 2 的官方支持就已停止。
在學習Python的過程中，往往因為沒有資料或者沒人指導從而導致自己不想學下去了，因此我特意準備了個群 827513319 ，群里有大量的PDF書籍、教程都給大家免費使用！不管是學習到哪個階段的小伙伴都可以獲取到自己相對應的資料！
3、botocore、boto3、s3transfer、awscli
這里，我把相關的幾個項目列在一起：
botocore（#3，6.6 億次下載）
s3transfer（#7，5.84 億次下載）
awscli（#17，3.94 億次下載）
boto3（#22，3.29 億次下載）
Botocore是 AWS 的底層接口。Botocore是 Boto3 庫（#22）的基礎，后者讓你可以使用 Amazon S3 和 Amazon EC2 一類的服務。Botocore 還是 AWS-CLI 的基礎，后者為 AWS 提供統一的命令行界面。
S3transfer（#7）是用于管理 Amazon S3 傳輸的 Python 庫。它正在積極開發中，其介紹頁面不推薦人們現在使用，或者至少等版本固定下來再用，因為其 API 可能發生變化，在次要版本之間都可能更改。Boto3、AWS-CLI和其他許多項目都依賴s3transfer。
令人驚訝的是，這些針對 AWS 庫的排名竟如此之高——這充分說明了 AWS 有多厲害。
4、Pip
下載次數：6.27 億
我想，你們大多數人都知道并且很喜歡 pip，它是 Python 的包安裝器。你可以用 pip 輕松地從 Python 包索引和其他索引（例如本地鏡像或帶有私有軟件的自定義索引）來安裝軟件包。
有關 pip 的一些有趣事實：
pip是“Pip Installs Packages”的首字母遞歸縮寫。pip很容易使用。要安裝一個包只需pip install <package name>即可，而刪除包只需pip uninstall <package name>即可。最大優點之一是它可以獲取包列表，通常以
requirements.txt文件的形式獲取。該文件能選擇包含所需版本的詳細規范。大多數 Python 項目都包含這樣的文件。如果結合使用
pip與virtualenv（列表中的 #57），就可以創建可預測的隔離環境，同時不會干擾底層系統，反之亦然。
5、Python-dateutil
下載次數：6.17 億
python-dateutil模塊提供了對標準datetime模塊的強大擴展。我的經驗是，常規的Python datetime缺少哪些功能，python-dateutil就能補足那一塊。
你可以用這個庫做很多很棒的事情。其中，我發現的一個特別有用的功能就是：模糊解析日志文件中的日期，例如：
6、Requests
下載次數：6.11 億
Requests建立在我們的 #1 庫——urllib3基礎上。它讓 Web 請求變得非常簡單。相比urllib3來說，很多人更喜歡這個包。而且使用它的最終用戶可能也比urllib3更多。后者更偏底層，并且考慮到它對內部的控制級別，它一般是作為其他項目的依賴項。
下面這個例子說明 requests 用起來有多簡單：
7、S3transfer
這里把 #3、#7、#17 和 #22 放在一起介紹，因為它們的關系非常密切。
8、Certifi
下載次數：5.52 億
近年來，幾乎所有網站都轉向 SSL，你可以通過地址欄中的小鎖符號來識別它。加了小鎖意味著與該站點的通信是安全和加密的，能防止竊聽行為。
小鎖告訴我們此網站已使用 SSL 保護
加密過程是基于 SSL 證書的，并且這些 SSL 證書由受信任的公司或非營利組織（如 LetsEncrypt）創建。這些組織使用他們的（中間）證書對這些證書進行數字簽名。
你的瀏覽器使用這些證書的公開可用部分來驗證這些簽名，這樣就能確保你正查看的是真實內容，并且沒有人能窺探到通信數據。Python 軟件也能做同樣事情。這就是 certifi 的用途所在。它與 Chrome、Firefox 和 Edge 等網絡瀏覽器隨附的根證書集合沒有太大區別。
Certifi是根證書的一個精選集合，有了它，你的 Python 代碼就能驗證 SSL 證書的可信度。
如此處所示，許多項目信任并依賴 certifi。這也是該項目排名如此之高的原因所在。
9、Idna
下載次數：5.27 億
根據其 PyPI 頁面，idna提供了“對 RFC5891 中指定的應用程序中國際化域名（IDNA）協議的支持。”
可能你像我一樣也是一頭霧水，不知道Idna是什么，有什么用！據悉，應用程序中的國際化域名（IDNA）是一種用來處理包含非 ASCII 字符的域名機制。但是，原始域名系統已經提供對基于非 ASCII 字符的域名支持。所以，哪有問題？
問題在于應用程序（例如電子郵件客戶端和 Web 瀏覽器）不支持非 ASCII 字符。更具體地說，電子郵件和 HTTP 用的協議不支持這些字符。對許多國家來說，這沒什么問題，但是像中國、俄羅斯、德國、希臘和印度尼西亞等國家，這是個問題。最后，來自這些地方的一群聰明人想到 IDNA。
IDNA的核心是兩個函數：ToASCII和ToUnicode。ToASCII會將國際 Unicode 域轉換為 ASCII 字符串。ToUnicode則逆轉該過程。在IDNA包中，這些函數稱為idna.encode()和idna.decode()，如以下代碼片段所示：
如果你是受虐狂，則可以閱讀 RFC-3490 了解這一編碼的詳細信息。
10、PyYAML
下載次數：5.25 億
YAML是一種數據序列化格式。它的設計宗旨是讓人類和計算機都能很容易地閱讀代碼——人類很容易讀寫它的內容，計算機也可以解析它。
PyYAML是 Python 的YAML解析器和發射器，這意味著它可以讀寫YAML。它會把任何 Python 對象寫成YAML：列表、字典，甚至是類實例都包括在內。
Python 提供了自己的配置解析器，但是與 Python 的ConfigParser的基本.ini文件結構相比，YAML 提供更多功能。
例如，YAML可以存儲任何數據類型：布爾值、列表、浮點數等等。ConfigParser會將所有內容存儲為內部字符串。如果要使用ConfigParser加載整數，則你需要指定自己要顯式獲取一個int：
config.getint(“section”, “my_int”)
pyyaml能自動識別類型，所以這將使用PyYAML返回你的int：
config[“section”][“my_int”]
YAML還允許任意的 deep trees，雖然不是每個項目都需要這種東西，但是需要時，它就可以派上用場。你可能有自己的偏好，但是許多項目都使用YAML作為配置文件，所以這個項目是很受歡迎的。
11、Pyasn1
下載次數：5.12 億
像上面的IDNA一樣，這個項目也非常有用：
ASN.1 類型和 DER/BER/CER 編碼（X.208）的純 Python 實現
所幸這個已有數十年歷史的標準有很多信息可用。ASN.1是 Abstract Syntax Notation One 的縮寫，它就像是數據序列化的教父。它來自電信行業。也許你知道協議緩沖區或 Apache Thrift？這就是它們的 1984 年版本。
ASN.1 描述了系統之間的跨平臺接口，以及可以通過該接口發送的數據結構。
還記得 Certifi（請參閱 #8）嗎？ASN.1 用于定義 HTTPS 協議和其他許多加密系統中使用的證書格式。它也用在了 SNMP、LDAP、Kerberos、UMTS、LTE 和 VOIP 協議中。
這是一個非常復雜的規范，并且某些實現已被證明滿是漏洞。
一個建議，除非你真的需要，否則還是敬而遠之吧。但由于它用在很多地方，因此許多包都依賴這個包。
12、Docutils
下載次數：5.08 億
Docutils是一個模塊化系統，用來將純文本文檔處理為很多有用的格式，例如 HTML、XML 和 LaTeX 等。Docutils能讀取reStructuredText格式的純文本文檔，這種格式是類似于 MarkDown 的易讀標記語法。
你可能聽說過，甚至讀過 PEP 文檔。
那么什么是 PEP 文檔？最早的 PEP 文檔，PEP-1 為我們提供很好的解釋：
PEP 的意思是 Python 增強提案。一個 PEP 就是一個設計文檔，用來向 Python 社區提供信息，或描述 Python 或其過程或環境的新功能。PEP 應該提供該功能的簡明技術規范以及功能的原理。
PEP 文檔使用固定的reStructuredText模板編寫，并使用docutils轉換為格式正確的文檔。
Docutils 也是Sphinx的核心。Sphinx用于創建文檔項目。如果Docutils是一臺機器，則Sphinx就是工廠。它最初是為了構建 Python 文檔而創建的，但其他許多項目也使用它為代碼提供文檔。你可能已經讀過 readthedocs.org 上的文檔，那里的大多數文檔都是由Sphinx和docutils創建的。
13、Chardet
下載次數：5.01 億
你可以用chardet模塊來檢測文件或數據流的字符集。比如說，需要分析大量隨機文本時，這會很有用。但你也可以在處理遠程下載的數據，但不知道用的是什么字符集時使用它。
安裝chardet后，你還有一個名為chardetect的命令行工具，用法如下：
chardetect somefile.txt
somefile.txt: ascii with confidence 1.0
你還能通過編程方式使用這個庫，具體參閱文檔。Chardet是requests等許多包的需求。我覺得沒有多少人會單獨使用chardet，所以它這么流行肯定是因為這些依賴項。
14、RSA
下載次數：4.92 億
rsa包是一個純 Python 的 RSA 實現。它支持：
加密和解密
簽名和驗證簽名
根據 PKCS#1 1.5 版生成密鑰
它既可以用作 Python 庫，也能在命令行中使用。
一些事實：
RSA 是 RonRivest、Adi Shamir 和 Leonard Adleman 三人姓的首字母。他們在 1977 年發明該算法。
RSA 是最早的公鑰密碼系統之一，被廣泛用于安全數據傳輸。在這樣的密碼系統中，有兩個密鑰：公共部分和私有部分。你用公鑰加密數據，只能用私鑰解密數據。
RSA 是一種 slow algorithm。它很少用于直接加密用戶數據。通常，RSA 用于安全傳遞對稱密鑰加密的共享密鑰，這樣加密和解密大量數據時會快得多。
以下代碼段展示了如何在一個非常簡單的用例中使用 RSA：
假設 Bob 保留自己的私鑰 private，那么 Alice 可以確定他是唯一可以閱讀該消息的人。但是，Bob 不能確定是 Alice 發送了該消息，因為任何人都可以獲取并使用他的公鑰。為證明是她，Alice 可以用她的私鑰在郵件上簽名。Bob 可以用她的公鑰驗證此簽名，確保消息的確是她發送的。
諸如google-auth（#37）、oauthlib（#54）、awscli（#17）之類的包都依賴rsa包。很少有人會將這個工具獨立使用，因為有更快、更原生的替代方法。
15、Jmespath
下載次數：4.73 億
在 Python 中用 JSON 非常容易，因為它在 Python 字典上的映射非常好。對我來說，這是它最好的特性之一。
實話實說——盡管我已經用 JSON 做過很多工作，但我從未聽說過這個包。我只是用 json.loads() 并從字典中手動獲取數據，也許再搞個循環什么的。
JMESPath，發音為“James path”，使 Python 中的 JSON 更容易使用。它允許你聲明性地指定如何從 JSON 文檔中提取元素。以下是一些基本示例：
16、Setuptools
下載次數：4.01 億
它是用于創建 Python 包的工具。不過，其文檔很糟糕。它沒有清晰描述它的用途，并且文檔中包含無效鏈接。最好的信息源是這個站點，特別是這個創建 Python 包的指南。
17、Awscli
這里把 #3、#7、#17 和 #22 放在一起介紹，因為它們的關系非常密切。
18、Pytz
下載次數：3.94 億次
像dateutils（#5）一樣，這個庫可幫助你處理日期和時間。有時候，時區處理起來可能很麻煩。幸好有這樣的包，可以讓事情變得簡單些。
我自己關于計算機上處理時間的經驗總結來說是：始終在內部使用 UTC。僅當生成供人類讀取的輸出時，才轉換為本地時間。
這是pytz用法的示例：
19、Futures
下載次數：3.89 億
從 Python 3.2 開始，python 提供current.futures模塊，可幫助你實現異步執行。futures 包是該庫適用于 Python 2 的 backport。它不適用于 Python3 用戶，因為 Python 3 原生提供了該模塊。
正如我之前提到的，從 2020 年 1 月 1 日起，Python 2 的官方支持停止。希望我明年重新再來看的時候，這個包不會再出現在前 22 名中吧。
下面是 futures 的基本示例：
如你所見，你可以創建一個線程池并提交一個要由這些線程之一執行的函數。同時，你的程序將繼續在主線程中運行。這是并行執行程序的簡便方法。
20、Colorama
下載次數：3.7 億
使用 Colorama，你可以為終端添加一些顏色：
這樣做起來非常容易，具體請查看以下示例代碼：
21、Simplejson
下載次數：3.41 億
原生的json模塊有什么問題，才需要這種高級替代方案呢？并沒有！實際上，Python 的json就是simplejson。但是simplejson也有一些優點：
它適用于更多的 Python 版本。
它比 Python 更新的頻率更頻繁。
它有用 C 編寫的（可選）部分，因此速度非常快。
你經常會在支持 JSON 的腳本中看到以下內容：
除非你需要標準庫中所沒有的內容，否則我只會使用json。Simplejson可以比json快很多，因為它有一些用 C 實現的部分。除非你正在處理成千上萬個 JSON 文件，否則這種優勢對你來說不是什么大事。還可以看看 UltraJSON，它應該更快一些，因為它幾乎所有的代碼都是用 C 編寫的。
22、Boto3
這里把 #3、#7、#17 和 #22 放在一起介紹，因為它們的關系非常密切。
23、小結
僅僅介紹這 22 個包恐怕不夠，因為排在后面的許多包都是像我們這樣最終用戶感興趣的。
通過制作這份列表，我了解到一些新東西：
許多排名靠前的 package（包）都提供某種核心功能，例如處理時間、配置文件、加密和標準化等。它們往往是其他項目的依賴項。
一個常見的主題是連接性。這些包大多允許你連接到服務器和服務，或支持其他包這樣做。
剩下的那些是對 Python 的擴展。創建 Python 包的工具、幫助創建文檔的工具、創建版本之間兼容性的庫等。
