3. Theano一覽
譯者：Python 文檔協作翻譯小組，原文：Theano at a Glance。
本文以 CC BY-NC-SA 4.0 協議發布，轉載請保留作者署名和文章出處。
Python 文檔協作翻譯小組人手緊缺，有興趣的朋友可以加入我們，完全公益性質。交流群：467338606。
Theano是一個Python庫，它允許你定義、優化和求值數學表達式，特別是具有多維數組（numpy.ndarray）的數學表達式。對于涉及大量數據的問題，使用Theano可以獲得與手工編寫的C實現不相上下的速度。它還可以通過利用最近的GPU超過CPU上的C多個數量級。
Theano將計算機代數系統（CAS）的各個方面與優化編譯器的各個方面相結合。它還可以為許多數學運算生成定制的C代碼。CAS與優化編譯的這種組合對于復雜數學表達式重復求值并且求值速度很關鍵的任務特別有用。對于許多不同的表達式每個求值一次的情況，Theano可以最小化編譯/分析的開銷，但仍然提供諸如自動微分等符號特征。
Theano的編譯器對這些符號表達式應用許多不同復雜度的優化。這些優化包括，但不限于：
- 使用GPU進行計算
- 恒定折疊
- 合并相似的子圖，避免冗余計算
- 算術簡化（例如
x*y/x -> y,--x -> x） - 在各種上下文中插入高效的BLAS操作（例如
GEMM） - 使用內存別名來避免計算
- 使用就地操作，無論它涉不涉及到別名
- 元素子表達式的循環融合
- 數值穩定性的改進（例如和）
- 完整列表請參閱優化
Theano是在LISA實驗室編寫的，以支持高效機器學習算法的快速開發。Theano以希臘數學家命名，她可能是畢達哥拉斯的妻子。Theano根據BSD許可證（link）發布。
先睹為快
這里是如何使用Theano的示例。它沒有展示Theano的許多功能，但它具體說明了Theano是什么。
import theano
from theano import tensor
# declare two symbolic floating-point scalars
a = tensor.dscalar()
b = tensor.dscalar()
# create a simple expression
c = a + b
# convert the expression into a callable object that takes (a,b)
# values as input and computes a value for c
f = theano.function([a,b], c)
# bind 1.5 to 'a', 2.5 to 'b', and evaluate 'c'
assert 4.0 == f(1.5, 2.5)
Theano不是一個正常意義上的編程語言，因為你在Python中編寫一個程序來為Theano構建表達式。在某種程度上它仍然像一個編程語言，因為你必須
- 聲明變量（
a,b）并給出它們的類型 - 構建表達式來表示如何將這些變量放在一起
- 將表達式圖編譯為函數，以便將它們用于計算。
可以把theano.function看作一個編譯器的接口，它從純粹的符號圖中構建一個可調用的對象。Theano的最重要的特性之一是theano.function可以優化圖，甚至將其中的一些或全部編譯為本機機器指令。
它做了什么，但是其它庫沒有做？
Theano是一個Python庫和優化編譯器，用于處理和求值表達式，特別是矩陣表達式。矩陣的操作通常使用numpy包來完成，那么什么是Theano做的而Python和numpy沒有做的呢？
-
執行速度優化：Theano可以使用
g++或nvcc將表達式圖的部分編譯成CPU或GPU指令，它們運行起來比純Python快得多。 - 符號微分：Theano可以自動構建用于計算梯度的符號圖。
- 穩定性優化：Theano可以識別[某些]數值不穩定的表達式，并使用更穩定的算法計算它們。
最接近Theano的Python包是sympy。Theano比Sympy更注重張量表達，并有更多的機制進行編譯。Sympy具有更復雜的代數規則，可以處理更多種類的數學運算（如序列，極限和積分）。
如果將numpy與MATLAB和sympy與Mathematica進行比較，Theano是一種試圖結合兩個世界的最好的部分的東西。
入門
在你的系統上下載并安裝Theano的說明。
開始使用Theano的基本功能。如果你是新手，去這里！
Theano提供的細節。建議先通讀教程。
可在此處找到在線文檔的PDF版本。
Theano的愿景
這是我們對Theano的愿景。這是給人們對Theano未來的一個期望，但我們不能承諾實現所有的。這也應該能幫助你理解Theano與其他計算工具的關系。
支持張量和稀疏運算
支持線性代數運算
-
圖變換
- 微分/高階微分
- 'R'和'L'微分運算符
- 速度/內存優化
- 數值穩定性優化
可以使用多種編譯語言、指令集：C/C++、CUDA、OpenCL、PTX、CAL、AVX ...
延遲求值
循環
并行執行（SIMD、多核，集群上的多節點，分布式多節點）
支持NumPy所有功能和SciPy的基本功能
在Theano中輕松封裝庫函數
注意：短期沒有計劃支持多節點計算。
Theano愿景的狀態
以下是截至2013年12月3日（Theano版本0.6之后）的愿景狀態：
- 我們支持使用
numpy.ndarray對象的張量，我們支持對它們的許多操作。 - 我們通過使用
scipy.{csc，csr，bsr} _matrix對象支持稀疏類型，并支持對它們的一些操作。 - 我們已經開始實現/封裝更高級的線性代數運算。
- 我們有許多圖變換，涵蓋上面列出的4個類別。
- 我們可以通過更好的存儲優化和指令選擇來改進圖轉換。
- 類似于在優化階段的自動調整，但這不適用于只有1個的操作。
- 使用示例：根據輸入大小確定是否應將計算移動到GPU。
- 可能實現：允許fgraph中的Theano變量擁有超過1個所有者。
- 我們支持Python 2和Python 3。
- 我們對
float32類型的張量有一個CUDA后端。 - 已經開始嘗試通用GPU ndarray（GPU張量）（在libgpuarray項目中啟動）
- 將GPU后端移到Theano外部。
- 將在Windows上為GPU提供更好的支持，并在CPU上支持OpenCL后端。
- 循環可以工作，但并不是所有的相關優化都已完成。
- cvm鏈接器允許延遲求值。它是當前的默認鏈接器。
- 如何讓
DebugMode檢查？目前，DebugMode非延遲地檢查計算。
- 如何讓
- CPU上的SIMD并行性來自編譯器。
- 多核并行支持有限。如果外部BLAS實現支持它，許多點通過gemm，gemv和ger并行化。此外，支持逐個元素的操作。請參閱Multi cores support in Theano。
- 無多節點支持。
- 實現大多數但不是所有NumPy的函數/別名。* https://github.com/Theano/Theano/issues/1080
- 將現有的Python函數封裝的更簡單并寫成文檔。
- 我們知道如何從對象類型（張量、稀疏矩陣、dtype、broadcast 標志）分離共享變量內存存儲位置，但我們需要這樣做。
聯系我們
關于Theano的討論發生在theano-dev和theano-users郵件列表中。對Theano的開發感興趣的人應該檢查前者，而后者保留給涉及最終用戶的問題。
問題、評論、贊美、批評和錯誤報告應提交到這些郵件列表。
我們歡迎各種貢獻。如果你對如何擴展Theano有任何問題，請隨時問問theano-dev郵件列表。
