在上一篇中我們介紹了一個非常實用的工具 mpipool，下面我們將簡要地介紹并行分布式線性代數(shù)運算工具 ScaLAPACK，然后我們會介紹在 python 中使用 ScaLAPACK 的工具 scalapy。
簡介
ScaLAPACK（Scalable LAPACK 簡稱）是一個并行計算軟件包，適用于分布式存儲的 MIMD （multiple instruction, multiple data）并行計算機。它是采用消息傳遞機制實現(xiàn)處理器/進程間通信，因此使用起來和編寫傳統(tǒng)的 MPI 程序比較類似。ScaLAPACK 主要針對密集和帶狀線性代數(shù)系統(tǒng)，提供若干線性代數(shù)求解功能，如各種矩陣運算，矩陣分解，線性方程組求解，最小二乘問題，本征值問題，奇異值問題等，具有高效、可移植、可伸縮、高可靠性等優(yōu)點，利用它的求解庫可以開發(fā)出基于線性代數(shù)運算的并行應(yīng)用程序。
ScaLAPACK 的主要思想是：
- 以一種塊狀循環(huán)分布的方式在各個進程之間分布數(shù)據(jù)矩陣；
- 使用塊狀劃分的算法以盡量保證數(shù)據(jù)的重用性；
- 設(shè)計良好的底層模塊使得使用高層模塊編寫的并行編程和普通串行串行基本一致。
軟件等級
ScaLAPACK 是建立在一系列軟件基礎(chǔ)之上的，其軟件等級如下：
上圖中在水平線以下標記為 local 的軟件成分是單處理器/單進程調(diào)用的，數(shù)據(jù)只存儲在單進程上；在水平線以上標記為 global 的軟件成分一般是同步并行調(diào)用的，其數(shù)據(jù)（矩陣或向量）分布在多個處理器/多個進程上。
其中的主要成分為：
- BLAS （Basic Linear Algebra Subprograms），包含很多常用的線性代數(shù)運算子程序，如向量點積，矩陣和向量乘積，矩陣和矩陣乘積等；
- LAPACK （Linear Algebra PACKage），包含一系列的程序，可以求解如線性方程組，最小二乘問題，本征值問題，奇異值問題等，通過調(diào)用 BLAS 完成大部分工作以獲得高的運算性能；
- BLACS （Basic Linear Algebra Communication Subprograms），是一個專門為線性代數(shù)運算而設(shè)計的消息傳遞庫；
- PBLAS （Parallel BLAS），為 ScaLAPACK 而設(shè)計的一個分布式內(nèi)存 BLAS 庫。
進程網(wǎng)格和塊狀循環(huán)分布
進程網(wǎng)格類似于我們前面介紹過的虛擬進程拓撲的二維笛卡爾拓撲，實際上是將各個進程映射成一個 p × q 的二維數(shù)組（矩陣），比如說由 8 個進程創(chuàng)建一個 2 × 4 進程網(wǎng)格，其排列如下：
在調(diào)用 ScaLAPACK 的相關(guān)例程進行線性代數(shù)運算之前，需要將數(shù)據(jù)（矩陣或者向量）分布到進程網(wǎng)格上，數(shù)據(jù)是以一種塊狀循環(huán)的方式進行分布的。下圖展示了將一個 8 × 8 的數(shù)據(jù)矩陣以塊狀循環(huán)方式分布到一個 2 × 3 進程網(wǎng)格上的結(jié)果，可見分布后每個進程本地的子數(shù)據(jù)矩陣是原整體矩陣的并不連續(xù)的部分，如進程 P02 的本地數(shù)據(jù)是原整體矩陣的 1，3，5，7 行和 3，6 列。
使用步驟
使用 ScaLAPACK 求解線性代數(shù)問題一般分為以下幾個步驟：
- 初始化進程網(wǎng)格；
- 將數(shù)據(jù)（矩陣或向量）按照塊狀循環(huán)方式分布到進程網(wǎng)格上；
- 調(diào)用 ScaLAPACK 求解例程；
- 釋放進程網(wǎng)格。
以上非常簡要地介紹了 ScaLAPACK 軟件，更多的內(nèi)容可以參考 Netlib 的 ScaLAPACK 或 Intel MKL 的 ScaLAPACK 介紹。雖然 ScaLAPACK 在設(shè)計上作了很多工作使其方法接口與 LAPACK 盡量保持一致，但是直接使用 Fortran 或 C 語言按照以上步驟使用 ScaLAPACK 仍然是一件比較麻煩和容易出錯的事情，就好比我們使用 numpy.linalg 或 scipy.linalg （在底層調(diào)用 BLAS 和 LAPACK）中的相關(guān)函數(shù)比直接調(diào)用 BLAS 和 LAPACK 中的相關(guān)例程要容易和方便的多，我們也希望使用一個 Python 包裝之后的 ScaLAPACK，在下一篇中我們就將介紹這樣一個工具 scalapy。
