OpenMP2.5
有底層API后，就已經可以實現并行編程；然而，很多時候串行算法已經成型，如果繼續使用原有的底層API，還將面臨轉換和調試的問題。OpenMP正是為了解決這樣的問題。
一、OpenMP的介紹
1.概覽
- 提供線程級別的并行模型
- 基于共享內存的模型
- 本身只是提供一種規范
具體的實現由各個系統和編譯器負責實現
2.本質
- 一套多線程的API
- 面向程序員的高層接口
- 提供一系列的編譯和預處理的指導語句
- 主要提供Fortran、C、C++的多線程支持
- 以SMP的物理結構完成多線程的實現
3.實現層次
- 編譯時的指導語句
- 庫函數的支持
- 環境變量的支持
- OpenMP的標準可以實現在任何編譯器上
不同的編譯器支持程度不同
4.歷史
（略）
5.OpenMP的目標
標準化
- 在不同的語言和架構上都可以以相同的方式編寫多核程序
簡潔有效
- 編譯器的指導語句盡可能地少
易用性
- 允許程序逐步并行化
- 使對串行程序的修改盡可能地少
可移植性
- 多種語言
- 不同平臺
6.OpenMP編程模型
共享內存、基于線程的并行模型
顯式并行
Fork-Join模型
- 程序啟動后是單線程
- 達到需要并行的部分（并行區）時，產生多個線程同時運行
- 所有線程同時執行完后互相等待，一起結束
基于編譯器指導語句
支持嵌套并行
動態線程的創建與銷毀
線程的數量可以由OpenMP自適應
I/O
- OpenMP并沒有指定I/O的接口，仍然按原有的方式進行讀寫
- 因此并行區中的讀寫會面臨沖突的問題，需要程序員自己解決
內存模型
7.OpenMP的層次
- SMP的硬件結構
- 系統的線程支持與OpenMP的運行時庫
- 編譯器指導語句、庫函數和環境變量
- 應用程序和最終用戶
8.示例代碼
#include <omp.h>
void main()
{
#pragma omp parallel //編譯指導語句，將大括號括起的范圍內做成一個并行區
{
int ID=omp_get_thread_num();
printf("hello(%d)",ID);
printf("world(%d)\n",ID);
}
}
編譯時，需要增加參數-fopenmp（gcc）、-mp（pgi）、/Qopenmp（Intel）、/openmp（Visual Studio，或直接在項目屬性中添加OpenMP支持）
更一般的形式
#include <omp.h>
int main()
{
int v1,v2,v3;
//Serial code
#pragma omp parallel private(v1,v2) shared(v3)
{
//
//Join
}
//Back to serial code
}
- 大括號必須緊跟編譯指導語句書寫
- 語法格式是固定的
二、創建線程
1.Fork-Join結構
- 主線程按那些創建一組線程執行并行任務
- 并行區完全可以嵌套
- 并行區中，主線程擔任一個線程的工作
- 子并行區中，仍有相應概念上的主線程
2.指定線程的個數
雖然線程個數可以由OpenMP自動指定，但是也可以手動設置
omp_set_num_threads(4);
這使得此函數之后的每個并行區都是4個線程同時運行
也可以使用指導語句，這樣只對一個并行區生效
`#pragma omp parallel num_threads(4)`
三、同步方式
1.臨界區
多線程同時只能由一個進入臨界區執行
float res;
#pragma omp parallel
{
float B;
int i,id,nthrds;
id=omp_get_thread_num(); //當前線程的ID
nthrds=omp_get_num_threads(); //當前的線程個數
for(i=id,i<niters;i+=thrds) //巧妙的for循環，盡可能將循環任務平均地分配到各線程中去
{
B=big_job(i);
#pragma omp critical
consume(B,res);
}
}
2.原子操作
原子操作不會被多線程打斷
然而原子操作和臨界區的功能是一樣的，因為有復合語句的存在，原子操作的功能實際上還要弱一些
原子操作中不能使用復合語句，也不能進行函數調用
#pragma omp parallel
{
double tmp,B;
B=DOIT();
tmp=big_ugly(B);
#pragma omp atomic
X+=tmp;
}
- 提供原子操作的意義在于效率
使用原子操作的效率，比使用臨界區要高很多，因為可以調用一些系統底層的特殊功能來實現原子操作
3.路障同步
4.同步次序
5.flush
6.鎖
四、并行循環
1.SPMD與worksharing
- 工作共享創建了一個Single Program Multiple Data的程序結構
- 使得多個線程以看起來一樣的代碼完成不同的工作
2.分配循環用的worksharing
#pragma omp for
for(i=0;i<N;i++)
{
something();
}
- i將自動地成為每個線程的私有變量
- 默認得到{0,1,2,3},{4,5,6,7},...這樣的循環劃分方法
可以調整，但無法任意劃分
3.worksharing的結構特點
- worksharing結構不會創建線程
僅僅對執行做分配 - worksharing結構在入口沒有路障同步，但出口處有
而且都是隱式的
4.worksharing結構的限制
- 必須放在并行區內
- 待分配的任務無法執行一部分，要么整個分配，要么不分配
- 分配時有固定的次序，不支持自定義的次序
也不會隨機分配
5.worksharing結構的類型
- section可以進行手動分配
- single可以分配給單個線程
6.parallel與worksharing的組合
double res[MAX];
int i;
#pragma omp parallel for
for(i=0;i<MAX;i++)
res[i]=huge();
7.規約
- OpenMP提供的特殊、常見數據類型的支持
編譯指導語句的基本格式
`#pragma omp directive-name [clause,...] newline`
規約指導語句
`reduction(op:list)`
歸約操作的操作符和初始值
- 由OpenMP規定
- 無法自行定義
五、同步
1.Barrier
#pragma omp barrier //手動的路障同步
#pragma omp for nowait //指明取消末尾的隱式路障同步
- 直到所有線程執行到此位置才繼續執行
- 離開臨界區時有隱式的路障同步
2.Master結構
- 標記一個代碼塊只被一個線程執行
- 其它線程簡單跳過
- 默認沒有路障同步，需要顯式指定
3.Single結構
- 此結構中的內容只有一個線程執行
- 可能由任何一個線程執行，未必是master線程
- 出口處有隱式的路障同步
4.ordered
- 只加在for循環后
- 表明for循環存在次序依賴
標記出的語句將按照for循環的串行迭代序被執行 - 對性能將產生很大的影響
5.鎖
簡單鎖
可以認為是簡單的布爾變量
omp_*_lock
- init
- set
- unset
- test
- destroy
嵌套鎖
與簡單鎖不同，可以被同一個進程反復地加鎖，解鎖時也要進行相應數量的解鎖
omp_*_nest_lock
- init
- set
- unset
- test
- destroy
簡單鎖的例子
#include <omp.h>
omp_lock_t lock;
omp_init_lock(&lck);
#pragma omp parallel private(tmp,id)
{
id=omp_get_thread_num();
tmp=do_lots_of_work(id);
omp_set_lock(&lock);
omp_unset_lock(&lock);
}
omp_destroy_lock(&lock);
六、OpenMP的庫函數
1.修改、設置線程數量
omp_set_num_threads(int)-
omp_get_num_threads()
獲取此韓式調用時的線程數量 -
omp_get_thread_num()
獲取當前線程的線程號 -
omp_get_max_threads()
獲取下一個開辟的并行區每個線程要開啟的線程數
2.是否在并行區域內
omp_in_parallel()
3.是否允許系統動態調整線程數量
omp_set_dynamic(int)omp_get_dynamic()
4.系統處理器數量
omp_num_procs()
5.環境變量
環境變量的優先級比庫函數要低一些
- OMP_NUM_THREADS
- OMP_SCHEDULE
設置for循環是橫切或豎切
七、數據環境
1.默認存儲屬性
- 共享內存的編程模型
- 全局變量在線程間共享
- 靜態變量是共享的
- 堆內存是共享的
動態分配的內存
默認情況下的私有變量
- 并行區內定義的變量
2.private子句
- 為變量創建每個線程一份的副本
- 未經初始化的變量，在OpenMP中的初始值未被定義
主流平臺上，private變量的修改對外圍沒有改變 - 外部變量作為私有變量，對定義為私有變量的變量的修改，修改誰并沒有明確的定義
實際平臺上的主流編譯器都修改全局變量
3.firstprivate與lastprivate子句
- 和private子句幾乎相同
- firstprivate
私有變量的初值定義為全局變量原先的值 - lastprivate
出并行區時，全局變量的值將被改變
通常執行的最后一條更新的值反映到全局變量中
4.default子句
default(PRIVATE|SHARED|NONE)
-
default(SHARED)是默認存在的，因此不需寫出來
#pragma omp task除外 - 在C中，
default(PRIVATE)不被支持 -
default(NONE)將不為變量設定默認值
此時必須為每個變量顯式指定屬性
良好的自虐的編程實踐~
通常只在需要編譯器提醒哪個變量沒有指定屬性時才使用
5.threadprivate子句
int counter=0;
#pragma omp threadprivate(counter)
- 定義為
threadprivate的變量是可以穿越多個并行區的
變量的值以線程號一一對應
copyin子句
int a=100;
#pragma omp threadprivate copyin(a)
- 可以將全局變量的值拷貝進對應的私有變量
copyprivate子句
- 只能在single中使用
- 在路障同步點處由執行single的線程拷貝到所有其它線程
指針的傳遞
- 在線程之間，指針不要隨便亂傳
#pragma omp parallel private(x) shared(p0,p1)
x=...;
p0=&x;
在另一個線程中使用p0指針會造成不可預料的后果
八、Schedule子句
1.section子句
#pragma omp parallel
{
#pragma omp sections
{
#pragma omp section
calculation1();
#pragma omp section
calculation2();
#pragma omp section
calculation3();
}
}
- 這些任務由系統自由分配給不同線程運行
- 任務數與線程數相等時，分配顯然
- 任務數多于線程數時
先用任務把線程占滿，哪個線程執行完在分配剩下的任務 - 任務數少于線程數時
其它線程等待
2.schedule子句
`schedule(mode[,chunk])`
實際上大多數編譯器除了static，另外三種都沒實現
靜態調度
- 所有分配方式在編碼時寫死
- 默認的分配方式
- chunk默認為最大值（迭代數/線程數）
chunk是循環任務分塊的大小
如果需要循環縱切，chunk設置為1即可 - 靜態調度的分配方式是非常明確的，第一個chunk給線程0，以此類推
動態調度
- 每個chunk可以動態分配給某個線程了
guided調度
- chunk定義的是塊的最小值
- 實際上可以更大
runtime調度
- 全部參數交由編譯器決定
九、內存模型
1.弱一致性
- 在代碼中，讀寫順序在不改變語義的情況下是可以改變的
- 以S表示數據同步操作
OpenMP中保證，S->W、S->R、R->S、W->S、S->S
在OpenMP中就是flush操作
2.flush
a=...;
<other computaion>
#pragma omp flush(a)
- 變量值在內存中的改變最早發生在寫操作，最晚在數據同步操作時進行
隱式數據同步
其它所有同步都會自動帶上數據同步
十、OpenMP 3.0與任務
1.任務
- 其它結構的工作量都是靜態的，但task的任務是可以動態分的
2.例子
for(int i=0;i<N;i+=a[i])
task(a[i]);
- 此循環不能使用
#pragma omp for - 想要并行就必須使用task
3.task的結構
`#pragma omp task [clause[[,],clause]...]`
- 子句可以加入
if、untitled與所有數據環境
并行的鏈表舉例
#pragma omp parallel
{
#pragma omp single private(p) //由一個線程進行預處理，其它線程什么都不做
{
p=listhead;
while(p)
{
#pragma omp task
process(p); //將鏈表內多個結點的處理并行進行，
//占用并行區內原本閑置的線程
p=next(p);
}
}
}
4.untied子句
- 創建的任務，默認將會與某個線程綁定，只能由某個線程來完成
-
untied可以用來解除這樣的綁定
舉例
#pragma omp single
{
#pragma omp task untied
for(i=0;i<ONEZILLION;i++)
#pragma omp task
process(item[i]);
}
- 如果不作為united的任務，源源不斷的新任務將撐爆內存
- untied允許任務的創建在其它線程間遷移
5.if子句
- 如果表達式為
false，整個編譯指導語句無效 - 默認為
if(true)
