前言
我們都知道HashMap在多線程情況下，在put的時候，插入的元素超過了容量（由負載因子決定）的范圍就會觸發(fā)擴容操作，就是rehash，這個會重新將原數(shù)組的內(nèi)容重新hash到新的擴容數(shù)組中，在多線程的環(huán)境下，存在同時其他的元素也在進行put操作，如果hash值相同，可能出現(xiàn)同時在同一數(shù)組下用鏈表表示，造成閉環(huán)，導致在get時會出現(xiàn)死循環(huán)，所以HashMap是線程不安全的。
我們來了解另一個鍵值存儲集合HashTable，它是線程安全的，它在所有涉及到多線程操作的都加上了synchronized關鍵字來鎖住整個table，這就意味著所有的線程都在競爭一把鎖，在多線程的環(huán)境下，它是安全的，但是無疑是效率低下的。
其實HashTable有很多的優(yōu)化空間，鎖住整個table這么粗暴的方法可以變相的柔和點，比如在多線程的環(huán)境下，對不同的數(shù)據(jù)集進行操作時其實根本就不需要去競爭一個鎖，因為他們不同hash值，不會因為rehash造成線程不安全，所以互不影響，這就是鎖分離技術，將鎖的粒度降低，利用多個鎖來控制多個小的table
ConcurrentHashMap
JDK1.7的實現(xiàn)
在JDK1.7版本中，ConcurrentHashMap的數(shù)據(jù)結構是由一個Segment數(shù)組和多個HashEntry組成，如下圖所示：
image
Segment數(shù)組的意義就是將一個大的table分割成多個小的table來進行加鎖，也就是上面的提到的鎖分離技術，而每一個Segment元素存儲的是HashEntry數(shù)組+鏈表，這個和HashMap的數(shù)據(jù)存儲結構一樣
初始化
ConcurrentHashMap的初始化是會通過位與運算來初始化Segment的大小，用size來表示，如下所示
int size =1;
while(size < concurrencyLevel) {
++a;
size <<=1;
}
如上所示，因為size用位于運算來計算（ size <<=1 ），所以Segment的大小取值都是以2的N次方，無關concurrencyLevel的取值，當然concurrencyLevel最大只能用16位的二進制來表示，即65536，換句話說，Segment的大小最多65536個，沒有指定concurrencyLevel元素初始化，Segment的大小size默認為16
每一個Segment元素下的HashEntry的初始化也是按照位于運算來計算，用cap來表示，如下所示
int cap =1;
while(cap < c)
cap <<=1;
如上所示，HashEntry大小的計算也是2的N次方（cap <<=1）， cap的初始值為1，所以HashEntry最小的容量為2
put操作
對于ConcurrentHashMap的數(shù)據(jù)插入，這里要進行兩次Hash去定位數(shù)據(jù)的存儲位置
static class Segment<K,V> extends ReentrantLock implements Serializable {
}
從上Segment的繼承體系可以看出，Segment實現(xiàn)了ReentrantLock,也就帶有鎖的功能，當執(zhí)行put操作時，會進行第一次key的hash來定位Segment的位置，如果該Segment還沒有初始化，即通過CAS操作進行賦值，然后進行第二次hash操作，找到相應的HashEntry的位置，這里會利用繼承過來的鎖的特性，在將數(shù)據(jù)插入指定的HashEntry位置時（鏈表的尾端），會通過繼承ReentrantLock的tryLock（）方法嘗試去獲取鎖，如果獲取成功就直接插入相應的位置，如果已經(jīng)有線程獲取該Segment的鎖，那當前線程會以自旋的方式去繼續(xù)的調(diào)用tryLock（）方法去獲取鎖，超過指定次數(shù)就掛起，等待喚醒
get操作
ConcurrentHashMap的get操作跟HashMap類似，只是ConcurrentHashMap第一次需要經(jīng)過一次hash定位到Segment的位置，然后再hash定位到指定的HashEntry，遍歷該HashEntry下的鏈表進行對比，成功就返回，不成功就返回null
size操作
計算ConcurrentHashMap的元素大小是一個有趣的問題，因為他是并發(fā)操作的，就是在你計算size的時候，他還在并發(fā)的插入數(shù)據(jù)，可能會導致你計算出來的size和你實際的size有相差（在你return size的時候，插入了多個數(shù)據(jù)），要解決這個問題，JDK1.7版本用兩種方案
for(;;) {
if(retries++ == RETRIES_BEFORE_LOCK) {
for(int j = 0 ; j < segments.length; ++j) ensureSegment(j).lock(); // force creation
}
sum = 0L;
size = 0 ;
overflow = false ;
for ( int j = 0 ; j < segments.length; ++j) {
Segment<K,V> seg = segmentAt(segments, j);
if (seg != null ) { sum += seg.modCount; int c = seg.count; if (c < 0 || (size += c) < 0 )
overflow = true ;
} }
if (sum == last) break ;
last = sum; } }
finally {
if (retries > RETRIES_BEFORE_LOCK) {
for ( int j = 0 ; j < segments.length; ++j)
segmentAt(segments, j).unlock();
}
}
- 第一種方案他會使用不加鎖的模式去嘗試多次計算ConcurrentHashMap的size，最多三次，比較前后兩次計算的結果，結果一致就認為當前沒有元素加入，計算的結果是準確的
- 第二種方案是如果第一種方案不符合，他就會給每個Segment加上鎖，然后計算ConcurrentHashMap的size返回
JDK1.8的實現(xiàn)
JDK1.8的實現(xiàn)已經(jīng)摒棄了Segment的概念，而是直接用Node數(shù)組+鏈表+紅黑樹的數(shù)據(jù)結構來實現(xiàn)，并發(fā)控制使用Synchronized和CAS來操作，整個看起來就像是優(yōu)化過且線程安全的HashMap，雖然在JDK1.8中還能看到Segment的數(shù)據(jù)結構，但是已經(jīng)簡化了屬性，只是為了兼容舊版本
圖片.png
說明：ConcurrentHashMap的數(shù)據(jù)結構（數(shù)組+鏈表+紅黑樹），桶中的結構可能是鏈表，也可能是紅黑樹，紅黑樹是為了提高查找效率。
在深入JDK1.8的put和get實現(xiàn)之前要知道一些常量設計和數(shù)據(jù)結構，這些是構成ConcurrentHashMap實現(xiàn)結構的基礎，下面看一下基本屬性：
// node數(shù)組最大容量：2^30=1073741824
private static final int MAXIMUM_CAPACITY = 1 << 30 ;
// 默認初始值，必須是2的冪數(shù)
private static final int DEFAULT_CAPACITY = 16 ;
//數(shù)組可能最大值，需要與toArray（）相關方法關聯(lián)
static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8 ;
//并發(fā)級別，遺留下來的，為兼容以前的版本
private static final int DEFAULT_CONCURRENCY_LEVEL = 16 ;
// 負載因子
private static final float LOAD_FACTOR = 0 .75f;
// 鏈表轉紅黑樹閥值,> 8 鏈表轉換為紅黑樹
static final int TREEIFY_THRESHOLD = 8 ;
//樹轉鏈表閥值，小于等于6（tranfer時，lc、hc=0兩個計數(shù)器分別++記錄原bin、新binTreeNode數(shù)量，<=UNTREEIFY_THRESHOLD 則untreeify(lo)）
static final int UNTREEIFY_THRESHOLD = 6 ;
static final int MIN_TREEIFY_CAPACITY = 64 ;
private static final int MIN_TRANSFER_STRIDE = 16 ;
private static int RESIZE_STAMP_BITS = 16 ;
// 2^15-1，help resize的最大線程數(shù)
private static final int MAX_RESIZERS = ( 1 << ( 32 - RESIZE_STAMP_BITS)) - 1 ;
// 32-16=16，sizeCtl中記錄size大小的偏移量
private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS;
// forwarding nodes的hash值
static final int MOVED = - 1 ;
// 樹根節(jié)點的hash值
static final int TREEBIN = - 2 ;
// ReservationNode的hash值
static final int RESERVED = - 3 ;
// 可用處理器數(shù)量
static final int NCPU = Runtime.getRuntime().availableProcessors();
//存放node的數(shù)組
transient volatile Node<K,V>[] table;
/*控制標識符，用來控制table的初始化和擴容的操作，不同的值有不同的含義
*當為負數(shù)時：- 1 代表正在初始化，-N代表有N- 1 個線程正在 進行擴容
*當為 0 時：代表當時的table還沒有被初始化
*當為正數(shù)時：表示初始化或者下一次進行擴容的大小
*/
private transient volatile int sizeCtl;
基本屬性定義了ConcurrentHashMap的一些邊界以及操作時的一些控制，下面看一些內(nèi)部的一些結構組成，這些是整個ConcurrentHashMap整個數(shù)據(jù)結構的核心
Node
Node是ConcurrentHashMap存儲結構的基本單元，繼承于HashMap中的Entry，用于存儲數(shù)據(jù)，源代碼如下
static class Node<K,V> implements Map.Entry<K,V> {
//鏈表的數(shù)據(jù)結構
final int hash;
final K key;
//val和next都會在擴容時發(fā)生變化，所以加上volatile來保持可見性和禁止重排序
volatile V val;
volatile Node<K,V> next;
Node( int hash, K key, V val, Node<K,V> next) {
this .hash = hash;
this .key = key;
this .val = val;
this .next = next;
}
public final K getKey() { return key; }
public final V getValue() { return val; }
public final int hashCode() { return key.hashCode() ^ val.hashCode(); }
public final String toString(){ return key + "=" + val; }
//不允許更新value
public final V setValue(V value) {
throw new UnsupportedOperationException();
}
public final boolean equals(Object o) {
Object k, v, u; Map.Entry<?,?> e;
return ((o instanceof Map.Entry) &&
(k = (e = (Map.Entry<?,?>)o).getKey()) != null &&
(v = e.getValue()) != null &&
(k == key || k.equals(key)) &&
(v == (u = val) || v.equals(u)));
}
//用于map中的get（）方法，子類重寫
Node<K,V> find( int h, Object k) {
Node<K,V> e = this ;
if (k != null ) {
do {
K ek;
if (e.hash == h &&
((ek = e.key) == k || (ek != null && k.equals(ek))))
return e;
} while ((e = e.next) != null );
}
return null ;
}
}
Node數(shù)據(jù)結構很簡單，從上可知，就是一個鏈表，但是只允許對數(shù)據(jù)進行查找，不允許進行修改
TreeNode
TreeNode繼承與Node，但是數(shù)據(jù)結構換成了二叉樹結構，它是紅黑樹的數(shù)據(jù)的存儲結構，用于紅黑樹中存儲數(shù)據(jù)，當鏈表的節(jié)點數(shù)大于8時會轉換成紅黑樹的結構，他就是通過TreeNode作為存儲結構代替Node來轉換成黑紅樹源代碼如下
static final class TreeNode<K,V> extends Node<K,V> {
//樹形結構的屬性定義
TreeNode<K,V> parent; // red-black tree links
TreeNode<K,V> left;
TreeNode<K,V> right;
TreeNode<K,V> prev; // needed to unlink next upon deletion
boolean red; //標志紅黑樹的紅節(jié)點
TreeNode( int hash, K key, V val, Node<K,V> next,
TreeNode<K,V> parent) {
super (hash, key, val, next);
this .parent = parent;
}
Node<K,V> find( int h, Object k) {
return findTreeNode(h, k, null );
}
//根據(jù)key查找 從根節(jié)點開始找出相應的TreeNode，
final TreeNode<K,V> findTreeNode( int h, Object k, Class<?> kc) {
if (k != null ) {
TreeNode<K,V> p = this ;
do {
int ph, dir; K pk; TreeNode<K,V> q;
TreeNode<K,V> pl = p.left, pr = p.right;
if ((ph = p.hash) > h)
p = pl;
else if (ph < h)
p = pr;
else if ((pk = p.key) == k || (pk != null && k.equals(pk)))
return p;
else if (pl == null )
p = pr;
else if (pr == null )
p = pl;
else if ((kc != null ||
(kc = comparableClassFor(k)) != null ) &&
(dir = compareComparables(kc, k, pk)) != 0 )
p = (dir < 0 ) ? pl : pr;
else if ((q = pr.findTreeNode(h, k, kc)) != null )
return q;
else
p = pl;
} while (p != null );
}
return null ;
}
}
TreeBin
TreeBin從字面含義中可以理解為存儲樹形結構的容器，而樹形結構就是指TreeNode，所以TreeBin就是封裝TreeNode的容器，它提供轉換黑紅樹的一些條件和鎖的控制，部分源碼結構如下
static final class TreeBin<K,V> extends Node<K,V> {
//指向TreeNode列表和根節(jié)點
TreeNode<K,V> root;
volatile TreeNode<K,V> first;
volatile Thread waiter;
volatile int lockState;
// 讀寫鎖狀態(tài)
static final int WRITER = 1 ; // 獲取寫鎖的狀態(tài)
static final int WAITER = 2 ; // 等待寫鎖的狀態(tài)
static final int READER = 4 ; // 增加數(shù)據(jù)時讀鎖的狀態(tài)
/**
* 初始化紅黑樹
*/
TreeBin(TreeNode<K,V> b) {
super (TREEBIN, null , null , null );
this .first = b;
TreeNode<K,V> r = null ;
for (TreeNode<K,V> x = b, next; x != null ; x = next) {
next = (TreeNode<K,V>)x.next;
x.left = x.right = null ;
if (r == null ) {
x.parent = null ;
x.red = false ;
r = x;
}
else {
K k = x.key;
int h = x.hash;
Class<?> kc = null ;
for (TreeNode<K,V> p = r;;) {
int dir, ph;
K pk = p.key;
if ((ph = p.hash) > h)
dir = - 1 ;
else if (ph < h)
dir = 1 ;
else if ((kc == null &&
(kc = comparableClassFor(k)) == null ) ||
(dir = compareComparables(kc, k, pk)) == 0 )
dir = tieBreakOrder(k, pk);
TreeNode<K,V> xp = p;
if ((p = (dir <= 0 ) ? p.left : p.right) == null ) {
x.parent = xp;
if (dir <= 0 )
xp.left = x;
else
xp.right = x;
r = balanceInsertion(r, x);
break ;
}
}
}
}
this .root = r;
assert checkInvariants(root);
}
......
}
介紹了ConcurrentHashMap主要的屬性與內(nèi)部的數(shù)據(jù)結構，現(xiàn)在通過一個簡單的例子以debug的視角看看ConcurrentHashMap的具體操作細節(jié)
public class TestConcurrentHashMap{
public static void main(String[] args){
ConcurrentHashMap<String,String> map = new ConcurrentHashMap(); //初始化ConcurrentHashMap
//新增個人信息
map.put( "id" , "1" );
map.put( "name" , "andy" );
map.put( "sex" , "男" );
//獲取姓名
String name = map.get( "name" );
Assert.assertEquals(name, "andy" );
//計算大小
int size = map.size();
Assert.assertEquals(size, 3 );
}
}
我們先通過 new ConcurrentHashMap() 來進行初始化
public ConcurrentHashMap() {
}
由上你會發(fā)現(xiàn)ConcurrentHashMap的初始化其實是一個空實現(xiàn)，并沒有做任何事，這里后面會講到，這也是和其他的集合類有區(qū)別的地方，初始化操作并不是在構造函數(shù)實現(xiàn)的，而是在put操作中實現(xiàn)，當然ConcurrentHashMap還提供了其他的構造函數(shù)，有指定容量大小或者指定負載因子，跟HashMap一樣，這里就不做介紹了
put操作
在上面的例子中我們新增個人信息會調(diào)用put方法，我們來看下
public V put(K key, V value) {
return putVal(key, value, false );
}
/** Implementation for put and putIfAbsent */
final V putVal(K key, V value, boolean onlyIfAbsent) {
if (key == null || value == null ) throw new NullPointerException();
int hash = spread(key.hashCode()); //兩次hash，減少hash沖突，可以均勻分布
int binCount = 0 ;
for (Node<K,V>[] tab = table;;) { //對這個table進行迭代
Node<K,V> f; int n, i, fh;
//這里就是上面構造方法沒有進行初始化，在這里進行判斷，為null就調(diào)用initTable進行初始化，屬于懶漢模式初始化
if (tab == null || (n = tab.length) == 0 )
tab = initTable();
else if ((f = tabAt(tab, i = (n - 1 ) & hash)) == null ) { //如果i位置沒有數(shù)據(jù)，就直接無鎖插入
if (casTabAt(tab, i, null ,
new Node<K,V>(hash, key, value, null )))
break ; // no lock when adding to empty bin
}
else if ((fh = f.hash) == MOVED) //如果在進行擴容，則先進行擴容操作
tab = helpTransfer(tab, f);
else {
V oldVal = null ;
//如果以上條件都不滿足，那就要進行加鎖操作，也就是存在hash沖突，鎖住鏈表或者紅黑樹的頭結點
synchronized (f) {
if (tabAt(tab, i) == f) {
if (fh >= 0 ) { //表示該節(jié)點是鏈表結構
binCount = 1 ;
for (Node<K,V> e = f;; ++binCount) {
K ek;
//這里涉及到相同的key進行put就會覆蓋原先的value
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
oldVal = e.val;
if (!onlyIfAbsent)
e.val = value;
break ;
}
Node<K,V> pred = e;
if ((e = e.next) == null ) { //插入鏈表尾部
pred.next = new Node<K,V>(hash, key,
value, null );
break ;
}
}
}
else if (f instanceof TreeBin) { //紅黑樹結構
Node<K,V> p;
binCount = 2 ;
//紅黑樹結構旋轉插入
if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
value)) != null ) {
oldVal = p.val;
if (!onlyIfAbsent)
p.val = value;
}
}
}
}
if (binCount != 0 ) { //如果鏈表的長度大于8時就會進行紅黑樹的轉換
if (binCount >= TREEIFY_THRESHOLD)
treeifyBin(tab, i);
if (oldVal != null )
return oldVal;
break ;
}
}
}
addCount(1L, binCount); //統(tǒng)計size，并且檢查是否需要擴容
return null ;
}
這個put的過程很清晰，對當前的table進行無條件自循環(huán)直到put成功，可以分成以下六步流程來概述
- 如果沒有初始化就先調(diào)用initTable（）方法來進行初始化過程
- 如果沒有hash沖突就直接CAS插入
- 如果還在進行擴容操作就先進行擴容
- 如果存在hash沖突，就加鎖來保證線程安全，這里有兩種情況，一種是鏈表形式就直接遍歷到尾端插入，一種是紅黑樹就按照紅黑樹結構插入，
- 最后一個如果Hash沖突時會形成Node鏈表，在鏈表長度超過8，Node數(shù)組超過64時會將鏈表結構轉換為紅黑樹的結構，break再一次進入循環(huán)
- 如果添加成功就調(diào)用addCount（）方法統(tǒng)計size，并且檢查是否需要擴容
現(xiàn)在我們來對每一步的細節(jié)進行源碼分析，在第一步中，符合條件會進行初始化操作，我們來看看initTable（）方法
/**
* Initializes table, using the size recorded in sizeCtl.
*/
private final Node<K,V>[] initTable() {
Node<K,V>[] tab; int sc;
while ((tab = table) == null || tab.length == 0 ) { //空的table才能進入初始化操作
if ((sc = sizeCtl) < 0 ) //sizeCtl<0表示其他線程已經(jīng)在初始化了或者擴容了，掛起當前線程
Thread.yield(); // lost initialization race; just spin
else if (U.compareAndSwapInt( this , SIZECTL, sc, - 1 )) { //CAS操作SIZECTL為-1，表示初始化狀態(tài)
try {
if ((tab = table) == null || tab.length == 0 ) {
int n = (sc > 0 ) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings ( "unchecked" )
Node<K,V>[] nt = (Node<K,V>[]) new Node<?,?>[n]; //初始化
table = tab = nt;
sc = n - (n >>> 2 ); //記錄下次擴容的大小
}
} finally {
sizeCtl = sc;
}
break ;
}
}
return tab;
}
在第二步中沒有hash沖突就直接調(diào)用Unsafe的方法CAS插入該元素，進入第三步如果容器正在擴容，則會調(diào)用helpTransfer（）方法幫助擴容，現(xiàn)在我們跟進helpTransfer（）方法看看
/**
*幫助從舊的table的元素復制到新的table中
*/
final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
Node<K,V>[] nextTab; int sc;
if (tab != null && (f instanceof ForwardingNode) &&
(nextTab = ((ForwardingNode<K,V>)f).nextTable) != null ) { //新的table nextTba已經(jīng)存在前提下才能幫助擴容
int rs = resizeStamp(tab.length);
while (nextTab == nextTable && table == tab &&
(sc = sizeCtl) < 0 ) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || transferIndex <= 0 )
break ;
if (U.compareAndSwapInt( this , SIZECTL, sc, sc + 1 )) {
transfer(tab, nextTab); //調(diào)用擴容方法
break ;
}
}
return nextTab;
}
return table;
}
其實helpTransfer（）方法的目的就是調(diào)用多個工作線程一起幫助進行擴容，這樣的效率就會更高，而不是只有檢查到要擴容的那個線程進行擴容操作，其他線程就要等待擴容操作完成才能工作
既然這里涉及到擴容的操作，我們也一起來看看擴容方法transfer（）
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
int n = tab.length, stride;
// 每核處理的量小于16，則強制賦值16
if ((stride = (NCPU > 1 ) ? (n >>> 3 ) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE; // subdivide range
if (nextTab == null ) { // initiating
try {
@SuppressWarnings ( "unchecked" )
Node<K,V>[] nt = (Node<K,V>[]) new Node<?,?>[n << 1 ]; //構建一個nextTable對象，其容量為原來容量的兩倍
nextTab = nt;
} catch (Throwable ex) { // try to cope with OOME
sizeCtl = Integer.MAX_VALUE;
return ;
}
nextTable = nextTab;
transferIndex = n;
}
int nextn = nextTab.length;
// 連接點指針，用于標志位（fwd的hash值為-1，fwd.nextTable=nextTab）
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
// 當advance == true時，表明該節(jié)點已經(jīng)處理過了
boolean advance = true ;
boolean finishing = false ; // to ensure sweep before committing nextTab
for ( int i = 0 , bound = 0 ;;) {
Node<K,V> f; int fh;
// 控制 --i ,遍歷原h(huán)ash表中的節(jié)點
while (advance) {
int nextIndex, nextBound;
if (--i >= bound || finishing)
advance = false ;
else if ((nextIndex = transferIndex) <= 0 ) {
i = - 1 ;
advance = false ;
}
// 用CAS計算得到的transferIndex
else if (U.compareAndSwapInt
( this , TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0 ))) {
bound = nextBound;
i = nextIndex - 1 ;
advance = false ;
}
}
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
// 已經(jīng)完成所有節(jié)點復制了
if (finishing) {
nextTable = null ;
table = nextTab; // table 指向nextTable
sizeCtl = (n << 1 ) - (n >>> 1 ); // sizeCtl閾值為原來的1.5倍
return ; // 跳出死循環(huán)，
}
// CAS 更擴容閾值，在這里面sizectl值減一，說明新加入一個線程參與到擴容操作
if (U.compareAndSwapInt( this , SIZECTL, sc = sizeCtl, sc - 1 )) {
if ((sc - 2 ) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return ;
finishing = advance = true ;
i = n; // recheck before commit
}
}
// 遍歷的節(jié)點為null，則放入到ForwardingNode 指針節(jié)點
else if ((f = tabAt(tab, i)) == null )
advance = casTabAt(tab, i, null , fwd);
// f.hash == -1 表示遍歷到了ForwardingNode節(jié)點，意味著該節(jié)點已經(jīng)處理過了
// 這里是控制并發(fā)擴容的核心
else if ((fh = f.hash) == MOVED)
advance = true ; // already processed
else {
// 節(jié)點加鎖
synchronized (f) {
// 節(jié)點復制工作
if (tabAt(tab, i) == f) {
Node<K,V> ln, hn;
// fh >= 0 ,表示為鏈表節(jié)點
if (fh >= 0 ) {
// 構造兩個鏈表 一個是原鏈表 另一個是原鏈表的反序排列
int runBit = fh & n;
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null ; p = p.next) {
int b = p.hash & n;
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
if (runBit == 0 ) {
ln = lastRun;
hn = null ;
}
else {
hn = lastRun;
ln = null ;
}
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
if ((ph & n) == 0 )
ln = new Node<K,V>(ph, pk, pv, ln);
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
// 在nextTable i 位置處插上鏈表
setTabAt(nextTab, i, ln);
// 在nextTable i + n 位置處插上鏈表
setTabAt(nextTab, i + n, hn);
// 在table i 位置處插上ForwardingNode 表示該節(jié)點已經(jīng)處理過了
setTabAt(tab, i, fwd);
// advance = true 可以執(zhí)行--i動作，遍歷節(jié)點
advance = true ;
}
// 如果是TreeBin，則按照紅黑樹進行處理，處理邏輯與上面一致
else if (f instanceof TreeBin) {
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> lo = null , loTail = null ;
TreeNode<K,V> hi = null , hiTail = null ;
int lc = 0 , hc = 0 ;
for (Node<K,V> e = t.first; e != null ; e = e.next) {
int h = e.hash;
TreeNode<K,V> p = new TreeNode<K,V>
(h, e.key, e.val, null , null );
if ((h & n) == 0 ) {
if ((p.prev = loTail) == null )
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null )
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
// 擴容后樹節(jié)點個數(shù)若<=6，將樹轉鏈表
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0 ) ? new TreeBin<K,V>(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0 ) ? new TreeBin<K,V>(hi) : t;
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true ;
}
}
}
}
}
}
其實helpTransfer（）方法的目的就是調(diào)用多個工作線程一起幫助進行擴容，這樣的效率就會更高，而不是只有檢查到要擴容的那個線程進行擴容操作，其他線程就要等待擴容操作完成才能工作
既然這里涉及到擴容的操作，我們也一起來看看擴容方法transfer（）
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
int n = tab.length, stride;
// 每核處理的量小于16，則強制賦值16
if ((stride = (NCPU > 1 ) ? (n >>> 3 ) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE; // subdivide range
if (nextTab == null ) { // initiating
try {
@SuppressWarnings ( "unchecked" )
Node<K,V>[] nt = (Node<K,V>[]) new Node<?,?>[n << 1 ]; //構建一個nextTable對象，其容量為原來容量的兩倍
nextTab = nt;
} catch (Throwable ex) { // try to cope with OOME
sizeCtl = Integer.MAX_VALUE;
return ;
}
nextTable = nextTab;
transferIndex = n;
}
int nextn = nextTab.length;
// 連接點指針，用于標志位（fwd的hash值為-1，fwd.nextTable=nextTab）
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
// 當advance == true時，表明該節(jié)點已經(jīng)處理過了
boolean advance = true ;
boolean finishing = false ; // to ensure sweep before committing nextTab
for ( int i = 0 , bound = 0 ;;) {
Node<K,V> f; int fh;
// 控制 --i ,遍歷原h(huán)ash表中的節(jié)點
while (advance) {
int nextIndex, nextBound;
if (--i >= bound || finishing)
advance = false ;
else if ((nextIndex = transferIndex) <= 0 ) {
i = - 1 ;
advance = false ;
}
// 用CAS計算得到的transferIndex
else if (U.compareAndSwapInt
( this , TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0 ))) {
bound = nextBound;
i = nextIndex - 1 ;
advance = false ;
}
}
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
// 已經(jīng)完成所有節(jié)點復制了
if (finishing) {
nextTable = null ;
table = nextTab; // table 指向nextTable
sizeCtl = (n << 1 ) - (n >>> 1 ); // sizeCtl閾值為原來的1.5倍
return ; // 跳出死循環(huán)，
}
// CAS 更擴容閾值，在這里面sizectl值減一，說明新加入一個線程參與到擴容操作
if (U.compareAndSwapInt( this , SIZECTL, sc = sizeCtl, sc - 1 )) {
if ((sc - 2 ) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return ;
finishing = advance = true ;
i = n; // recheck before commit
}
}
// 遍歷的節(jié)點為null，則放入到ForwardingNode 指針節(jié)點
else if ((f = tabAt(tab, i)) == null )
advance = casTabAt(tab, i, null , fwd);
// f.hash == -1 表示遍歷到了ForwardingNode節(jié)點，意味著該節(jié)點已經(jīng)處理過了
// 這里是控制并發(fā)擴容的核心
else if ((fh = f.hash) == MOVED)
advance = true ; // already processed
else {
// 節(jié)點加鎖
synchronized (f) {
// 節(jié)點復制工作
if (tabAt(tab, i) == f) {
Node<K,V> ln, hn;
// fh >= 0 ,表示為鏈表節(jié)點
if (fh >= 0 ) {
// 構造兩個鏈表 一個是原鏈表 另一個是原鏈表的反序排列
int runBit = fh & n;
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null ; p = p.next) {
int b = p.hash & n;
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
if (runBit == 0 ) {
ln = lastRun;
hn = null ;
}
else {
hn = lastRun;
ln = null ;
}
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
if ((ph & n) == 0 )
ln = new Node<K,V>(ph, pk, pv, ln);
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
// 在nextTable i 位置處插上鏈表
setTabAt(nextTab, i, ln);
// 在nextTable i + n 位置處插上鏈表
setTabAt(nextTab, i + n, hn);
// 在table i 位置處插上ForwardingNode 表示該節(jié)點已經(jīng)處理過了
setTabAt(tab, i, fwd);
// advance = true 可以執(zhí)行--i動作，遍歷節(jié)點
advance = true ;
}
// 如果是TreeBin，則按照紅黑樹進行處理，處理邏輯與上面一致
else if (f instanceof TreeBin) {
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> lo = null , loTail = null ;
TreeNode<K,V> hi = null , hiTail = null ;
int lc = 0 , hc = 0 ;
for (Node<K,V> e = t.first; e != null ; e = e.next) {
int h = e.hash;
TreeNode<K,V> p = new TreeNode<K,V>
(h, e.key, e.val, null , null );
if ((h & n) == 0 ) {
if ((p.prev = loTail) == null )
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null )
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
// 擴容后樹節(jié)點個數(shù)若<=6，將樹轉鏈表
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0 ) ? new TreeBin<K,V>(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0 ) ? new TreeBin<K,V>(hi) : t;
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true ;
}
}
}
}
}
}
擴容過程有點復雜，這里主要涉及到多線程并發(fā)擴容,ForwardingNode的作用就是支持擴容操作，將已處理的節(jié)點和空節(jié)點置為ForwardingNode，并發(fā)處理時多個線程經(jīng)過ForwardingNode就表示已經(jīng)遍歷了，就往后遍歷，下圖是多線程合作擴容的過程：
image
介紹完擴容過程，我們再次回到put流程，在第四步中是向鏈表或者紅黑樹里加節(jié)點，到第五步，會調(diào)用treeifyBin（）方法進行鏈表轉紅黑樹的過程
private final void treeifyBin(Node<K,V>[] tab, int index) {
Node<K,V> b; int n, sc;
if (tab != null ) {
//如果整個table的數(shù)量小于64，就擴容至原來的一倍，不轉紅黑樹了
//因為這個閾值擴容可以減少hash沖突，不必要去轉紅黑樹
if ((n = tab.length) < MIN_TREEIFY_CAPACITY)
tryPresize(n << 1 );
else if ((b = tabAt(tab, index)) != null && b.hash >= 0 ) {
synchronized (b) {
if (tabAt(tab, index) == b) {
TreeNode<K,V> hd = null , tl = null ;
for (Node<K,V> e = b; e != null ; e = e.next) {
//封裝成TreeNode
TreeNode<K,V> p =
new TreeNode<K,V>(e.hash, e.key, e.val,
null , null );
if ((p.prev = tl) == null )
hd = p;
else
tl.next = p;
tl = p;
}
//通過TreeBin對象對TreeNode轉換成紅黑樹
setTabAt(tab, index, new TreeBin<K,V>(hd));
}
}
}
}
}
到第六步表示已經(jīng)數(shù)據(jù)加入成功了，現(xiàn)在調(diào)用addCount()方法計算ConcurrentHashMap的size，在原來的基礎上加一，現(xiàn)在來看看addCount()方法
private final void addCount( long x, int check) {
CounterCell[] as; long b, s;
//更新baseCount，table的數(shù)量，counterCells表示元素個數(shù)的變化
if ((as = counterCells) != null ||
!U.compareAndSwapLong( this , BASECOUNT, b = baseCount, s = b + x)) {
CounterCell a; long v; int m;
boolean uncontended = true ;
//如果多個線程都在執(zhí)行，則CAS失敗，執(zhí)行fullAddCount，全部加入count
if (as == null || (m = as.length - 1 ) < 0 ||
(a = as[ThreadLocalRandom.getProbe() & m]) == null ||
!(uncontended =
U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
fullAddCount(x, uncontended);
return ;
}
if (check <= 1 )
return ;
s = sumCount();
}
//check>=0表示需要進行擴容操作
if (check >= 0 ) {
Node<K,V>[] tab, nt; int n, sc;
while (s >= ( long )(sc = sizeCtl) && (tab = table) != null &&
(n = tab.length) < MAXIMUM_CAPACITY) {
int rs = resizeStamp(n);
if (sc < 0 ) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0 )
break ;
if (U.compareAndSwapInt( this , SIZECTL, sc, sc + 1 ))
transfer(tab, nt);
}
//當前線程發(fā)起庫哦哦讓操作，nextTable=null
else if (U.compareAndSwapInt( this , SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2 ))
transfer(tab, null );
s = sumCount();
}
}
}
put的流程現(xiàn)在已經(jīng)分析完了，你可以從中發(fā)現(xiàn)，他在并發(fā)處理中使用的是樂觀鎖，當有沖突的時候才進行并發(fā)處理，而且流程步驟很清晰，但是細節(jié)設計的很復雜，畢竟多線程的場景也復雜
get操作
我們現(xiàn)在要回到開始的例子中，我們對個人信息進行了新增之后，我們要獲取所新增的信息，使用String name = map.get(“name”)獲取新增的name信息，現(xiàn)在我們依舊用debug的方式來分析下ConcurrentHashMap的獲取方法get()
public V get(Object key) {
Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
int h = spread(key.hashCode()); //計算兩次hash
if ((tab = table) != null && (n = tab.length) > 0 &&
(e = tabAt(tab, (n - 1 ) & h)) != null ) { //讀取首節(jié)點的Node元素
if ((eh = e.hash) == h) { //如果該節(jié)點就是首節(jié)點就返回
if ((ek = e.key) == key || (ek != null && key.equals(ek)))
return e.val;
}
//hash值為負值表示正在擴容，這個時候查的是ForwardingNode的find方法來定位到nextTable來
//查找，查找到就返回
else if (eh < 0 )
return (p = e.find(h, key)) != null ? p.val : null ;
while ((e = e.next) != null ) { //既不是首節(jié)點也不是ForwardingNode，那就往下遍歷
if (e.hash == h &&
((ek = e.key) == key || (ek != null && key.equals(ek))))
return e.val;
}
}
return null ;
}
ConcurrentHashMap的get操作的流程很簡單，也很清晰，可以分為三個步驟來描述
- 計算hash值，定位到該table索引位置，如果是首節(jié)點符合就返回
- 如果遇到擴容的時候，會調(diào)用標志正在擴容節(jié)點ForwardingNode的find方法，查找該節(jié)點，匹配就返回
- 以上都不符合的話，就往下遍歷節(jié)點，匹配就返回，否則最后就返回null
size操作
最后我們來看下例子中最后獲取size的方式int size = map.size();，現(xiàn)在讓我們看下size()方法
public int size() {
long n = sumCount();
return ((n < 0L) ? 0 :
(n > ( long )Integer.MAX_VALUE) ? Integer.MAX_VALUE :
( int )n);
}
final long sumCount() {
CounterCell[] as = counterCells; CounterCell a; //變化的數(shù)量
long sum = baseCount;
if (as != null ) {
for ( int i = 0 ; i < as.length; ++i) {
if ((a = as[i]) != null )
sum += a.value;
}
}
return sum;
}
在JDK1.8版本中，對于size的計算，在擴容和addCount()方法就已經(jīng)有處理了，JDK1.7是在調(diào)用size()方法才去計算，其實在并發(fā)集合中去計算size是沒有多大的意義的，因為size是實時在變的，只能計算某一刻的大小，但是某一刻太快了，人的感知是一個時間段，所以并不是很精確
總結與思考
其實可以看出JDK1.8版本的ConcurrentHashMap的數(shù)據(jù)結構已經(jīng)接近HashMap，相對而言，ConcurrentHashMap只是增加了同步的操作來控制并發(fā)，從JDK1.7版本的ReentrantLock+Segment+HashEntry，到JDK1.8版本中synchronized+CAS+HashEntry+紅黑樹,相對而言，總結如下思考
- JDK1.8的實現(xiàn)降低鎖的粒度，JDK1.7版本鎖的粒度是基于Segment的，包含多個HashEntry，而JDK1.8鎖的粒度就是HashEntry（首節(jié)點）
- JDK1.8版本的數(shù)據(jù)結構變得更加簡單，使得操作也更加清晰流暢，因為已經(jīng)使用synchronized來進行同步，所以不需要分段鎖的概念，也就不需要Segment這種數(shù)據(jù)結構了，由于粒度的降低，實現(xiàn)的復雜度也增加了
- JDK1.8使用紅黑樹來優(yōu)化鏈表，基于長度很長的鏈表的遍歷是一個很漫長的過程，而紅黑樹的遍歷效率是很快的，代替一定閾值的鏈表，這樣形成一個最佳拍檔
- JDK1.8為什么使用內(nèi)置鎖synchronized來代替重入鎖ReentrantLock，我覺得有以下幾點
- 因為粒度降低了，在相對而言的低粒度加鎖方式，synchronized并不比ReentrantLock差，在粗粒度加鎖中ReentrantLock可能通過Condition來控制各個低粒度的邊界，更加的靈活，而在低粒度中，Condition的優(yōu)勢就沒有了
- JVM的開發(fā)團隊從來都沒有放棄synchronized，而且基于JVM的synchronized優(yōu)化空間更大，使用內(nèi)嵌的關鍵字比使用API更加自然
- 在大量的數(shù)據(jù)操作下，對于JVM的內(nèi)存壓力，基于API的ReentrantLock會開銷更多的內(nèi)存，雖然不是瓶頸，但是也是一個選擇依據(jù)
