1. Abstract
單機(jī)多核并行，near-linear speedup
2. Intro
- L1 regularization適合sparse高維大數(shù)據(jù)
- CD: 本文稱為Shooting，每輪迭代只更新一個(gè)坐標(biāo)
- 并行SGD：?jiǎn)螜C(jī)多核 and 分布式，切分samples，但是L1應(yīng)用一般feature比sample數(shù)量多，因此切分?jǐn)?shù)據(jù)不合適
- 因此選用一種相反的方式，切分features，并行化L1-regularized CD
- Shotgun：多核算法，讓P個(gè)維度并行地更新
- 證明了Shotgun的convergence bound，near-linear in P，同時(shí)提供了P的最佳的估計(jì)
3. Parallel CD
- 從所有weights中平均地選擇P個(gè)weights，然后用同樣的更新規(guī)則更新它們
- 并行地更新可能增加divergence的風(fēng)險(xiǎn)。如果features不相關(guān)，那么并行更新會(huì)加快收斂；如果features相關(guān)，那么并行更新就可能會(huì)增加objective value
4. Experiment
- Shotgun的實(shí)現(xiàn)：pathwise 優(yōu)化方法；atomic compare-and-swap opearation
- 對(duì)LR，比較Shotgun和SGD variants
- Shotgun CDN(Coordinate Descent Newton)的實(shí)現(xiàn)：使用backtrack line-search策略尋找step size
- SGD適合大數(shù)據(jù)(large n)，Shotgun適合大維度(large d)
