緣起：今天想嘗試在vs code中使用python，出現(xiàn)了幾行warning，大意是conda無法激活。 總結(jié)經(jīng)驗： Anaconda可以看作是一個虛擬機，我們的python...
發(fā)簡信
IP屬地：新疆
-
vs code更改默認(rèn)終端 conda activate激活
-
模型 FLOPs, MACs, MAdds 關(guān)系 以及 常用計算工具的主要差異
論文中比較模型的性能時，需要提供模型的大小。 衡量模型大小的指標(biāo)有：parameters和 [FLOPs, MACs, MAdds] 中三者之一。 1. FLOPs, MAC...
-
-
[解決]GPU顯存未釋放問題我們在使用tensorflow+pycharm 或者PyTorch寫程序的時候,有時候會在控制臺終止掉正在運行的程序，但是有時候程序已經(jīng)結(jié)束了，nvidia-smi也看到?jīng)]有...
-
LGTM : code review 行話
程序員這個行業(yè)，不管你是大佬還是小弟，代碼code review是必不可少的。那么在git上，大家日常交流的縮寫語，往往一下就能看出你道行的深淺，至少是入行時間，哈哈，不要露...
-
-
2021 BDCI 華為零售商品識別競賽一等獎方案分享
【GiantPandaCV導(dǎo)語】上學(xué)期快結(jié)束的時候參加了華為和CCF組織的零售商品識別的比賽，隊伍名稱為GiantPandaCV隊，比賽大約持續(xù)了兩個月，期間從開始摸索Min...
-
當(dāng)可變形注意力機制引入Vision Transformer
【GiantPandaCV導(dǎo)語】通過在Transformer基礎(chǔ)上引入Deformable CNN中的可變性能力，在降低模型參數(shù)量的同時提升獲取大感受野的能力，文內(nèi)附代碼解讀...
-
CoAtNet: 90.88% Paperwithcode榜單第一，層層深入考慮模型設(shè)計
【GiantPandaCV導(dǎo)語】CoAt=Convolution + Attention，paperwithcode榜單第一名，通過結(jié)合卷積與Transformer實現(xiàn)性能上...
-
CeiT：訓(xùn)練更快的多層特征抽取ViT
【GiantPandaCV導(dǎo)語】來自商湯和南洋理工的工作，也是使用卷積來增強模型提出low-level特征的能力，增強模型獲取局部性的能力，核心貢獻是LCA模塊，可以用于捕獲...
-
優(yōu)化器方法-LARS(Layer-wise Adaptive Rate Scaling)最近看到一篇博客，將最新的LookAhead和RAdam優(yōu)化器結(jié)合，產(chǎn)生了一個新的算法——Ranger，獲得了比單獨使用RAdam要好的效果。后來有人將LARS與Ranger...
-
GPU卡的底層通信原理1.引言 為什么要并行 近幾年，依賴大規(guī)模標(biāo)注數(shù)據(jù)和大量的可學(xué)習(xí)參數(shù)，深度神經(jīng)網(wǎng)絡(luò)才能異軍突起，占得機器學(xué)習(xí)半壁江山。然而，也是因為這兩點使得深度學(xué)習(xí)的訓(xùn)練變得極其困難，尤其...
-
113. 【torch】反向傳播棄inplace操作
報錯：RuntimeError: one of the variables needed for gradient computation has been modified...
-
BoTNet:Bottleneck Transformers for Visual Recognition
【GiantPandaCV導(dǎo)語】基于Transformer的骨干網(wǎng)絡(luò)，同時使用卷積與自注意力機制來保持全局性和局部性。模型在ResNet最后三個BottleNeck中使用了M...
-
CvT: 如何將卷積的優(yōu)勢融入Transformer
【GiantPandaCV導(dǎo)語】與之前BoTNet不同，CvT雖然題目中有卷積的字樣，但是實際總體來說依然是以Transformer Block為主的，在Token的處理方面...
-
CNN、Transformer、MLP架構(gòu)的經(jīng)驗性分析
A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP 【GiantP...
-
