發(fā)簡(jiǎn)信
IP屬地：山東
-
Tensor張量的操作
torch.linspace(1, 16, 16).view(4, 4)mask = torch.gt(a, 8)a = torch.tenso...
-
__init__.py基本原理 __init__.py文件的主要作用有： 標(biāo)識(shí)包：告訴Python解釋器這個(gè)目錄應(yīng)該被視為一個(gè)Python包。 初始化代碼：可以在這個(gè)...
-
markdown常用速查
一、如何顯示# * ＞等符號(hào)？1、加" \ "轉(zhuǎn)義:比如要寫__name__就需要寫成"\_\_name__"2、可以使用反引號(hào)" ` "包裹需...
-
__name__=='__main__'
每個(gè)py腳本都有自己的名字，姑且起一個(gè)叫“code_ex1.py”, python會(huì)給每個(gè)腳本自動(dòng)賦予一個(gè)全局變量，包括__name__，如果在...
-
模型壓縮和加速——參數(shù)共享（Parameter Sharing）及其pytorch實(shí)現(xiàn)
一、參數(shù)共享含義 參數(shù)共享（Parameter Sharing）是模型壓縮與加速中的一種重要技術(shù)。通過參數(shù)共享，多個(gè)神經(jīng)元或?qū)涌梢怨蚕硐嗤臋?quán)重...
-
模型壓縮和加速——參數(shù)量化（Parameter Quantization）及其pytorch實(shí)現(xiàn)
參數(shù)量化（Parameter Quantization）是一種有效的模型壓縮技術(shù)，通過減少模型參數(shù)的位寬（例如從32位浮點(diǎn)數(shù)減少到8位整數(shù)）來減...
-
模型壓縮和加速——低秩分解（Low-rank Decomposition）及其pytorch實(shí)現(xiàn)
一、低秩分解的含義 低秩分解本質(zhì)是一種矩陣分解技術(shù)，旨在將一個(gè)矩陣分解為兩個(gè)或多個(gè)矩陣的乘積，從而將高維數(shù)據(jù)壓縮為低維表示，以減少參數(shù)量。在大模...
-
模型壓縮和加速——知識(shí)蒸餾（Knowledge Distillation）及pytorch實(shí)現(xiàn)一、知識(shí)蒸餾的含義 知識(shí)蒸餾（Knowledge Distillation）是一種用于模型壓縮和遷移學(xué)習(xí)的技術(shù)，通過將一個(gè)復(fù)雜模型（稱為教師模型...
-
模型壓縮和加速——網(wǎng)絡(luò)剪枝（Network Pruning）及其pytorch實(shí)現(xiàn)
一、網(wǎng)絡(luò)剪枝的步驟 神經(jīng)網(wǎng)絡(luò)中的一些權(quán)重和神經(jīng)元是可以被剪枝的，這是因?yàn)檫@些權(quán)重可能為零或者神經(jīng)元的輸出大多數(shù)時(shí)候?yàn)榱悖砻鬟@些權(quán)重或神經(jīng)元是冗...