本次筆記內(nèi)容：

• 合并/刪除/計(jì)數(shù)重復(fù)行：groupby的用法
• 去掉一個(gè)dataframe中，行和為0的行
• data frame中out merge, inner merge等
• 對(duì)data frame中元素進(jìn)行批量操作（加和，去除重復(fù)值）
• long data與wide data定義及其互相轉(zhuǎn)換：pandas.melt及pivot_table的用法

在R里將原始文件（如.csv）以data.frame導(dǎo)入時(shí)，如果有重復(fù)行名，R會(huì)直接報(bào)錯(cuò)。雖然在python的pandas里不會(huì)，但在檢查數(shù)據(jù)時(shí)需要注意重復(fù)行/列名稱的問(wèn)題。重復(fù)行/列名稱可能為重復(fù)記錄，刪掉即可；可能為同一類別的兩種來(lái)源，需要合并。也有可能是其它需要特殊處理的情況。

以下為一個(gè)查找重復(fù)行并計(jì)數(shù)有多少個(gè)重復(fù)行的例子:

• 需要鑒別df.duplicated() 和 df.index.duplicated()
• 要先檢查清楚：行/列名重復(fù)，其行/列值也雷同嗎？

from collection import Counter   # Counter可以當(dāng)作分類計(jì)數(shù)的工具
list = list(df.index.duplicated('first')) 
# 除了第一個(gè)出現(xiàn)的重復(fù)值，其余的都標(biāo)記為T(mén)rue; "last"同理， False則為將所有重復(fù)值標(biāo)記為T(mén)rue
print Counter(list)
# 可以得到每個(gè)unique值的重復(fù)個(gè)數(shù)分別為多少，如：
# Counter({A: 5, B: 8, C: 90})
# 如果是重復(fù)列...其實(shí)可以.T轉(zhuǎn)置然后再折騰=_=
df.duplicated()
# 識(shí)別的是兩行內(nèi)容是否完全一致，不僅是rownames. print出來(lái)的結(jié)果是每個(gè)rowname, 對(duì)應(yīng)T or F

發(fā)現(xiàn)了重復(fù)行/列怎么辦？

合并重復(fù)行：用groupby(level=0).sum()將重復(fù)行合并為一行

df_test = df.groupby(level=0).sum()
# level=0將df中行的unique值總結(jié)起來(lái)，以sum()的方式：
# 于是df_test為將df中重復(fù)的行合并為一行，其每一列的值為重復(fù)行的相加求和
# 但是要注意只能針對(duì)df中的數(shù)值型變量。df_test中只包含數(shù)值型變量。
# 注意這里level=1不代表列，是在multi-index時(shí)使用
#合并重復(fù)列的話...轉(zhuǎn)置.T

刪除重復(fù)行/列：

df = df.drop_duplicates()
# 去除重復(fù)行。兩行完全雷同，則只保留一個(gè)。
df = df.loc[:, ~df.columns.duplicated()] 
# 可以去除重復(fù)列，只要colnames重復(fù)了，就只保留第一個(gè)，后面的都刪掉了。這意味著即使兩列不完全雷同，只保留第一列。
# 也可以轉(zhuǎn)置.T再刪

實(shí)用的groupby: 更多參見(jiàn)這個(gè)鏈接

test.groupby(['colname']).sum()
test.groupby(['colname']).mean()
# 用于歸納總結(jié)一些分類型變量的規(guī)律，在某一分類下其他變量的簡(jiǎn)單統(tǒng)計(jì)
# 例子如下圖所示

去掉一個(gè)dataframe中，行和為0的行

df = df[(df.sum(axis = 1) != 0)]

Pandas.melt()的用法

首先需要明確long data和wide data的概念：對(duì)于一些數(shù)據(jù)，存在單個(gè)樣本在同一個(gè)特征中有重復(fù)測(cè)量的情況。比如了解一個(gè)人每年的薪水怎樣，那么對(duì)薪水（income）這個(gè)變量，在每年都有一個(gè)測(cè)量值。
如下所示：
long data中會(huì)出現(xiàn)重復(fù)的行名，因?yàn)閷⒚總€(gè)測(cè)量值都單獨(dú)作為一條記錄，所以每個(gè)樣本會(huì)出現(xiàn)多行記錄。
wide data中不會(huì)出現(xiàn)重復(fù)的行名，每個(gè)樣本的重復(fù)測(cè)量值（repeated responses）按照單獨(dú)的列分列出來(lái)。

在R中可以使用reshape包實(shí)現(xiàn)wide data和long data的互相轉(zhuǎn)換，在Python中可以用pandas.melt()將wide data轉(zhuǎn)換為long data:
pd. melt(df, id_vars = ['A'], value_vars = ['B', 'C'])
# id_vars參數(shù)定義sample_ID, 即有重復(fù)測(cè)量的subjects列，在轉(zhuǎn)化為L(zhǎng)ong data的時(shí)候這一列會(huì)出現(xiàn)多行重復(fù)值
# value_vars參數(shù)定義一個(gè)variable, 這個(gè)variable包括了value_vars定義的所有column names, 即將每個(gè)subject對(duì)應(yīng)的value_var值拿出來(lái)作為一條記錄出現(xiàn)在Long data中。