python數(shù)據(jù)處理

一、Numpy庫(kù)入門(mén)

  • ndarray對(duì)象的屬性

    • .ndim 秩,即軸的數(shù)量或維度的數(shù)量
    • .shape ndarray對(duì)象的尺度,對(duì)于矩陣,n行m列
    • .size ndarray對(duì)象元素的個(gè)數(shù),相當(dāng)于.shape中n*m的值
    • .dtype ndarray對(duì)象的元素類(lèi)型
    • .itemsize ndarray對(duì)象中每個(gè)元素的大小,以字節(jié)為單位
  • ndarray數(shù)組的創(chuàng)建方法

    • 從Python中的列表、元組等類(lèi)型創(chuàng)建ndarray數(shù)組
      x= np.array(list/tuple)
      x= np.array(list/tuple, dtype=np.float32)
      當(dāng)np.array()不指定dtype時(shí),NumPy將根據(jù)數(shù)據(jù)情況關(guān)聯(lián)一個(gè)dtype類(lèi)型
    • 使用NumPy中函數(shù)創(chuàng)建ndarray數(shù)組,如:arange, ones, zeros等
      np.arange(n) 類(lèi)似range()函數(shù),返回ndarray類(lèi)型,元素從0到n‐1
      np.ones(shape) 根據(jù)shape生成一個(gè)全1數(shù)組,shape是元組類(lèi)型
      np.zeros(shape) 根據(jù)shape生成一個(gè)全0數(shù)組,shape是元組類(lèi)型
      np.full(shape,val) 根據(jù)shape生成一個(gè)數(shù)組,每個(gè)元素值都是val
      np.eye(n) 創(chuàng)建一個(gè)正方的n*n單位矩陣,對(duì)角線(xiàn)為1,其余為0
      np.ones_like(a) 根據(jù)數(shù)組a的形狀生成一個(gè)全1數(shù)組
      np.zeros_like(a) 根據(jù)數(shù)組a的形狀生成一個(gè)全0數(shù)組
      np.full_like(a,val) 根據(jù)數(shù)組a的形狀生成一個(gè)數(shù)組,每個(gè)元素值都是val
  • 使用NumPy中其他函數(shù)創(chuàng)建ndarray數(shù)組
    np.linspace() 根據(jù)起止數(shù)據(jù)等間距地填充數(shù)據(jù),形成數(shù)組
    np.concatenate() 將兩個(gè)或多個(gè)數(shù)組合并成一個(gè)新的數(shù)組

  • ndarray數(shù)組的變換

  • ndarray數(shù)組的維度變換
    .reshape(shape) 不改變數(shù)組元素,返回一個(gè)shape形狀的數(shù)組,原數(shù)組不變
    .resize(shape)與.reshape()功能一致,但修改原數(shù)組
    .swapaxes(ax1,ax2) 將數(shù)組n個(gè)維度中兩個(gè)維度進(jìn)行調(diào)換
    .flatten() 對(duì)數(shù)組進(jìn)行降維,返回折疊后的一維數(shù)組,原數(shù)組不變

  • ndarray數(shù)組的類(lèi)型變換
    new_a = a.astype(new_type)

  • ndarray數(shù)組向列表的轉(zhuǎn)換
    ls = a.tolist()

  • ndarray數(shù)組的操作

 索引:獲取數(shù)組中特定位置元素的過(guò)程
 切片:獲取數(shù)組元素子集的過(guò)程
  • 一維數(shù)組的索引和切片:與Python的列表類(lèi)似
a[2]
a[1:  4:  2]
起始編號(hào): 終止編號(hào)(不含): 步長(zhǎng),3元素冒號(hào)分割
編號(hào)0開(kāi)始從左遞增,或‐1開(kāi)始從右遞減
  • 多維數(shù)組的索引:
    每個(gè)維度一個(gè)索引值,逗號(hào)分割
  • 多維數(shù)組的切片:
選取一個(gè)維度用:
a[: , 1 , -3]
每個(gè)維度切片方法與一維數(shù)組相同
a[: , 1 : 3 , :]
每個(gè)維度可以使用步長(zhǎng)跳躍切片
a[: , : , : : 2]
  • ndarray數(shù)組的運(yùn)算
    • NumPy一元函數(shù)
      np.abs(x) np.fabs(x) 計(jì)算數(shù)組各元素的絕對(duì)值
      np.sqrt(x) 計(jì)算數(shù)組各元素的平方根
      np.square(x) 計(jì)算數(shù)組各元素的平方
      np.log(x) np.log10(x)np.log2(x) 計(jì)算數(shù)組各元素的自然對(duì)數(shù)、10底對(duì)數(shù)和2底對(duì)數(shù)
      np.ceil(x) np.floor(x) 計(jì)算數(shù)組各元素的ceiling值 或 floor值
      np.rint(x) 計(jì)算數(shù)組各元素的四舍五入值
      np.modf(x) 將數(shù)組各元素的小數(shù)和整數(shù)部分以?xún)蓚€(gè)獨(dú)立數(shù)組形式返回
      np.cos(x) np.cosh(x) np.sin(x) np.sinh(x) np.tan(x) np.tanh(x)計(jì)算數(shù)組各元素的普通型和雙曲型三角函數(shù)
      np.exp(x) 計(jì)算數(shù)組各元素的指數(shù)值
      np.sign(x) 計(jì)算數(shù)組各元素的符號(hào)值,1(+), 0, ‐1(‐)
  • NumPy二元函數(shù)
    + ‐ * / **兩個(gè)數(shù)組各元素進(jìn)行對(duì)應(yīng)運(yùn)算
    np.maximum(x,y) np.fmax() np.minimum(x,y) np.fmin()元素級(jí)的最大/小值計(jì)算
    np.mod(x,y) 元素級(jí)的模運(yùn)算
    np.copysign(x,y) 將數(shù)組y中各元素值的符號(hào)賦值給數(shù)組x對(duì)應(yīng)元素
    > < >= <= == !=算術(shù)比較,產(chǎn)生布爾型數(shù)組

二、Numpy數(shù)據(jù)文件與存儲(chǔ)

  • 一維、二維數(shù)據(jù)
    CSV (Comma‐Separated Value, 逗號(hào)分隔值),是一種常見(jiàn)的文件格式,用來(lái)存儲(chǔ)批量數(shù)據(jù)
    • 從數(shù)組寫(xiě)入數(shù)據(jù)
      np.savetxt(frame, array, fmt='%.18e', delimiter=None)
      frame 文件、字符串或產(chǎn)生器,可以是.gz或.bz2的壓縮文件
      array 存入文件的數(shù)組
      fmt 寫(xiě)入文件的格式,例如:%d %.2f %.18e
      delimiter 分割字符串,默認(rèn)是任何空格,csv文件是逗號(hào)分隔
      np.savetxt('a.txt', a, fmt='%d', delimiter=',')
  • 讀入文件到數(shù)組
    np.loadtxt(frame, dtype=np.float, delimiter=None, unpack=False)
    frame 文件、字符串或產(chǎn)生器,可以是.gz或.bz2的壓縮文件
    dtype 數(shù)據(jù)類(lèi)型,可選 (CSV中存儲(chǔ)的是字符串類(lèi)型)
    delimiter 分割字符串,默認(rèn)是任何空格
    unpack 如果True,讀入屬性將分別寫(xiě)入不同變量
  • CSV的局限性
    CSV只能有效存儲(chǔ)一維和二維數(shù)組,np.savetxt() np.loadtxt()只能有效存取一維和二維數(shù)組
  • 任意維度數(shù)據(jù)
  • a.tofile(frame, sep='', format='%s')
    frame 文件、字符串
    sep 數(shù)據(jù)分割字符串,如果是空串,寫(xiě)入文件為二進(jìn)制
    format 寫(xiě)入數(shù)據(jù)的格式
    a.tofile('b.dat', sep=',' , formt='%s')
  • np.fromfile(frame, dtype=float, count=‐1, sep='')
    frame 文件、字符串
    dtype 讀取的數(shù)據(jù)類(lèi)型
    count 讀入元素個(gè)數(shù),‐1表示讀入整個(gè)文件
    sep 數(shù)據(jù)分割字符串,如果是空串,寫(xiě)入文件為二進(jìn)制
    np.fromfile(frame, dtype=float, count=‐1, sep='')

該方法需要讀取時(shí)知道存入文件時(shí)數(shù)組的維度和元素類(lèi)型,a.tofile()np.fromfile()需要配合使用,可以通過(guò)元數(shù)據(jù)文件來(lái)存儲(chǔ)額外信息

  • Numpy的便捷文件存取

  • np.save(fname, array)np.savez(fname, array)
    fname 文件名,以.npy為擴(kuò)展名,壓縮擴(kuò)展名為.npz
    array 數(shù)組變量

  • np.load(fname)
    fname 文件名,以.npy為擴(kuò)展名,壓縮擴(kuò)展名為.npz

  • Numpy的隨機(jī)數(shù)函數(shù)子庫(kù)
    rand(shape) 根據(jù)d0‐dn創(chuàng)建隨機(jī)數(shù)數(shù)組,浮點(diǎn)數(shù),[0,1),均勻分布
    randn(shape) 根據(jù)d0‐dn創(chuàng)建隨機(jī)數(shù)數(shù)組,標(biāo)準(zhǔn)正態(tài)分布
    randint(low,high,shape]) 根據(jù)shape創(chuàng)建隨機(jī)整數(shù)或整數(shù)數(shù)組
    seed(s) 隨機(jī)數(shù)種子,s是給定的種子值
    shuffle(a) 根據(jù)數(shù)組a的第1軸進(jìn)行隨排列,改變數(shù)組x
    permutation(a) 根據(jù)數(shù)組a的第1軸產(chǎn)生一個(gè)新的亂序數(shù)組,不改變數(shù)組x
    choice(a[,size,replace,p]) 從一維數(shù)組a中以概率p抽取元素,形成size形狀新數(shù)組, replace表示是否可以重用元素,默認(rèn)為False
    uniform(low,high,size) 產(chǎn)生具有均勻分布的數(shù)組,low起始值,high結(jié)束值
    normal(loc,scale,size) 產(chǎn)生具有正態(tài)分布的數(shù)組,loc均值,scale標(biāo)準(zhǔn)差
    poisson(lam,size) 產(chǎn)生具有泊松分布的數(shù)組,lam隨機(jī)事件發(fā)生率

  • Numpy的統(tǒng)計(jì)函數(shù)
    sum(a, axis=None) 根據(jù)給定軸axis計(jì)算數(shù)組a相關(guān)元素之和,axis整數(shù)或元組
    mean(a, axis=None) 根據(jù)給定軸axis計(jì)算數(shù)組a相關(guān)元素的期望,axis整數(shù)或元組
    average(a,axis=None,weights=None) 根據(jù)給定軸axis計(jì)算數(shù)組a相關(guān)元素的加權(quán)平均值
    std(a, axis=None) 根據(jù)給定軸axis計(jì)算數(shù)組a相關(guān)元素的標(biāo)準(zhǔn)差
    var(a, axis=None) 根據(jù)給定軸axis計(jì)算數(shù)組a相關(guān)元素的方差
    min(a) max(a) 計(jì)算數(shù)組a中元素的最小值、最大值
    argmin(a) argmax(a) 計(jì)算數(shù)組a中元素最小值、最大值的降一維后下標(biāo)
    unravel_index(index, shape) 根據(jù)shape將一維下標(biāo)index轉(zhuǎn)換成多維下標(biāo)
    ptp(a) 計(jì)算數(shù)組a中元素最大值與最小值的差
    median(a) 計(jì)算數(shù)組a中元素的中位數(shù)(中值)

  • Numpy的梯度函數(shù)
    np.gradient(f) 計(jì)算數(shù)組f中元素的梯度,當(dāng)f為多維時(shí),返回每個(gè)維度梯度

梯度:連續(xù)值之間的變化率,即斜率
XY坐標(biāo)軸連續(xù)三個(gè)X坐標(biāo)對(duì)應(yīng)的Y軸值:a, b, c,其中,b的梯度是: (c‐a)/2
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,763評(píng)論 6 539
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,238評(píng)論 3 428
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人,你說(shuō)我怎么就攤上這事。” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 177,823評(píng)論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 63,604評(píng)論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 72,339評(píng)論 6 410
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 55,713評(píng)論 1 328
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,712評(píng)論 3 445
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 42,893評(píng)論 0 289
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,448評(píng)論 1 335
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 41,201評(píng)論 3 357
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 43,397評(píng)論 1 372
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,944評(píng)論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,631評(píng)論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 35,033評(píng)論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 36,321評(píng)論 1 293
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 52,128評(píng)論 3 398
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 48,347評(píng)論 2 377

推薦閱讀更多精彩內(nèi)容