菜鳥數據科學入門03 - NumPy 數組基礎和基本操作

回顧:

為什么用 NumPy?

NumPy 是一個用于科學計算的基礎 Python 庫(安裝說明)。它可以讓你在 Python 中使用向量和數學矩陣,以及許多用 C 語言實現的底層函數。

  • 簡潔優雅

    當下大部分數據的組織結構是向量、矩陣或多維數組,NumPy 最重要的一個特點是 N 維數組對象(ndarray)。

  • 效率高

    方便地計算一組數值,而不用寫復雜的循環。

  • 靈活兼容

    除了擅長科學計算,NumPy 還可以用作通用數據多維容器,可無縫對接各種各樣的數據庫。

  • 敲門磚

    在數據科學中,有效的存儲和操作數據是基礎能力。如果想通過 Python 學習數據科學或者機器學習,就必須學習 NumPy。

在 Notebook 中導入 NumPy:

import numpy as np

什么是數組

數組是將數據組織成若干個維度的數據塊。

Array : data about relationships

  • 一維數組是向量(Vectors),由一個整數索引有序元素序列。
  • 二維數組是矩陣(Matrics),用一對整數(行索引和列索引)索引元素。
  • N 維數組(Arrays)是一組由 n 個整數的元組進行索引的、具有相同數據類型的元素集合。

創建數組

NumPy 的核心是數組(arrays)。

array 創建數組

In[]: np.array([1, 4, 2, 5, 3])

Out[]: array([1, 4, 2, 5, 3])

在 NumPy 數組中,數據類型需要一致,否則,會嘗試「向上兼容」,比如生成一個包含浮點數的數組,輸出時每個元素都變成了浮點型:

In[]: np.array([3.14, 4, 2, 3])

Out[]: array([ 3.14,  4.  ,  2.  ,  3.  ])

NumPy 還可以用循環生成數組:

In[]: np.array([range(i, i + 3) for i in [2, 4, 6]])

Out[]: array([[2, 3, 4],
              [4, 5, 6],
              [6, 7, 8]])

full 生成一個 3 行 5 列的數組:

In[]: np.full((3, 5), 3.14)

Out[]: array([[ 3.14,  3.14,  3.14,  3.14,  3.14],
              [ 3.14,  3.14,  3.14,  3.14,  3.14],
              [ 3.14,  3.14,  3.14,  3.14,  3.14]])

arange 等距填充數組:

(arange 是 Python 內置函數 range 的數組版,返回的是一個 ndarray 而不是 list)

# Starting at 0, ending at 20, stepping by 2

In[]: np.arange(0, 20, 2)

Out[]: array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

linspace 線性填充數組:

# Create an array of five values evenly spaced between 0 and 1

In[]: np.linspace(0, 1, 5)

Out[]: array([ 0.  ,  0.25,  0.5 ,  0.75,  1.  ])

random 生成隨機數組:

# Create a 3x3 array of random integers in the interval [0, 10)

In[]: np.random.randint(0, 10, (3, 3))

Out[]: array([[2, 3, 4],
              [5, 7, 8],
              [0, 5, 0]])

btw 數組索引從 0 開始

數組切片

NumPy 中的切片語法:x[start:stop:step],如果沒有賦值,默認值 start=0, stop=size of dimension, step=1。

(上圖最后一個圖形,arr[1, :2] 應該是 (1,2) 一行二列矩陣??)

array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

In[]: x[::2]  # every other element

Out[]:array([0, 2, 4, 6, 8])
array([[12,  5,  2,  4],
       [ 7,  6,  8,  8],
       [ 1,  6,  7,  7]])
       
In[]: x2[:3, ::2]  # all rows, every other column

Out[]:array([[12,  2],
           [ 7,  8],
           [ 1,  7]])

復制數組切片

x2 = array([[99  5  2  4]
            [ 7  6  8  8]
            [ 1  6  7  7])
       
In[]: x2_sub_copy = x2[:2, :2].copy()
      print(x2_sub_copy)

Out[]:[[99  5]
       [ 7  6]]

數組轉置和軸對換

reshape:

In[]: arr = np.arange(15).reshape((3,5))
      arr
      
Out[]: array([[ 0,  1,  2,  3,  4],
              [ 5,  6,  7,  8,  9],
              [10, 11, 12, 13, 14]])

轉置(transpose)是重塑(reshape)的一種特殊形式,返回源數據的視圖而不進行復制。

In[]: arr.T

Out[]: array([[ 0,  5, 10],
               [ 1,  6, 11],
               [ 2,  7, 12],
               [ 3,  8, 13],
               [ 4,  9, 14]])

連接和拆分數組

concatenate連接數組:

In[]: grid = np.array([[1, 2, 3],
                       [4, 5, 6]])
      np.concatenate([grid, grid])

Out[]: array([[1, 2, 3],
              [4, 5, 6],
              [1, 2, 3],
              [4, 5, 6]])
# concatenate along the second axis (zero-indexed)

In[]: np.concatenate([grid, grid], axis=1)

Out[]: array([[1, 2, 3, 1, 2, 3],
               [4, 5, 6, 4, 5, 6]])

vstack合并到數據行, hstack 合并到數據列

In[]: x = np.array([1, 2, 3])
      grid = np.array([[9, 8, 7],
                       [6, 5, 4]])

    # vertically stack the arrays
      np.vstack([x, grid])

Out[]:array([[1, 2, 3],
            [9, 8, 7],
            [6, 5, 4]])

拆分數組的函數包括: np.split, np.hsplit, np.vsplit

In[]: x = np.arange(8.0)
      np.split(x, [3, 5, 6, 10])

Out[]:  [array([ 0.,  1.,  2.]),
         array([ 3.,  4.]),
         array([ 5.]),
         array([ 6.,  7.]),
         array([], dtype=float64)]

使用 mask 快速截取數據

傳遞給數組一個與它有關的條件式,然后它就會返回給定條件下為真的值。

In[]: norm10 = np.random.normal(10,3,5)
      mask = norm10 > 9
      mask

Out[]:array([False,  True, False,  True, False], dtype=bool)
In[]: print('Values above 9:', norm10[mask])

Out[]: ('Values above 9:', array([ 13.69383139,  13.49584954]))

在生成圖形時也非常好用:

import matplotlib.pyplot as plt

a = np.linspace(0, 2 * np.pi, 50)
b = np.sin(a)
plt.plot(a,b)
mask = b >= 0
plt.plot(a[mask], b[mask], 'bo')
mask = (b >= 0) & (a <= np.pi / 2)
plt.plot(a[mask], b[mask], 'go')
plt.show()

在程序中用條件式選擇了圖中不同的點。藍色的點(也包含圖中的綠點,只是綠點覆蓋了藍點),顯示的是值大于零的點。綠點顯示的是值大于 0 小于 Pi / 2 的點。

廣播 Broadcasting

當不同 shape 的數組進行運算(按位加/按位減的運算,而不是矩陣乘法的運算)時,(某個維度上)小的數組就會沿著(同一維度上)大的數組自動填充。廣播雖然是一個不錯的偷懶辦法,但是效率不高、降低運算速度通常也為人詬病。

The term broadcasting describes how numpy treats arrays with different shapes during arithmetic operations. Subject to certain constraints, the smaller array is “broadcast” across the larger array so that they have compatible shapes.
via Broadcasting — NumPy v1.13 Manual

廣播的原理(via Broadcast Visualization):

參考資料

Art & Code 的熱門文章

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,002評論 6 542
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,400評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,136評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,714評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,452評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,818評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,812評論 3 446
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,997評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,552評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,292評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,510評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,035評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,721評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,121評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,429評論 1 294
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,235評論 3 398
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,480評論 2 379

推薦閱讀更多精彩內容