從開放數據中，你可以了解一個城市或社區是否安全，并合理避險。
本文借鑒 知乎@王樹義 的分析思路，使用 Python 和數據分析包 Pandas 對該數據集進行分析和可視化。
原網址為：https://zhuanlan.zhihu.com/p/58314015?utm_source=qq&utm_medium=social
首先，訪問 Denton 開放數據主頁，地址是 http://data.cityofdenton.com/ 。搜索 crime 獲取數據。
讀入 Pandas 庫，并使用 Pandas 方法讀入 CSV 文件。文件保存在 df 中，并確認文件已經成功讀入。
import pandas as pd
df = pd.read_csv('crime_data_20190322.csv')
df.head()
下面來著重分析一下，都有哪些犯罪類型，每種類型下，又有多少記錄。
這里我們使用的是 Pandas 中的 value_counts 函數。它可以幫助我們自動統計某一列中不同類別出現的次數，而且還自動進行排序。為了顯示的方便，我們只要求展示前 10 項內容。
value_counts() 是一種查看表格某列中有多少個不同值的快捷方法，并計算每個不同值有在該列中有多少重復值。
value_counts() 是 Series 擁有的方法，一般在 DataFrame 中使用時，需要指定對哪一列或行使用。
iloc 方法是基于索引位來選取數據集， 例如 0:4就是選取 0，1，2，3 這四行，需要注意的是這里是前閉后開集合。
df.crime.value_counts().iloc[:10]
可以看到位于前幾位的犯罪類型分別為：輕微人身攻擊，所有其他盜竊案，財產的破壞，醉酒，商店行竊，汽車失竊，使用毒品，詐騙，入室盜竊。
為了更直觀查看數據統計結果，我們調用 Pandas 內置的繪圖函數 plot ，并且指定繪圖類型為“橫向條狀圖”（barh）。
import matplotlib as plt
df.crime.value_counts().iloc[:10].sort_values().plot(kind='barh')
結果為：
下面，我們著重了解某一種犯罪的情況。因為犯罪類型五花八門，所以我們從中選擇一種嚴重的暴力犯罪——搶劫（Robbery）。
這里，為了后續分析的便利。我們首先把搶劫類型的犯罪單獨提煉出來，存儲在 robbery 這樣一個新的數據框里。同樣只展示前幾種。
pandas.Series.str.contains() 方法可以通過查詢每行是否包含指定字符串進行模糊查詢。
robbery = df[df.crime.str.contains('ROBBERY')]; robbery.head()
我們查看一下“犯罪位置”（locname）類型，以及每種類型對應的記錄條目數。
這次，我們使用 groupby 函數，先把犯罪位置進行分類，然后用 size() 函數來查看條目統計。
這里，我們指定排序為從大到小。
groupby('locname').size() 函數可以按照‘locname’這一列進行分組并統計數量。
robbery.shape
robbery.groupby('locname').size().sort_values(ascending=False)
當然以上代碼可以使用value_counts 方法解決。
robbery.locname.value_counts()
結果相同。
根據結果顯示，入室搶劫次數最多，在學校、公交車上發生的次數最少。
下面還是用 plot 函數，把結果可視化呈現。
robbery.groupby('locname').size().sort_values(ascending=False).head(10).sort_values().plot(kind='barh')
下一步，我們嘗試把分析的粒度做得更加細致——研究一下，哪些街區比較危險。
地址信息都表示為類似“19XX BRINKER RD”這樣的方式。把具體地址的后兩位隱藏，是為了保護受害者的隱私。
我們如果要統計某一條街道的犯罪數量，就需要把前面的數字忽略，并且按照街道名稱加總。
這個處理起來，并不困難，只要用正則表達式即可。
正則表達式是對字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個“規則字符串”，這個“規則字符串”用來表達對字符串的一種過濾邏輯.
regex = r"\d+XX\s(?P<street>.*)"
subst = "\\g<street>"
這里，我們用括號把需要保留的內容，賦值為 street 分組。然后替換的時候，只保留這個分組的信息。于是前面的具體地址數字就忽略了。
調用 Pandas 的 str.replace 函數，我們可以讓它自動將每一個地址都進行解析替換，并且把結果存入到了一個新的列名稱，即 street 。
robbery["street"] = robbery.publicadress.str.replace(regex, subst)
可以看到在 DataFrame 的最后一列是簡化的街道。
依然按照前面的方法，我們分組統計每一條街道上的犯罪數量，并且進行排序。
robbery.groupby('street').size().sort_values(ascending=False).head(10)
看來，大學西道（W University DR）搶劫頻發，沒事兒最好少去瞎轉悠。
注意，我們其實是在分析10年的犯罪信息匯總。如果更進一步，想要利用時間數據，進行切分，我們就得把日期信息做一下轉換處理。
我們從 dateutil 里面的 parser 模塊，載入全部內容。
from dateutil.parser import *
下面，我們抽取年度信息。因為目前的日期時間列（incidentdatetime）是個字符串，因此我們可以直接用 parse 函數解析它，并且抽取其中的年份（year）項。
robbery["year"] = robbery.incidentdatetime.apply(lambda x: parse(x).year)
apply 函數是pandas里面所有函數中自由度最高的函數。該函數如下：
DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None, args=(), **kwds)
該函數最有用的是第一個參數，這個參數是函數，相當于 C/C++ 的函數指針。
這個函數需要自己實現，函數的傳入參數根據 axis 來定，比如 axis = 1，就會把一行數據作為 Series 的數據結構傳入給自己實現的函數中，我們在函數中實現對 Series 不同屬性之間的計算，返回一個結果，則 apply 函數會自動遍歷每一個DataFrame 的數據，最后將所有結果組合成一個 Series 數據結構并返回。
字符串轉日期
DateUtil.parse方法會自動識別一些常用格式，包括：
yyyy-MM-dd HH:mm:ss
yyyy-MM-dd
HH:mm:ss
yyyy-MM-dd HH:mm
yyyy-MM-dd HH:mm:ss.SSS
更多關于此方法的介紹見 https://www.cnblogs.com/mr-wuxiansheng/p/7787296.html
以下是程序運行的結果，可以看到成功列出了 年、月、日。
我們先按照年度來看看搶劫犯罪數量的變化趨勢。
robbery.groupby('year').size()
注意這里，數量最少的是 2019 年。看似是很喜人的變化。可惜我們分析數據的時候，一定要留心這種細節。
我們讀取的數據，統計時間截止到 2019 年的 3 月初。因此，2019年數據并不全。
