1 python連接mysql的幾種方式
a SQLAlchemy
import pymysql
pymysql.install_as_MySQLdb()
import sqlalchemy
from sqlalchemy import create_engine
engine = sqlalchemy.create_engine('mysql+pymysql://用戶名:密碼@IP:3306/datafrog05_adventure')
sql = 'select * from dw_customer_order'
gather_customer_order = pd.read_sql_query(sql,engine)
b PyMySQL
import pymysql
pip install PyMySQL
# 為了兼容mysqldb，只需要加入
pymysql.install_as_MySQLdb()
# 打開數據庫連接
conn = pymysql.connect(host='*.*.*.*',
port=3306,
user='*',
passwd='*',
charset = 'utf8'
)
# 使用 cursor() 方法創建一個游標對象 cursor
cursor = conn.cursor()
# 使用 execute() 方法執行 SQL 查詢
cursor.execute("show databases;")
cursor.execute("use database_name;")
cursor.execute("show tables;")
cursor.execute("select * from tables_name")
# 使用 fetchone() 方法獲取單條數據;使用 fetchall() 方法獲取所有數據
data = cursor.fetchall()
for item in data:
print(item[0])
# 關閉數據庫連接
cursor.close()
2 查看數據類型的幾種方式
a 維度查看 df.shape()
gather_customer_order.shape()
b 數據表基本信息（維度、列名稱、數據格式、所占空間等）：df.info()
gather_customer_order.info()
c 每一列數據的格式：df.dtypes
gather_customer_order.dtypes
3 時間轉字符串類型等，延伸時間函數總結
先對時間格式進行判斷:
type(gather_customer_order['create_year_month'][0])
Dataframe一開始默認的格式是 int64的，可以用 df.info() 來查看,然后我們利用pd.to_datetime() 函數轉化為datetime格式，默認是 datetime64[ns] 類型，后面中括號表示時間間隔是 ns。轉化完成后，datetime其實是個時間戳形式，也就是在excel表格顯示到毫秒，或是power BI 中展示需要文本格式，所以我們需要再轉換為str 或者 object, 代碼如下：
# 時間轉字符串：strftime()函數，字符串轉時間：strptime()函數
gather_customer_order['create_date']=pd.to_datetime(gather_customer_order.create_date,format="%Y%m%d")
gather_customer_order['create_year_month'] = gather_customer_order['create_date'].apply(lambda x : x.strftime('%Y-%m'))
4 可能DataFrame中存在科學計數法，請自行探索如何解決
DataFrame中float類型數據默認以科學計數法顯示，可以在pd.set_option設置display.float_format參數來以小數顯示，比如:
#設置顯示到小數點后3位
pd.set_option('display.float_format', lambda x: '%.3f' % x)
#另一種方法：取消科學計數法顯示
import numpy as np
np.set_printoptions(suppress=True, threshold=np.nan)
5 計算上下兩行之間相除或相乘等一系列方法的函數使用方法羅列
a diff()函數
numpy.diff(a, n=1,axis=-1)
dataframe.diff(periods,axis)
b shift 函數：相鄰兩行進行加減乘除
先shift()，將一列所有數據向上或向下平移，再進行加減乘除
c pct_change()
DataFrame.pct_change(periods=1, fill_method=‘pad’, limit=None, freq=None, **kwargs)
表示當前元素與先前元素的相差百分比，當然指定periods=n,表示當前元素與先前n 個元素的相差百分比。
6 總結DataFrame與Series類型區別
區別1: Series和DataFrame的創建
pd.Series(data=None, index=None, dtype=None, name=None)
data：可以是數組、可迭代對象、字典等；
index：設置 Series 索引；
dtype：設置 Series 元素數據類型；
name：設置 Series 名稱
pd.DataFrame(data=None, index=None, columns=None, dtype=None)
data：可以是數組、可迭代對象、字典等；
index：設置 DataFrame 的行索引；
columns：設置 DataFrame 的列名；
dtype：設置 DataFrame 的元素數據類型
區別2：Series 基本屬性：序列值 - values
通過 pandas.Series 的 values 屬性可以取出序列所有值。
s = pd.Series([1,2,3,4], index=['a','b','c','d'])
s.values
區別3：Series 基本屬性：序列名 - name
通過 pandas.Series 的 name 屬性可以設置該序列的名字。可以其他DataFrame或Series類型合并，和DataFrame合并時無需用rename再修改列名，序列名就是列名。
s = pd.Series([1,2,3,4], index=['a','b','c','d'])
s.name = 'sample'
7 總結DataFrame專用的排序函數和列表的排序函數
dt.sort_index(ascending=False, axis=1)#按列索引進行降序排序,按行的索引進行排序
dt.sort_values(by='columns_name')#按指定列的值進行排序
dt.sort_values(by='row_name', axis=1)#按指定行的值進行排序
#對原列表進行排序，完成排序后，原列表變為有序列表。默認情況（不傳入任何參數時）按字典順序排序。
list.sort(key=None,reverse=False)
# sorted不會改變原列表元素的位置，而是重新生成一個副本。
sorted(data, cmp=None, key=None, reverse=False)
8 總結存儲到mysql的幾種形式（覆蓋、追加等）
DataFrame.to_sql(name, con, schema=None,
if_exists='fail', index=True, index_label=None,
chunksize=None, dtype=None, method=None)
to_sql() 方法的 if_exists 參數用于當目標表已經存在時的處理方式，默認是 fail，即目標表存在就失敗，另外兩個選項是 replace 表示替代原表，即刪除再創建，append 選項可在原表添加數據，如果不存在可以新建表。
9 總結DataFrame的去重方法，多種
a drop_duplicates(個人比較傾向的方法)
data.drop_duplicates(subset='列名',keep='first',inplace=True)
b unique()
grouped_month['user_id'].unique().map(len)
grouped_month['user_id'].unique().apply(lambda x: len(x))
10 總結Series轉化為列表的方式
# 方法1
df['a'].values.tolist()
# 方法2
df['a'].tolist()
# 方法3
list(Series.values)
11 總結Series與列表的區別
列表：輸出結果在中括號中，且各元素之間以逗號分隔。空列表為：a = []
序列：豎著的形式展示數據,并且有索引。空Series為 a = pd.Series([]), 顯然，列表可以作為Series的一部分。
12 總結append\extend等列表追加元素的區別及適用范圍
列表.append(數據)：在末尾追加一個值，這個最常用
列表.extend(Iterable)：將另一個列表（也可以）的全部內容追加到末尾
注意知識點：使用 append 追加的是將后面的列表作為一個整體追加到最后了，而使用 extend 追加的是將里面的元素依次追加到最后。
13 函數agg的用法及適用范圍
groupby功能：分組
groupby + agg(聚集函數們)： 分組后，對各組應用一些函數，如’sum’,‘mean’,‘max’,‘min’…
#對data1列，取各組的最小值，名字還是data1
df.groupby(['key1']).agg({'data1':'min'})
df.groupby(['key1']).agg({'data1':['min','max']})
14 DataFrame中的loc,iloc的用法和區別
a 標簽索引 - loc
使用 loc 方法可以對 Dataframe 通過標簽索引，可以同時對行和列索引。（推薦！）
df.loc[row,col] ：標簽索引，選擇 row 行 col 列的數據。
df.loc[row1:row2,col1:col2] ：連續切片，選擇 row1 行至 row2 行的 col1 列至 col2 列（包含）的數據。
df.loc[row1:row2:s,col1:col2:s] ：等距連續切片，選擇 row1 行至 row2 行 步長為 s 的 col1 列至 col2 列
（包含）步長為 s 的數據。
df.loc[[row1,row2],[col1,col2]] ：不連續切片，選擇 row1 行和 row2 行的 col1 列和 col2 列的數據。
逗號前為行索引，逗號后為列索引。如果沒有逗號，默認是按行進行。連續切片時區間為 前閉后閉。
b 位置索引 - iloc
使用 iloc 方法可以對 Dataframe 通過位置索引，可以同時對行和列索引。（推薦！）
df.iloc[row,col] ：位置索引，選擇 row 行 col 列的數據。
df.iloc[row1:row2,col1:col2] ：連續切片，選擇 row1 行至 row2 行的 col1 列至 col2 列（不包含）的數據。
df.iloc[row1:row2:s,col1:col2:s] ：等距連續切片，選擇 row1 行至 row2 行 步長為 s 的 col1 列至 col2 列
（不包含）步長為 s 的數據。
df.iloc[[row1,row2],[col1,col2]] ：不連續切片，選擇 row1 行和 row2 行的 col1 列和 col2 列的數據。
逗號前為行索引，逗號后為列索引。如果沒有逗號，默認是按行進行。連續切片時區間為 前閉后開。
15 篩選函數的總結
a .isin(list(df['chinese_city']) 用于篩選條件過多，無法一一用等于“==”去篩選條件
#篩選銷售前十城市，10月11月自行車銷售數據
gather_customer_order_10_11[gather_customer_order_10_11['chinese_city'].isin(list(gather_customer_order_city_head['chinese_city']))]
b ~ 取對立面
#篩選2019年1月至11月自行車數據，這里使用的是‘~’取對立面
day_list = list(pd.Series(gather_customer_order_month.create_year_month.drop_duplicates()).values)[11:]
gather_customer_order_month_1_11 = gather_customer_order_month.loc[~(gather_customer_order_month.create_year_month.isin(day_list))]
c | ="or",用于一列篩選多個條件時，注意不能用 &
#篩選10月11月自行車數據
gather_customer_order_10_11 = gather_customer_order[(gather_customer_order['create_year_month']=='2019-10')|(gather_customer_order['create_year_month']=='2019-11')]
16 個人對DataFrame的groupby的理解
總體來看，groupby如圖起到了拆分的關鍵作用，他和apply相互搭配使用：
# 用法
df_age_purchase=df.groupby("Age").agg({"Purchase":"sum"}).reset_index().rename(columns={"Purchase":"Purchase_amount"})
groupby(["",""])+agg({"":"","":""})+reset_index().rename(columns={},inplace=True)
17 DataFrame合并
a append - 橫向拼接
pandas.DataFrame 的 append() 方法可以進行簡單拼接。
DataFrame.append(other, ignore_index=False, sort=None) 向 DataFrame 中添加新的行，如果添加的列名
不在 DataFrame 對象中，將會被當作新的列進行添加。
常用參數：
other：可以是 DataFrame、series、dict、list等；
ignore_index：是否重設索引；
sort：最好規定是否排序（ True or False ）從而避免出現警告信息。
df1 = pd.DataFrame([['a', np.nan], ['b', 5], ['c', 8]], columns=['key1', 'value1'],index=['x','z','y'])
df2 = pd.DataFrame([['a', 100], ['b', 10], ['c', 100]], columns=['key2', 'value2'],index=['x','z','y'])
df1.append(df2,sort=True)
b concat - 縱向拼接
使用 pd.concat() 函數可以將多個 DataFrame 進行拼接，默認是縱向拼接。
常用參數：
axis=1 表示橫向拼接；
ignore_index=True 表示重置索引。
df1 = pd.DataFrame([['a', np.nan], ['b', 5], ['c', 8]], columns=['key', 'value'],index=['x','z','y'])
df2 = pd.DataFrame([['a', 100], ['b', 10], ['c', 100]], columns=['key', 'value'],index=['x','z','y'])
pd.concat([df1, df2]) # 默認縱向拼接
c concat - 橫向拼接
pd.concat() 函數參數 axis=1 時表示橫向拼接。
pd.concat([df1, df2], axis=1)
c join - left 合并
DataFrame.join(other, on=None, how='left', lsuffix='', rsuffix='', sort=False) 默認按左表索引對齊
合并。
常用參數：
other：可以是 DataFrame、Series、list of DataFrames 等；
how：控制合并方法, 包括‘right’,'inner','outer';
lsuffix/rsuffix：當兩個表格有相同列時，直接合并會報錯，需使用該參數區分兩列。
df1 = pd.DataFrame({'PE':[10,20,25,30]},index=list('abcd'))
df2 = pd.DataFrame({'PB':[2.5,3.2,2.5]},index=list('adg'))
df1.join(df2) # 默認按左表index進行合并
d merge - 重復列合并
使用 pd.merge() 函數 或 DataFrame.merge() 方法可以方便地合并含有相同列的兩個 DataFrame。
使用 merge 方法合并，默認是 inner 方式，并且默認忽視索引。
常用參數：
on：控制按哪一列合并；
how：控制合并方式；
left_index/right_index：按索引合并；
left_on/right_on：當兩個 DataFrame 兩列意義相同但列名不同時，可以使用該參數按該列合并。
df1 = pd.DataFrame({'PE':[10,20,25,30],
'ROE':[0.12,0.25,0.13,0.23]}, index=list('abcd'))
df2 = pd.DataFrame({'PB':[2.5,3.2,2.5],
'ROE':[0.12,0.23,0.13]}, index=list('adg'))
pd.merge(df1,df2) # 可以使用 pd.merge() 函數
df1.merge(df2) # 也可以使用 DataFrame.merge() 方法
18 易錯知識點分享
a split和切片:
#本次項目用了兩個日期分段方法，一個是strftime
gather_customer_order['create_year_month'] = gather_customer_order['create_date'].apply(lambda x : x.strftime('%Y-%m'))
# 一個是split和切片
customer_birth_year = sales_customer_order_11['birth_date'].astype('str').str.split('-').str[0]
注意：用split和切片的方法獲取日期時，birth_date列的數據類型為series,需要轉為str，并且可以為series直接命名為birth_year,合并后直接成為列名。
b int 數據類型轉換: pd.to_numeric
# pd.to_numeric
sales_customer_order_11['birth_year'] = pd.to_numeric(sales_customer_order_11['birth_year'], errors='coerce')
注意 這里的pd.to_numeric方法必須加errors='coerce'，否則數列中有nan值會報錯，加上說明忽視空值。
e 年齡分層: pd.cut()
listBins = [30,34,39,44,49,54,59,64]
listLabels = ["30-34","35-39","40-44","45-49","50-54","55-59","60-64"]
sales_customer_order_11['age_level']=pd.cut(sales_customer_order_11['customer_age'], bins=listBins, labels=listLabels,
include_lowest=True)
sales_customer_order_11.head()
注意：listBins 必須比listlabels 要多一個元素，否則會報錯！
f 計算前十城市環比: pct_change
city_top_list = city_list
order_top_x = pd.Series([])
amount_top_x = pd.Series([])
for i in city_top_list:
#print(i)
a=gather_customer_order_city_10_11.loc[gather_customer_order_city_10_11['chinese_city']==i]['order_num'].pct_change()
b=gather_customer_order_city_10_11.loc[gather_customer_order_city_10_11['chinese_city']==i]['sum_amount'].pct_change()
order_top_x=order_top_x.append(a).fillna(0)
amount_top_x =amount_top_x.append(b).fillna(0)
注意: 循環的pct_change()必須在a,b變量的末尾，如果在order_top_x.append(a)時再做pct_change(), 算出來的數據會出現連續，而不是一行空值一行結果，也就是pct_change排放位置的選擇要注意，另外，要記得fillna(0)。
19 心得體會總結:
總體來看，做完DataFrame數據處理之后，其實可以發現python基礎的數據類型，list, tuple, set, Series, ndarray，這幾個總是在相互轉化，層層相套。例如，我們可以建立一個空列表，然后通過遍歷循環把數據用append追加，最后用pd.DataFrame可以轉化為dataframe格式，相似，我們還可以建立空的 pd.Series([]),不過Series可以通過索引和dataframe合并。
其實，從表面看我們無法改變DataFrame中的元素，但是如果通過lambda函數，就可以對整個表格進行遍歷，相同道理的還有，map(), apply(), mapapply() 這些函數通過組合的方式就可以達到我們的目的和要求，所以，數據分析在做的就是數據轉化工作，不斷的拆分、應用和合并，函數和方法就是一條鏈條，直接打通我們想要的結果。
