持續更新中
一、sparksql和python的時序處理
https://www.cnblogs.com/feiyumo/p/8760846.html
https://www.runoob.com/python/python-date-time.html
https://zhuanlan.zhihu.com/p/96384066
python的時間包主要是time和datetime，datetime是對time的高級封裝，下文中能用datetime處理的基本上就用datetime處理（雖然部分用time也可以處理），其次還有pandas自帶的一些時間方法
1.1 格式化符號
- sql
yyyy-MM-dd HH:mm:ss - python
%y 兩位數的年份表示（00-99）
%Y 四位數的年份表示（000-9999）
%m 月份（01-12）
%d 月內中的一天（0-31）
%H 24小時制小時數（0-23）
%I 12小時制小時數（01-12）
%M 分鐘數（00-59）
%S 秒（00-59）
所以有兩種格式化方法：
%Y-%m-%d %H:%M:%S
%y-%m-%d %I:%M:%S
1.2 獲取當前時間
- 獲取當前時間戳
SELECT unix_timestamp(); 1476884637
import time
from datetime import datetime
time.time() #time模塊的時間戳是最直接的
datetime.now().timestamp() # datetime的時間戳要轉換一下
- 獲取當前日期
select current_date; 2018-04-09
python的時間存在元祖結構，下面三者時間是一樣的
- 獲取當前時間
select current_timestamp/now();2018-04-09 15:20:49.247
1.3 從日期中提取字段
- year,month,day/dayofmonth,hour,minute,second
select Examples:> SELECT day('2009-07-30'); 30
# datetime方法
datetime(2019,12,12,14,10,59).year #先構造元祖，再提取
datetime.strptime('2020-01-02 23:12:22','%Y-%m-%d %H:%M:%S').year #先將字符串轉化為元祖，再提取
datetime.now().year #當前日期的元祖，再提取
# pandas方法
df = pd.DataFrame({'A':['2020-02-02','2019-11-03']},dtype='datetime64[ns]')
df.A.dt.year
- 其他
dayofweek\weekofyear
不常用，但是也有相關方法
1.4 日期時間轉換
- 將時間戳轉換為時間
SELECT from_unixtime(0, 'yyyy-MM-dd HH:mm:ss'); 1970-01-01 00:00:00
A=time.time() #時間戳
datetime.strftime(datetime.fromtimestamp(A),'%Y-%m-%d %H:%M:%S')
- 將時間轉換為時間戳
SELECT to_unix_timestamp('2016-04-08', 'yyyy-MM-dd'); 1460041200
datetime(2019,10,11,23,12,12).timestamp()
- 字符串轉換為特定時間格式(to_date和date_format的用法是一致的)
select to_date('2020-03-11 12:23:11', 'yyyy-MM-dd'); 2020-03-11
A='2020-03-11 12:23:11'
datetime.strftime(datetime.strptime(A,'%Y-%m-%d %H:%M:%S'),('%Y-%m-%d'))
python中的時間格式總是要經過轉
1.5 日期計算
- 計算日期差（天）
SELECT datediff('2009-07-31', '2009-07-30'); 1
A = datetime(2020,1,1,12,23,23)
B = datetime(2020,1,2,12,23,45)
C=(B-A)
print(C.days)
print(C.total_seconds())
print(C.seconds)
進行日期運算會用到datetime.timedelta,timedelta最常用的三個方法就是days,seconds。。
- 日期加減
SELECT date_add('2016-07-30', 1); 2016-07-31
SELECT date_sub('2016-07-30', 1); 2016-07-29
from datetime import timedelta
A = datetime(2020,1,1,12,23,23)
delta = timedelta(days=1)
B = A+delta
print(B)
二、正則處理
https://www.runoob.com/python/python-reg-expressions.html#flags
https://github.com/ziishaned/learn-regex/blob/master/translations/README-cn.md
2.0 規范
- 表達式模式（列出了最主要的）
^： 匹配開頭
$： 匹配結尾
.：匹配任意字符，除了換行符
[abd]： 匹配在[]中的字符
[^abd]： 匹配不在[]中的字符（這里就是非abc的字符，^有兩種含義，在[]外表示匹配開頭，在[]里面表示非）
*： 匹配0個或多個
？： 匹配0個或1個
{n}： 精確匹配n個
{n,}： 匹配至少n個
{n,m}： 匹配n~m個
a|b： 匹配a或b
()： 對匹配的文本進行分組
\w：匹配字母數字及下劃線
\s：匹配任意空白字符，等價于 [ \t\n\r\f]
\d：匹配任意數字，等價于 [0-9].
- \t是tab，\n是換行，\r是回車，\f是換頁，沒有明確研究回車和換行的區別，一般情況下\t和\n使用比較多*
- 常用匹配實例
[0-9] :匹配任何數字。等價于\d
[a-zA-Z0-9] ：匹配任何字母及數字
[^0-9] :匹配任何非數字。
2.1 匹配
先說一下常用標志位flag
re.I是最常用的
- re.search
import re
line = "Cats are smarter than dogs";
searchObj = re.search( r'(.*) are (.*?) .*', line, re.M|re.I)
print(searchObj.span()) #成功匹配的字符起始位數
print(searchObj.groups()) #以元祖形式返回匹配到的結果，如果只匹配一個值，那么返回為()
print(searchObj.group(0)) #匹配到的原始格式
print(searchObj.group(1)) #匹配到的元祖第1個值
print(searchObj.group(2)) #匹配到的元祖第2個值
- re.match
和search的區別在于是從開頭進行匹配，開頭不能匹配則返回None -
re.findall
image.png
findall是匹配所有結果，把每一次的結果（每一次相當于一次search，結果是一個元祖）加在列表里面，最終結果也直接返回一個列表（相當于多個search），不用group來取值
- .* 和.?的區別
.是貪婪匹配，每一次會盡可能的匹配更長的值，只匹配一次，.*?是懶惰匹配，每一次匹配更少的值，但是會匹配完，結果會有多個值
import re
line = "Cats are smarter than dogs";
searchObj1 = re.search( r'(.*) are (.*?) .*', line, re.M|re.I)
print(searchObj1.groups())
searchObj2 = re.search( r'(.*) are (.*) .*', line, re.M|re.I)
print(searchObj2.groups())
2.2 sub和split
字符串主要有4大功能，替換、拼接、分裂以及匹配，單純的str方法可以實現replace、拼接（字符串相加就可以）split，此外依托于re還可以實現sub（正則替換）、split（正則拼接）和匹配
-
re.sub
image.png -
re.split
image.png
此外，還有re.compile的方法可以對正則進行先編譯后匹配，但是感覺對于一般的處理，不用搞得那么麻煩（當然也不麻煩，只是要多掌握一種方法）
