- 周末公司計(jì)算系統(tǒng)崩了。也沒(méi)想好用什么怎么進(jìn)行數(shù)據(jù)處理。
- 周一和經(jīng)理匯報(bào)工作時(shí)，得到了支持。適當(dāng)可以申請(qǐng)，使用生產(chǎn)環(huán)境。
- 公司測(cè)試環(huán)境基本夠用，180 vcores + 180G memory(一個(gè)任務(wù)30/30)
- 重新啟用了之前的一個(gè)AWS的計(jì)算環(huán)境(1 vcores /1G memory/30G SSD)。網(wǎng)址：Rstudio
賬號(hào)rstudio/密碼rstudio?？梢宰鳛榇a共享的環(huán)境，或者是跑超級(jí)小的非并行的demo； - 同時(shí)，所有人可以通過(guò)teamviewer訪問(wèn)到我在公司的筆記本（名字叫DC比賽，配置低，有點(diǎn)小卡），通過(guò)筆記本訪問(wèn)集群（10.23.208.10）進(jìn)行計(jì)算
teamviewer界面
打開(kāi)xshell
teamviewer.gif
-
另外，如有特殊需求，可以向我請(qǐng)示之后使用公司的臺(tái)式機(jī)（我辦公用的，所以不是一直開(kāi)放的）
一般情況下我在使用
teamviewer或者AWS都可以通過(guò)移動(dòng)端訪問(wèn)，但都是單向連接的。所以大多數(shù)情況下，你們還得再自己的IDE上試驗(yàn)小量數(shù)據(jù)。
tips：
- 推薦使用編輯器或者手寫記錄算法或試驗(yàn)的操作；
- 有什么問(wèn)題需要演示可以錄制gif或者視頻；
關(guān)于本次會(huì)議：
- 理論上來(lái)講應(yīng)該在浙江嘉興召開(kāi)
- 先來(lái)定個(gè)可預(yù)期的小目標(biāo)：挺進(jìn)復(fù)賽
- 關(guān)于選題，50G的數(shù)據(jù)的數(shù)據(jù)量是我目前見(jiàn)到的最大量的比賽數(shù)據(jù)，背后的需要的計(jì)算環(huán)境，AWS上中等環(huán)境應(yīng)該在$1以上。所以能排除很多人。但同時(shí)參與進(jìn)來(lái)的也覺(jué)非等閑之輩，好壞參半吧，收獲才是最重要的。
- 關(guān)于個(gè)人能力，大家最好再來(lái)介紹下：
- 介紹個(gè)人在 算法 / 編程 / 編輯方面的能力；更愿意承擔(dān)的工作；
- 能拿出來(lái)參與比賽的時(shí)間，中間會(huì)有什么個(gè)人的重要時(shí)間節(jié)點(diǎn)；
以下為個(gè)人示例：
我對(duì)三個(gè)方面沒(méi)有偏重，但鑒于大家對(duì)計(jì)算環(huán)境不太了解，我更傾向于承擔(dān)編程方面的工作，當(dāng)然是會(huì)參與算法的研究和迭代的；
基本每天晚上的9:30之后、周末的一部分時(shí)間、上班的閑暇之余均可以。
之前的工作與本次比賽可能用到的地方：
用戶駕駛行為評(píng)分 / 用戶畫像分析 / GPS、G-sensor原始數(shù)據(jù)清洗校準(zhǔn) / 自動(dòng)化數(shù)據(jù)報(bào)告。。。etc.
- 關(guān)于之后的開(kāi)會(huì)時(shí)間提案：
會(huì)議時(shí)間為周三晚上8:30大會(huì)/周六晚上的簡(jiǎn)單進(jìn)程匯報(bào)； - 隊(duì)長(zhǎng)我先來(lái)吧，后期想鍛煉的同學(xué)可以來(lái)體驗(yàn)下。
稍后我把一些簡(jiǎn)單的數(shù)據(jù)處理操作示例給大家錄gif。
我的提案：
周六晚上前，必須完成如下任務(wù)中的一項(xiàng)：
- 兩篇強(qiáng)相關(guān)文獻(xiàn)，及文獻(xiàn)解讀，可借鑒地方說(shuō)明；
- 一個(gè)可復(fù)現(xiàn)的案例（代碼、算法可復(fù)現(xiàn)），并說(shuō)明可借鑒地方，紐約taxi的案例也行，這方面有大量素材；
- 提出自己的算法文檔或流程，不需要完備。
昨天簡(jiǎn)單試驗(yàn)
- 上傳數(shù)據(jù)
注意：
ID string,lat string,lon double,status int,stamp string
hadoop fs -mkdir /user/yyl;
hadoop fs -put /root/temp/* /user/yyl/hoho/;
#導(dǎo)入過(guò)程中發(fā)現(xiàn)缺少7、13兩天數(shù)據(jù)，原因未知。
create table if not exists trip_stat_hoho (ID string,lat string,lon double,status int,stamp string ) ROW format delimited FIELDS TERMINATED BY ',' lines terminated by '\n' stored as textfile;
load data '/user/yyl/hoho/*' into table trip_stat_hoho;
load data inpath '/user/yyl/hoho/*' into table trip_stat_hoho;
"create table if not exists trip_stat_hoho1 (ID string,lat string,lon double,status int,stamp string ) ROW format delimited FIELDS TERMINATED BY ',' LOCATION '/user/yyl/hoho/user'")
sql(hiveContext,"create table if not exists trip_stat_hoho1 (ID string,lat string,lon double,status int,stamp string ) ROW format delimited FIELDS TERMINATED BY ',' LOCATION '/user/yyl/hoho/user'")
- 簡(jiǎn)單分析
在spark中執(zhí)行了count：
除去一個(gè)放在dropbox的文件共43G
近十億條數(shù)據(jù)
