流計算場景里distinct很常用，spark sql對 stream dataset不支持 SELECT COUNT(DISTINCT Com...
投稿
收錄了67篇文章 · 146人關注
-
mlsql流任務實現distinct -
為什么去開發一個MLSQL算法和工程之殤 算法和工程結合，有兩個非常大的痛點： 第一個，算法的著眼點是，用最快速的方式清洗一些數據出來，然后接著建模訓練，評估預測效果，之...
-
CrawlerSQL 設計
目標 首先CrawlerSQL會包含兩個服務： 調度服務，比如每個url的抓取周期。抓取服務：調度會給url,抓取服務負責實際的抓取 在Stre...
-
MLSQL如何支持部署SKLearn,Tensorflow,MLLib模型提供API預測服務
部署成API服務時，除了要把raw數據特征化成向量外，研發還要想著怎么加載模型，產生模型的框架五花八門，比如Tensorflow,SKlearn...
-
算法訓練和模型部署如何避免多次重寫數據預處理代碼
前言 前段時間，我們對接算法的工程師哭喪的和我說，模型生成后一般都要部署成API的形態對外提供服務，但是算法工程師并沒有提供如何將一條數據轉化特...
-
MLSQL解決了什么問題
先看看做算法有哪些痛點（我們假設大部分算法的代碼都是基于Python的）： 項目難以重現，可閱讀性和環境要求導致能把另外一個同事寫的python...
-
是時候丟掉Spark Streaming 升級到Structured Streaming了
前言 又是一個超長的標題（攤手┓( ′?` )┏）。Spark Streaming 歷史比較悠久，也確實非常好用，更重要的是，大家已經用熟了，有...
-
MLSQL是如何集成TensorFlow Cluster的
前言 我們知道MLSQL支持SKLearn,TF等流行的算法框架，不過雖然支持了多個實例同時運行，但其實每個模型都需要跑全部數據。有的時候數據太...
-
谷歌BigQuery ML VS StreamingPro MLSQL
前言 今天看到了一篇 AI前線的文章谷歌BigQuery ML正式上崗，只會用SQL也能玩轉機器學習！。正好自己也在力推 StreamingPr...
-
如何按程序員思維寫分析師腳本前言 今天無意在在某群里，看到一個很復雜的SQL腳本，join很多,子查詢很多，union很多，case when也很多。然后就讓我們負責分析師...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/346627/timg.jpg', '推薦專題《MLSQL》（ 分享自 @簡書 ）','http://www.lxweimin.com/c/759bc22b9e15?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}