前幾年仿佛人人都在搞大數據，而沒過幾年仿佛人人都開始搞人工智能了。老土在高校工作，周圍的情況就更是如此，今天幾乎所有的實驗室都在說自己在搞大數據和人工智能，否則招生都是問題。然而搞大數據和人工智能真就都是公式、算法、模型、代碼，這類看著高大上的工作嗎？老土并不認可這個說法。這里有兩個例子。
第一個例子的名字叫“傳說中的大數據處理工程師”
某天一個學生（剛剛大二）到了老土的辦公室，說是想要找老土談談關于利用課余時間實習的事情。這個學生非常驕傲的說，他剛剛在某BAT企業找到了實習，職位的名稱叫“大數據處理工程師”，而工作內容則是“對yyyy平臺采集的各類數據進行分析和處理使之可以用于xxxx平臺的使用，提高xxxx平臺的ssss、tttt指標”。說實話，老土知道了這個事情之后也是非常震驚。因為老土在之前問過這個學生的技術背景，雖然是計算機科學與技術專業的學生，但是一來到了大二也還沒有學很多專業課，二來這個孩子自己也沒有自學什么專業技能，老土實在想不明白那公司找這個孩子干什么。于是老土只能說：“嗯，要不你試一試？反正這實習也是臨時性質的，隨時可以開始，隨時可以結束。如果覺得有什么問題，隨時再來找我咨詢！”。看來老土的建議是非常符合這個孩子的心思的，那個孩子高興的走了。過了兩周那個孩子又來了，老土問那個孩子在那個大公司究竟做什么。孩子的答案讓老土終于明天那大公司要這批沒有技術沒有經驗的孩子們干什么了。原來這批孩子在那些大公司的眼中就是“人肉數據處理器”。孩子對他的實習工作的描述如下：很簡單，到了公司，先對每個人簡單的培訓一下，而后被帶到一個工位，工位有一臺電腦，而后根據培訓中的要求查看電腦中的數據填寫電子表格。這就是這批實習生的全部的工作內容，可以說毫無技術含量。甚至在老土看來，很多事情找個技術人員寫寫處理腳本也是可以搞定的，但是這些公司偏偏要使用人工。面對這種情況，老土只能說看來用人的成本可能更低，否則老土真的看不到合理性。
第二例子的名字叫“不可預見成本”
某天北京的某個大醫院的一個xx領導說是有一個大數據項目想要合作。那個時候，老土也是剛剛開始接觸大數據項目，也是著急有那么幾個案例，將來好出去講故事，所以聽到“醫院”、“大數據”馬上非常興奮，因為這些關鍵詞都是行業最最熱門的，不錯，不錯，便積極的迎了上去。前幾次交流也算是了解了對方的數據分析需求，需要分析的數據都在現有的系統中，數據量并不大，數據分析需求也是非常簡單，基本上“花式”聚類一下就可以完成。再后來談了談項目預算，覺得也還不錯。于是便算是接下來了這個項目。結果這個項目算是給老土上了一課，最后這個項目雖然也算不上“賠了”，但是在實施中的痛苦讓老土記憶猶新。因為這個項目的數據分析部分老土連兩人周沒有用，但之前以為非常簡單的“數據預處理”則是讓老土痛苦萬分。雖然需要被分析的數據都在現有的系統中，但是數據采集接口不同，數據格式不一致，數據含義不統一，為了將這些數據匯總到一起，老土的團隊花了超多的力氣寫了各種各樣的腳本。而寫導入腳本并不是一個簡單而開心的過程，因為原始數據本身可能有各種各樣的錯漏，有的錯漏可以接受，相關數據需要繼續導入，有的錯漏不可以接受，需要將相關數據丟棄，而甲方并不能提前給出數據的有效性規則，只能是發現一種情況找甲方確認一次。而甲方的相關人員并不是全職參與這個項目，反饋的效率極低。最后這個項目的“數據預處理”部分根本就相當于是用人力堆出來的。要知道老土這邊的人力本來都是精于開發的“高成本人力”，被用來干這種“體力活兒”，實在是讓老土非常肉痛。
今天老土想要轉的帖子是關于人工智能的配套服務產業的。其中，以“數據清洗”為例指出了人工智能行業需要大量的配套產業支撐。不但要關注人工智能的所謂“核心產業”，也要關注與之相關的配套產業。甚至從當前人工智能產業發展的情況看，“核心產業”的發展因為獲得了大量的關注而進步迅速，“配套產業”則是發展不足。
以數據清洗為例，聊聊人工智能的配套服務產業（http://www.tmtpost.com/2823352.html）
編者按：本文來自“腦極體”。
從商業模式來說，人工智能的相關企業有三種：第一種是提供人工智能技術的公司，比如機器視覺、NLP等等；第二種是將人工智能與具體行業應用結合的公司，比如fintech、人工智能醫療、無人駕駛等等。而還有一種最容易被遺忘：為人工智能行業服務的公司。
飛速發展的人工智能產業，很容易讓人看到技術售賣和行業迭代中的商業潛力。無論是巨頭還是新晉獨角獸，顯然都在盡力提速，生怕掉隊。但如此高的產業發展速度，事實上也催生了大量新的需求。這就像汽車的發展雖然盤活了交通運輸，同時也催生了修車業的海量工作機會。
對于人工智能來說，這一類的機會有很多，比如說：數據清洗。
熟悉大數據的朋友應該對數據清理不會陌生，而在以機器學習為主要手段的AI爆發中，數據清洗也有了更重要的價值和愈發豐富的剛性需求。
很多AI創業者，可能忽略了這一環節帶來的成本負荷和產能影響。
什么是數據清洗
按照慣例，咱們還是先來簡單介紹一下什么是數據清洗。
數據清洗(Data cleaning)是大數據生產過程中的必須環節。我們知道，大數據發生效用來自于數據倉庫對大數據的吞吐。但假如輸入了錯誤或者無效的數據，那么輸出時就會影響效果、產生誤差，甚至造成bug。這些無效和錯誤的數據，被稱為“臟數據”。而數據清洗顧名思義，就是要用各種手段把臟數據標記并清理出來。
數據清洗包涵多種目標和手段，比如檢查數據一致性、處理無效值、識別數據沖突等等。并且整個過程包括多重審查、校驗與標注。
我們采訪過的很多大數據機構和云服務公司負責人都證實了這樣的說法：數據清洗是成本消耗最嚴重的工作之一。
這項原本就非常吃重的工作，在人工智能潮中地位也跟著水漲船高了
舉個栗子：AI中的數據清洗為何重要
在今天的主流AI工程化進程里，機器學習是最廣泛使用的技術。而目前機器學習的主要實現手段是監督學習。
所謂監督學習，是由研發者使用已知數據集，讓智能體基于標記的輸入和輸出數據進行推理，從而學習到達成目標的路徑，讓自己不斷“聰明起來”。
理論上來說，智能體學習的數據越多就會越聰明，從而再生產出優質數據進行再學習，這樣就可以不斷完成自我進化。但這種最優狀況，是建立在機器學習的數據都沒錯的情況下，假如其中混雜了錯誤數據，那么學習得出的結果顯然也是錯的。
更重要的是，機器學習想要達成，必須建立在數據的一致性和體系化基礎上，假如錯誤數據造成了整個數據鏈的割裂，那么機器學習過程也將終止，就無從談什么人工智能了。
舉一個我們熟悉的例子：我們最常用的手機電商中，其實安插了大量機器學習算法來進行個性推薦。因為手機的屏幕顯示量很小，假如推送的電商信息大多不符合用戶期待，用戶需要一直向下尋找，那么體驗會很差，也影響電商體系的效率。這里就需要機器學習來建立用戶個性化推薦模型，提供多種行為下的商品排序特征。
這個場景中的機器學習，必須建立在優質大數據的基礎上，既要學習目標用戶的數據樣本，也要綜合群體性數據和標簽化數據，進行綜合任務學習。而電商平臺獲取的數據，包括用戶群的點擊、搜索、購物車添加和收藏，以及最終的購買頻次等等。但這些數據中可能摻雜大量的“臟數據”。
比如說用戶點擊后馬上退出來，可能說明是錯誤點擊行為；比如說用戶搜索的關鍵詞中含有錯別字或者不可知內容；比如說用戶購買后卻普遍差評的商品，這些數據被機器學習后成為邏輯依據，轉而推薦給用戶，顯然是不合適的。
這里就需要把電商數據系統中的缺漏數據、重復數據、錯誤數據剔除出去，保證機器學習內容的標準化和特征一致化。這之后剩下的優質數據才能提供給模型進行訓練。
由此可見，數據清洗在人工智能的落地實現中是非常重要的一環。訓練用的數據越多、訓練模型越復雜，對數據清洗的工作需求量就越大。
假如人工智能飛速發展，數據清洗作為配圖服務工種卻沒有跟上發展速度，那后果是很可怕的——想想《機器人總動員》里的小機器人，獨自在垃圾星球中孤獨而無盡的清理著。可以說是很可憐了……
數據清洗中也是亟待AI拯救的行業
這里說個題外話。如上所述，數據清理是個人工需求繁重、成本極高的工作種類，而且主要是和數據打交道。換句話說，這個工作具備進行人工智能升級的各種要素。
事實上，AI+數據清洗已經被廣泛關注和討論。目前最主要的結合方式有幾種：
第一種是用機器學習技術訓練智能體學習數據清洗的邏輯，從而優化數據清洗中的人工與機器工作分配比重。讓一些人工分類、篩選和標注工作能夠被機器執行，甚至準確率更高。
第二種是結合貝葉斯分類算法。貝葉斯分類是一種利用概率統計知識進行分類的算法，特征是分類準確率高、速度快，適合快速部署在數據歸納與統計當中。利用貝葉斯相關算法和技術，進行良性數據和臟數據的區分也在成為數據清洗的重要手段之一。
此外，其他利用文本識別算法與識別技術的AI能力來進行數據清洗的嘗試也在逐漸增多。比如決策樹、隨機森林的算法都有根據特征判斷不良數據的能力。算法識別主要可以增強特定領域的數據分析能力，更快投入實際應用。
（數據清洗的基本流程，其中AI主要作用于清洗邏輯環節）
由此可見，數據清洗和人工智能是互相需要，無法分割的兩類技術。以AI驅動數據清洗效率，反過來為AI體系服務，應該是未來的良性增長周期。
但從現階段的情形看，二者結合任重道遠。
缺口嚴重：AI配套服務產業的普遍現狀
不僅是數據清洗行業，廣泛來看，多種服務于AI硬件、數據和應用體系的配套產業發展都還遠遠不能達標。這點也是美國整個AI產業結構優于中國的重要環節，當然，即便是在美國，AI產業的發展與配套服務產業的建設速度也是不協調的。
目前來看這可能還不會形成巨大問題，但如果AI創業開始全面提速，個性化需求開始激增，那么配套設施的落后很可能成為行業的制約。
以針對AI產業的數據清洗為例，目前這個行業主要是面對大公司和集團企業服務，依舊保持著重度人工投入的勞動密集型特征。如果需求開始碎片化，服務成本很可能快速提升，成為創業者的成本負擔。
其次，AI數據清洗服務相對集中的產業邏輯，也讓適應創業企業的服務方案變成了稀缺品。一家以垂直領域AI為創業目標的公司，很難找到適合的數據清洗服務。從而不得不獨立搭設數據服務部門，消耗大量精力和人力，也提升了“重新發明輪子”的創業門檻。
另外，傳統云計算服務的數據清洗邏輯和人工智能的結合程度不夠高，也限制了新的算法、模型投入使用時數據服務的跟蹤服務能力。讓很多技術創意較強或者海外引進的技術，在實踐中無法部署。
數據層面的AI配套服務，主要集中在巨頭手中，對創業群體而言障礙極多。當然這也可能是個新的創業機遇。把巨頭獨占的AI能力開放和定制化，很可能是AI企業服務中最大的機會之一。
AI是一座金字塔型的商業建筑。當然我們喜歡看塔尖上的珠寶，但最下一層沒有人添磚加瓦的話，一切不過永遠流于空談而已。
