爬蟲就是從網(wǎng)絡(luò)上發(fā)現(xiàn)你想要數(shù)據(jù)的工具。

來自網(wǎng)絡(luò)

大互聯(lián)網(wǎng)公司

我原來在互聯(lián)網(wǎng)公司，覺得獲取數(shù)據(jù)so easy。只要你需要，好像各種數(shù)據(jù)都有，數(shù)據(jù)多到必須把一些不是很重要的的數(shù)據(jù)按期老化掉，不重要的數(shù)據(jù)不接受。

傳統(tǒng)行業(yè)和小公司

離開大互聯(lián)網(wǎng)公司后，接觸的公司也比較多了，原來很多公司都沒有數(shù)據(jù)，但是還是想搞大數(shù)據(jù)。我原來也是不理解，你沒數(shù)據(jù)搞啥大數(shù)據(jù)嗎？這不是讓馬兒跑，還不給馬兒草么。
但是，現(xiàn)在我不這樣想了。在大數(shù)據(jù)的熱潮下，大家都怕錯過這個風(fēng)口，所以必須參加進(jìn)來；再大數(shù)據(jù)對傳統(tǒng)行業(yè)的改變，大家也有目共睹，比如uber對打車的改變，余額寶對金融的改變等。所以我們需要想辦法獲取數(shù)據(jù)，而不是沒有數(shù)據(jù)我們就不搞大數(shù)據(jù)了。

數(shù)據(jù)來源

一方面，使自己的產(chǎn)品互聯(lián)網(wǎng)化，數(shù)據(jù)可以積累起來，但是路程漫長。
另一方面，從互聯(lián)網(wǎng)中獲取數(shù)據(jù)。但是互聯(lián)網(wǎng)中的數(shù)據(jù)又不開放，那么爬蟲就派上用場了，而且還可以快速獲取數(shù)據(jù)。

專題主要內(nèi)容

• 爬蟲技術(shù)交流
• 數(shù)據(jù)分享