通過webmagic爬取高分電影下載鏈接電影

? ? ?最近有一個goood idea,想把電影網站中能用迅雷下載的鏈接用程序給爬下來,分別對應:電影名稱 下載鏈接 IMDB或豆瓣的評分,優先取IMDB評分,沒有再取豆瓣評分,為了提高電影質量,篩選的都是8.0分以上的,低于8.0或者沒有評分的不入庫,傳說IMDB評分8.0以上的都是非常值得看的,9.0以上的稱謂"神片",至于IMDB(Internet Movie Database )的評分我認為還是比較公正的,是使用貝葉斯統計的算法加權算出來的,哈哈,后續有時間深入學習一下該算法,當然也存在漏網之魚,沒評分的或者服務器沒反應的時候也不乏存在好電影

接下來是程序的過程

1、先說要做的事情,上面也有簡介過,爬取該界面的>8.0評分的電影......http://www.dytt8.net/html/gndy/dyzz/list_23_1.html

2、先設計數據庫(moveId moveName moveLink moveScore),其中moveId是自增,如圖所示:

3、創建一個Maven項目,并配置pom.xml文件,因為該框架你一大牛寫的。。所有要配置該引用項目,如圖所示:

4、moveLink文件是爬蟲邏輯

moveInfo是實體類對應的表結構

moveUtil是對數據庫的一些操作,其中數據庫配置信息存放在源程序的這個位置

其中java操作數據庫,需要一個jar包


程序源碼:https://github.com/zhangzichao11/Android_Move

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容