? ? ?最近有一個goood idea,想把電影網站中能用迅雷下載的鏈接用程序給爬下來,分別對應:電影名稱 下載鏈接 IMDB或豆瓣的評分,優先取IMDB評分,沒有再取豆瓣評分,為了提高電影質量,篩選的都是8.0分以上的,低于8.0或者沒有評分的不入庫,傳說IMDB評分8.0以上的都是非常值得看的,9.0以上的稱謂"神片",至于IMDB(Internet Movie Database )的評分我認為還是比較公正的,是使用貝葉斯統計的算法加權算出來的,哈哈,后續有時間深入學習一下該算法,當然也存在漏網之魚,沒評分的或者服務器沒反應的時候也不乏存在好電影
接下來是程序的過程
1、先說要做的事情,上面也有簡介過,爬取該界面的>8.0評分的電影......http://www.dytt8.net/html/gndy/dyzz/list_23_1.html
2、先設計數據庫(moveId moveName moveLink moveScore),其中moveId是自增,如圖所示:
3、創建一個Maven項目,并配置pom.xml文件,因為該框架你一大牛寫的。。所有要配置該引用項目,如圖所示:
4、moveLink文件是爬蟲邏輯
moveInfo是實體類對應的表結構
moveUtil是對數據庫的一些操作,其中數據庫配置信息存放在源程序的這個位置
其中java操作數據庫,需要一個jar包
程序源碼:https://github.com/zhangzichao11/Android_Move