知乎爬蟲項目記錄

這是一個知乎爬蟲項目

項目地址 https://github.com/rensuperk/javaSpider

根據知乎用戶爬取所有和用戶相關的數據

數據包括關注者,被關注者,文章,專欄,想法,提問,答案,和用戶相關的其他信息

應的框架有

  1. jdk1.8
  2. spring-boot --基本架構
  3. spring-data-elastic --elastic客戶端
  4. elasticsearch --搜索引擎,也用于存儲數據
  5. kinaba --數據展示和分析
  6. 爬取網頁用的spring提供的restTemplate

說明

  1. 使用spring的resttemplate抓去知乎的接口
  2. 使用數據線程池實現多線程抓取
  3. 記錄上次停頓的位置實現連續抓取
  4. 控制抓取的數據類型
  5. 去重使用的是elsstic提供的upset方法,id的話,people使用url_token
  6. 當訪問被限制的時候切換本地的http代理,不想找線程池,所以一般只開兩個線程進行抓取,不得不說知乎反爬蟲做的挺好,只開一個線程的時候不會被屏蔽,多了就不行了
  7. 跑了一個星期大概抓取了200W的用戶數據和其他的一些
  8. 先爬取幾條記錄,然后代碼就會自動把記錄寫入任務隊列中
  9. 使用java.util.concurrent里面的很多包進行多線程訪問的限制,比如緩存線程池,阻塞隊列,atomic原子操作類等

安裝和配置

  • elasticSearch5.5
    cd /apps/
    #下載
    wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.0.zip
    #解壓縮
    unzip
    cd elasticsearch-5.6.0
    #改變配置
    vim config/elasticsearch.yml
    #配置外網訪問
    network.host : 0.0.0.0
    #cluster名稱
    cluster.name: elasticsearch
    #節點名稱
    node.name: node-1
    #啟動 bin/elasticsearch -d
    #注意因為安全設置elasticsearch不允許用root用戶訪問,所以新建一個用戶用于啟動這個服務
    
  • kibana安裝
#和上面差不多,略過了
  • jdk1.8安裝
#詳見網上ubuntu安裝jdk的教程,有很多,就不貼了
  • spring-boot版本的選擇
elasticsearch更新比較快
springboot-release版本可能不太適配
現在只能使用2.0.0.M3版本
如果用在正式環境中,可能需要降低elasticsearch,或者再等幾個月等springboot的適配
  • pom.xml
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.0.M3</version>
    </parent>
     <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
  • 配置application.properties
spring.data.elasticsearch.cluster-nodes=192.168.56.101:9300
server.port=80
logging.level.root=info
logging.file=D://log.log

  • 啟動類和一些配置
@SpringBootApplication(scanBasePackages = "ren.superk")
@EnableElasticsearchRepositories(basePackages = "ren.superk")
public class ElasticSearchApplication implements CommandLineRunner {
    public static void main(String[] args) {
        SpringApplication.run(ElasticSearchApplication.class,args);
    }


    @Autowired
    private PeopleService peopleService;
    @Override
    public void run(String... strings) throws Exception {
        peopleService.initDataByThreadCount(2);
    }
}


@Configuration
public class RestTemplateConfig{
    @Bean
    public RestTemplate restTemplate(ClientHttpRequestFactory factory){
        return new RestTemplate(factory);
    }

    @Bean
    public ClientHttpRequestFactory simpleClientHttpRequestFactory(){
        SimpleClientHttpRequestFactory factory = new SimpleClientHttpRequestFactory();
        factory.setReadTimeout(5000);//ms
        factory.setConnectTimeout(15000);//ms
        return factory;
    }
}
  • 文件路徑
使用命令行工具 tree /F .\springboot-spider\src\main > d:/tree.txt 

├─java
│  └─ren
│      └─superk
│          └─zhihu
│              ├─action
│              │      PeopleAction.java    --action接口,寫了3個方法
│              │      
│              ├─config                      -- 配置
│              │      ElasticSearchApplication.java
│              │      ElasticSearchConfig.java
│              │      RestTemplateConfig.java
│              │      
│              ├─core                        --核心枚舉,和類型相關的參數都存在美劇中
│              │      SortEnum.java
│              │      ZhihuEnum.java
│              │      
│              ├─model                       --實體類
│              │      Answer.java
│              │      Article.java
│              │      Columns.java
│              │      Education.java
│              │      Employment.java
│              │      Fav.java
│              │      People.java
│              │      Pins.java
│              │      Question.java
│              │      Relation.java
│              │      Topic.java
│              │      ZhihuAnswerPager.java  --這幾個本來設計的有用,但廢棄掉了
│              │      ZhihuArticlePager.java --這幾個本來設計的有用,但廢棄掉了
│              │      ZhihuColumnsPager.java --這幾個本來設計的有用,但廢棄掉了
│              │      ZhihuFavPager.java     --這幾個本來設計的有用,但廢棄掉了
│              │      ZhihuPager.java
│              │      ZhihuPeoplePager.java  --這幾個本來設計的有用,但廢棄掉了
│              │      ZhihuPinsPager.java    --這幾個本來設計的有用,但廢棄掉了
│              │      ZhihuQuestionPager.java --這幾個本來設計的有用,但廢棄掉了
│              │      ZhihuTopicPager.java  --這幾個本來設計的有用,但廢棄掉了
│              │      
│              ├─repository
│              │      PeopleRepository.java  --elasticsearch-spring-data的從IDUS方法
│              │      RelationRepository.java
│              │      
│              └─service
│                  │  PeopleService.java    --服務
│                  │  PeopleUrlService.java --網絡服務
│                  │  
│                  └─impl
│                          PeopleServiceImpl.java  -- 主要的方法都寫在這里面
│                          PeopleUrlServiceImpl.java
│                          test.java
│                          
└─resources
        application.properties  --配置
日志
日志
索引
索引

一些簡單的分析,見笑了

索引
索引

關注的人最多的人


索引
索引

被關注的人最多的人

索引
索引

感謝最多的

索引
索引

學校 比較有趣

索引
索引

回答問題最多,真勞模

索引
索引

提問最多

索引
索引

提問最多的主題,有趣


索引
索引

職位,也很有趣

看圖把,我不貼了

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,362評論 6 544
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,577評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,486評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,852評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,600評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,944評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,944評論 3 447
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,108評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,652評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,385評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,616評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,111評論 5 364
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,798評論 3 350
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,205評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,537評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,334評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,570評論 2 379

推薦閱讀更多精彩內容

  • Spring Boot 參考指南 介紹 轉載自:https://www.gitbook.com/book/qbgb...
    毛宇鵬閱讀 46,922評論 6 342
  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,828評論 18 139
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,752評論 25 708
  • 韜聲折舊閱讀 170評論 0 0
  • “長生,你答應過我的,啊,你說過的會帶我走” “青花,不是我不帶你走,是我沒辦法呀,青花,你就原諒我,忘了我吧” ...
    許多霧靄閱讀 1,049評論 6 11