互聯(lián)網(wǎng)爬蟲，蜘蛛，數(shù)據(jù)采集器，網(wǎng)頁解析器的匯總，因新技術(shù)不斷發(fā)展，新框架層出不窮，此文會(huì)不斷更新...
歡迎推薦你知道的開源網(wǎng)絡(luò)爬蟲，網(wǎng)頁抽取框架.
Python
Scrapy - 一種高效的屏幕,網(wǎng)頁數(shù)據(jù)采集框架。django-dynamic-scraper - 基于Scrapy內(nèi)核由django Web框架開發(fā)的爬蟲。
Scrapy-Redis - 基于Scrapy內(nèi)核采用Redis組件的爬蟲。
scrapy-cluster - 基于Scrapy內(nèi)核采用Redis 和 Kafka 開發(fā)的分布式爬蟲框架。
distribute_crawler - 基于Scrapy內(nèi)核采用redis, mongodb開發(fā)的分布式爬蟲框架。
pyspider - 一個(gè)強(qiáng)大純python的數(shù)據(jù)采集系統(tǒng).
cola - 一個(gè)分布式的爬蟲框架.
Demiurge - 基于PyQuery的微型爬蟲框架.
Scrapely - 一個(gè)純python的HTML頁面捕捉庫.
feedparser - 一個(gè)通用的feed解析器.
you-get - 靜默網(wǎng)站爬去下載器.
Grab - 網(wǎng)站采集框架.
MechanicalSoup - 一個(gè)自動(dòng)化的互動(dòng)網(wǎng)站Python庫.
portia - 基于Scrapy的可視化數(shù)據(jù)采集框架.
crawley - 基于非阻塞通信(NIO)的python爬蟲框架.
RoboBrowser - 一個(gè)簡單的，不基于Web瀏覽器的基于Python的Web 瀏覽器.
MSpider - 一個(gè)基于gevent(協(xié)程網(wǎng)絡(luò)庫)的python爬蟲.
brownant - 一個(gè)輕量級(jí)的網(wǎng)絡(luò)數(shù)據(jù)抽取框架.
Java
Apache Nutch - 用于生產(chǎn)環(huán)境的高度可擴(kuò)展的高度可擴(kuò)展的網(wǎng)絡(luò)爬蟲.anthelion - 一個(gè)基于Apache Nutch抓取語義注釋在HTML頁面插件.
Crawler4j - 簡單和輕量級(jí)的網(wǎng)絡(luò)爬蟲.
JSoup - 采集，分析，處理和清洗HTML頁面.
websphinx - HTML網(wǎng)站特定的處理、信息提取.
Open Search Server - 全套搜索功能，建立你自己的索引策略。分析、提取全文數(shù)據(jù)，這個(gè)框架可以索引的一切.
Gecco - 一個(gè)易于使用的輕量級(jí)網(wǎng)絡(luò)爬蟲.
WebCollector -簡單的抓取網(wǎng)頁的界面，可以在不到5分鐘內(nèi)部署一個(gè)多線程的網(wǎng)絡(luò)爬蟲.
Webmagic -一個(gè)可擴(kuò)展的爬蟲框架.
Spiderman -一個(gè)可擴(kuò)展的，多線程的網(wǎng)絡(luò)爬蟲.Spiderman2 - 分布式網(wǎng)絡(luò)爬蟲框架，支持javascript渲染.
Heritrix3 - 可擴(kuò)展，大規(guī)模的網(wǎng)絡(luò)爬蟲項(xiàng)目.
SeimiCrawler - 一個(gè)敏捷的分布式爬蟲框架.
StormCrawler - 基于開放源代碼、構(gòu)建低延遲的網(wǎng)絡(luò)資源采集框架，基于Apache Storm.
Spark-Crawler - 基于Apache Nutch 的網(wǎng)絡(luò)爬蟲，可以運(yùn)行于Spark.
C#
ccrawler - 一個(gè)簡單的Web內(nèi)容分類方案，它可以根據(jù)其內(nèi)容分開網(wǎng)頁,基于C#3.5.
SimpleCrawler - 簡單的多線程網(wǎng)絡(luò)爬蟲，基于REG表達(dá)式.
DotnetSpider - 基于C#開發(fā)的一個(gè)輕量級(jí)，交叉平臺(tái)的網(wǎng)絡(luò)爬蟲.
Abot - 具有很好效率和可擴(kuò)展性的C#網(wǎng)絡(luò)爬蟲.
Hawk - 用 C#/WPF開發(fā)的網(wǎng)絡(luò)爬蟲，具有簡單的ETL功能.
SkyScraper - 一個(gè)支持異步網(wǎng)絡(luò)和有很好擴(kuò)展性的網(wǎng)絡(luò)爬蟲.
JavaScript
scraperjs - 基于JS的一個(gè)功能齊全的網(wǎng)絡(luò)爬蟲.
scrape-it - 基于Node.js的網(wǎng)絡(luò)爬蟲.
simplecrawler - 基于事件驅(qū)動(dòng)開發(fā)的網(wǎng)絡(luò)爬蟲.
node-crawler - 提供簡單API，適于二次開發(fā)的網(wǎng)絡(luò)爬蟲.
js-crawler - 基于Node.JS,支持HTTP(S)的網(wǎng)絡(luò)爬蟲.
x-ray - 支持分頁的網(wǎng)絡(luò)爬蟲.
node-osmosis - 基于Node.js適于解析HTML結(jié)構(gòu)的網(wǎng)絡(luò)爬蟲.
PHP
Goutte - 基于PHP的網(wǎng)頁截屏和爬取程序.laravel-goutte - 基于Laravel 5 的網(wǎng)絡(luò)爬蟲.
dom-crawler - 易于抽取DOM文件的網(wǎng)絡(luò)爬蟲.
pspider - 基于PHP的并發(fā)網(wǎng)絡(luò)爬蟲.
php-spider - 一個(gè)基于PHP的高可擴(kuò)展的網(wǎng)絡(luò)爬蟲.
C++
open-source-search-engine - 基于C/C++開發(fā)的網(wǎng)絡(luò)爬蟲和搜索引擎.
C
httrack - 全部網(wǎng)站整體復(fù)制工具。 ## Ruby
upton - 一個(gè)易于上手的爬蟲框架集合，支持CSS選擇器.
wombat - 基于Ruby天然的支持DSL的網(wǎng)絡(luò)爬蟲，易于提取網(wǎng)頁正文數(shù)據(jù).
RubyRetriever - 基于Ruby的網(wǎng)站數(shù)據(jù)采集和全網(wǎng)數(shù)據(jù)收割機(jī).
Spidr - 全站數(shù)據(jù)采集，支持無限的網(wǎng)站鏈接地址采集.
Cobweb - 非常靈活，易于擴(kuò)展的網(wǎng)絡(luò)爬蟲，可以單點(diǎn)部署使用.
mechanize - 自動(dòng)采集網(wǎng)站數(shù)據(jù)的框架.
R
rvest - 基于R開發(fā)的簡單網(wǎng)絡(luò)爬蟲.
Erlang
ebot - 一個(gè)分布式，高可擴(kuò)展的網(wǎng)絡(luò)爬蟲.
Perl
web-scraper - 方便使用HTML、CSS、XPath選擇器的網(wǎng)絡(luò)爬蟲。
Go
pholcus - 一個(gè)分布式，支持高并發(fā)的網(wǎng)絡(luò)爬蟲.
gocrawl - 一個(gè)高并發(fā)的，輕量級(jí)，遵守道德的網(wǎng)絡(luò)爬蟲.
fetchbot -一個(gè)遵守robots.txt規(guī)則和延遲規(guī)則的輕量級(jí)網(wǎng)絡(luò)爬蟲.
go_spider - 一個(gè)非常好的高并發(fā)網(wǎng)絡(luò)爬蟲.
dht -支持DHT協(xié)議的網(wǎng)絡(luò)爬蟲.
ants-go - 基于Golang的高并行網(wǎng)絡(luò)爬蟲.
scrape - 一個(gè)簡單的提供很好開發(fā)接口的網(wǎng)絡(luò)爬蟲.
Scala
crawler - 基于Scala DSL的網(wǎng)絡(luò)爬蟲.
scrala - 由Scala開發(fā)基于scrapy內(nèi)核的網(wǎng)絡(luò)爬蟲.
ferrit - 基于Scala開發(fā)使用了Akka, Spray，Cassandra的網(wǎng)絡(luò)爬蟲.
