筆記

1.robots.txt

Robots協議用來告知搜索引擎哪些頁面能被抓取，哪些頁面不能被抓取；可以屏蔽一些網站中比較大的文件，如：圖片，音樂，視頻等，節省服務器帶寬；可以屏蔽站點的一些死鏈接。方便搜索引擎抓取網站內容；設置網站地圖連接，方便引導蜘蛛爬取頁面。
文件寫法
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片

2.humans.txt

/* TEAM */
    Founder & Developer: Jacky Chan
    Contact: linux_china [at] hotmail.com
    Weibo: @linux_china
    Blog: http://intellij.org.cn/blog
    From: HangZhou, ZheJiang, China
    University: Beijing Institute of Technology
    Degree: Bachelor

/* THANKS */
    humans.txt Founder: Abel Cabans
    Site: http://www.humanstxt.org

/* SITE */
    Last update: 2013/01/23
    Language: Chinese
    Doctype: HTML5
    Standards: HTML5, CSS3
    Components: RequireJS, JQuery, Backbone, BootStrap
    Core: Java, Struts, SpringFramework, Hibernate, Lucene, MySQL, Redis, S3, SES
    Deployment: AWS, Amazon Linux, Apache, Varnish, Tomcat, Git, TeamCity, Apache Maven
    Software: ImageMagick, PhantomJS
    IDE: IntelliJ IDEA

        __  __                                _______  ________
       / / / /_  ______ ___  ____ _____  ____/_  __/ |/ /_  __/
      / /_/ / / / / __ `__ \/ __ `/ __ \/ ___// /  |   / / /
     / __  / /_/ / / / / / / /_/ / / / (__  )/ /  /   | / /
    /_/ /_/\__,_/_/ /_/ /_/\__,_/_/ /_/____//_/  /_/|_|/_/
這是一個初創團隊，我們致力于humans.txt的規范指定、推廣和humans站點聚合，為更多Geek提供信息溝通的渠道。
如果你有對這個非常感興趣，歡迎你微博給我們留言。

3.EditorConfig

# EditorConfig is awesome: http://EditorConfig.org

# top-most EditorConfig file
root = true

# Unix-style newlines with a newline ending every file
[*]
end_of_line = lf
insert_final_newline = true

# Matches multiple files with brace expansion notation
# Set default charset
[*.{js,py}]
charset = utf-8

# 4 space indentation
[*.py]
indent_style = space
indent_size = 4

# Tab indentation (no size specified)
[Makefile]
indent_style = tab

# Indentation override for all JS under lib directory
[lib/**.js]
indent_style = space
indent_size = 2

# Matches the exact files either package.json or .travis.yml
[{package.json,.travis.yml}]
indent_style = space
indent_size = 2

lang

lang="zh-CN"
<meta charset='utf-8'>
放在<title>上面