robots.txt是用來告訴搜索引擎網站上哪些內容可以被訪問、哪些不能被訪問。當搜索引擎訪問一個網站的時候，它首先會檢查網站是否存在robots.txt，如果有則會根據文件命令訪問有權限的文件。

1、定義搜索引擎

用User-agent：來定義搜索引擎，其中*表示所有，Baiduspider表示百度蜘蛛，Googlebot表示谷歌蜘蛛。

也就是說User-agent：*表示定義所有蜘蛛，User-agent：Baiduspider表示定義百度蜘蛛。

2、禁止與允許訪問

Disallow: /表示禁止訪問，Allow: /表示允許訪問。

在寫robots.txt時需特別注意的是，/前面有一個英文狀態下的空格（必須是英文狀態下的空格）。

3、禁止搜索引擎訪問網站中的某幾個文件夾，以a、b、c為例，寫法分別如下：

Disallow: /a/

Disallow: /b/

Disallow: /c/

4、禁止搜索引擎訪問文件夾中的某一類文件，以a文件夾中的js文件為例，寫法如下：

Disallow: /a/*.js

5、只允許某個搜索引擎訪問，以Baiduspider為例，寫法如下：

User-agent: Baiduspider

Disallow:

robots.txt文件存放位置