robots.txt是什么：

robots.txt是一個純文本文件，在這個文件中網站管理者可以聲明該網站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內容。

當一個搜索機器人（有的叫搜索蜘蛛）訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，那么搜索機器人就沿著鏈接抓取。

另外，robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。

什么情況下可以修改：

當你在程序中新增加文件夾的時候，而且該文件夾不想被搜索引擎抓取時，就可以修改了，使用記事本打開，然后在最下面添加Disallow: /文件夾名稱/即可。

一般情況下我們個人網站考慮不讓搜索引擎抓取是出于保護隱私、增加安全性、做搜索引擎優化而進行的，按照這樣的思路，哪些文件夾設置為拒絕抓取就一目了然了