網站中robots文件是用來管理機器人抓取網站內容的，而robots.txt文件則是放在我們網站根目錄下面的一個文本文件，用來規定什么蜘蛛可以抓取什么文件，不可以抓取什么文件。我們通常用robots來告訴搜索引擎，這個目錄你可以進，哪個目錄你不可以進。

那么robots文件應該怎么設置呢，下面小編就來與大家一起學習下。

我們建議新網站千萬不要先把網站文件上傳到空間后加個robots.txt，然后填充信息，填充好了才開放抓取。如果可以在本地把長沙網站建設建立好，填充好內容再上傳最好，否則上傳到空間加robots禁止抓取，等開放抓取的時候，百度蜘蛛很可能又會幾個月時間都反應不過來。幾個月后網站才被收錄，對網站優化的周期影響無疑是巨大的。因此建議大家多多注意robots的設置。