當檢索器到達您的網站時，它們會自動抓取 robots.txt 文件。此文件應包含用於機器人的命令，例如哪些頁面應該或不應該編制索引。它的格式必須正確，以確保搜索引擎可以抓取並且讀取它。

如果您不想對某些內容建立索引，例如私人內容或重複內容的頁面，只需在 robots.txt 文件中使用相對應的規則即可。

有關此類規則的更多資訊，請訪問 robotstxt.org 網站了解更多。

值得注意的是，放置在 robots.txt 文件中的命令更像是建議，而不是機器人遵循的絕對規則。任誰也無法保證某些不聽話的檢索機器人不會檢查您不允許的內容。因此，如果您的網站上有任何秘密或敏感內容，robots.txt 並不是將其與公眾隔離的一種方法。

就算您的網站上有可用的有效 robots.txt 文件，也不能保證搜索引擎將會快速、正確地將其編入索引。

首先，必須正確設置文件本身，以免誤將一些重要內容排除在索引之外。檢查無法建立索引的資源，以查看搜索引擎關閉了您網站上的哪些內容。

接下來，為了確保最重要頁面的快速索引編制，您還應該檢查 xml.sitemap 的可用性。