robots.txt檔名必須小寫，主要語法如下：
- User-Agent:
表示不接受某Robot的抓取範例：
User-Agent: *
表示不接受任何Robot抓取
User-Agent: Slurp
Slurp是Yahoo! crawler的名稱，表示只有不接受Slurp這個Robot抓取，但接受其他Robot抓取 - Disallow:
表示在這個目錄之下的網頁不接受Robot抓取範例：
Disallow: /
表示根目錄下所有的網頁都不接受抓取 Disallow: /news
表示只有news這個目錄下的網頁不接受抓取 - 範例：
User-agent: *
Disallow: /cyberworld/map/
Disallow: /tmp/
Disallow: /foo.html
表示所有Robot都不能抓取“/cyberworld/map/”、“/tmp/”和“/foo.html”三個目錄下的網頁。更多robots.txt的相關說明請參考RES (Robots Exclusion Standard)。
請先 登入 以發表留言。