Robots.txt генератор

By default all robots are

Crawl delay

 

Sitemap URL. Leave blank for none.

Robots are allowed to crawl your site:

 

Restricted directories or files. Relative to root, with trailing slash for dirs.

Your Robots.txt

Файл Robots.txt на веб-сайте помогает веб-мастеру игнорировать указанные файлы или каталоги, когда Secrch Engine Spider ползет сайт.

Robots.txt Generator поможет вам проще получить файл Robost.txt, Wehhy вы выбираете, выбираете поисковую систему и время задержки, введите URL-адрес Sitemap и выберите разрешенные роты, затем получите свой код. код, как указано ниже:

.

Агент пользователя: *

Запретить: /

Пользовательский агент: ia_archiver

Запретить:

Пользовательский агент: slurp

Запретить:

Агент пользователей: Aport

Запретить:

Агент пользователей: Теома

Запретить:

Агент пользователя: Baiduspider

Запретить:

Агент пользователя: Twicleler

Запретить:

Агент пользователей: Robozilla

Запретить:

Агент пользователей: Gigabot

Запретить:

Пользовательский агент: GoogleBot

Запретить:

Пользовательский агент: GoogleBot-Image

Запретить:

Пользовательский агент: GoogleBot-Mobile

Запретить:

Пользовательский агент: mail.ru

Запретить:

Пользовательский агент: msnbot

Запретить:

Пользовательский агент: PSBot

Запретить:

Пользовательский агент: Naverbot

Запретить:

Пользовательский агент: yeti

Запретить:

Агент пользователей: Щетка

Запретить:

Агент пользователя: Stackrambler

Запретить:

Агент пользователей: Scurubby

Запретить:

Агент пользователя: Asterias

Запретить:

Агент пользователя: Yahoo-Slurp

Запретить:

Пользовательский агент: Яндекс

Запретить:

Robots.txt генератор