Robots.txt генератор

Файл Robots.txt на веб-сайте помогает веб-мастеру игнорировать указанные файлы или каталоги, когда Secrch Engine Spider ползет сайт.

Robots.txt Generator поможет вам проще получить файл Robost.txt, Wehhy вы выбираете, выбираете поисковую систему и время задержки, введите URL-адрес Sitemap и выберите разрешенные роты, затем получите свой код. код, как указано ниже:

Агент пользователя: *

Запретить: /

Пользовательский агент: ia_archiver

Запретить:

Пользовательский агент: slurp

Запретить:

Агент пользователей: Aport

Запретить:

Агент пользователей: Теома

Запретить:

Агент пользователя: Baiduspider

Запретить:

Агент пользователя: Twicleler

Запретить:

Агент пользователей: Robozilla

Запретить:

Агент пользователей: Gigabot

Запретить:

Пользовательский агент: GoogleBot

Запретить:

Пользовательский агент: GoogleBot-Image

Запретить:

Пользовательский агент: GoogleBot-Mobile

Запретить:

Пользовательский агент: mail.ru

Запретить:

Пользовательский агент: msnbot

Запретить:

Пользовательский агент: PSBot

Запретить:

Пользовательский агент: Naverbot

Запретить:

Пользовательский агент: yeti

Запретить:

Агент пользователей: Щетка

Запретить:

Агент пользователя: Stackrambler

Запретить:

Агент пользователей: Scurubby

Запретить:

Агент пользователя: Asterias

Запретить:

Агент пользователя: Yahoo-Slurp

Запретить:

Пользовательский агент: Яндекс

Запретить:

FoxCalculators - Бесплатные калькуляторы онлайн!

Robots.txt генератор