Gerador Robots.txt

Padrão - Todos os robôs são:

SELECIONE PARA FILTRAR

Atraso de rastreamento::

SELECIONE PARA FILTRAR

Sitemap: (deixe em branco se você não tiver um):

Robôs de busca:

Google

SELECIONE PARA FILTRAR

Google Image

SELECIONE PARA FILTRAR

Google Mobile

SELECIONE PARA FILTRAR

MSN Search

SELECIONE PARA FILTRAR

Yahoo

SELECIONE PARA FILTRAR

Yahoo MM

SELECIONE PARA FILTRAR

Yahoo Blogs

SELECIONE PARA FILTRAR

Ask/Teoma

SELECIONE PARA FILTRAR

GigaBlast

SELECIONE PARA FILTRAR

DMOZ Checker

SELECIONE PARA FILTRAR

Nutch

SELECIONE PARA FILTRAR

Alexa/Wayback

SELECIONE PARA FILTRAR

Baidu

SELECIONE PARA FILTRAR

Naver

SELECIONE PARA FILTRAR

MSN PicSearch

SELECIONE PARA FILTRAR

Diretórios restritos:

O caminho é relativo à raiz e deve conter uma barra à direita "/":

CÓDIGO

>Agora crie o arquivo 'robots.txt' na raiz diretório. Copie o texto abaixo e cole-o no arquivo.

# robots.txt generator by devtoolspro.com.br

User-agent: *
Disallow:

Disallow: /cgi-bin/

Sobre o Robot Generator.txt

O arquivo robots.txt é um item chave para gerenciando o comportamento dos rastreadores no site.

Você pode escolher quais páginas podem ser rastreadas, quanto tempo o robô deve passar em cada página, definir um sitemap e ainda realizar configurações para cada robô, sendo as principais:

Googlebot
googlebot-image
googlebot-mobile
MSNBot
Slurp
Teoma
Gigabot
Robozilla
Nutch
ia_archiver
baiduspider
naverbot
yahoo-mmcrawler
psbot
yahoo-blogs/v3.9