Pular para o conteúdo
Dev · grátis

Gerador de robots.txt

O robots.txt diz aos buscadores o que rastrear. Um erro comum é bloquear CSS e JS — isso impede o Google de renderizar a página corretamente e derruba o desempenho na busca.

robots.txt
User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/
Disallow: /login

Sitemap: https://iamania.online/sitemap.xml

Publique o arquivo em https://seudominio.com/robots.txt. Nunca bloqueie /assets, /css ou /js — o Google precisa desses arquivos para renderizar sua página.

Como usar

  1. Informe a URL do sitemap.
  2. Marque as pastas que devem ficar fora do índice.
  3. Baixe o arquivo e envie para a raiz do domínio.

A ferramenta funciona direto no navegador, no computador ou no celular. Não é necessário criar conta, instalar extensão nem informar e-mail.

Perguntas frequentes

Robots.txt remove página do Google?

Não. Para remover do índice, use a tag noindex. O robots.txt apenas impede o rastreamento.

Devo bloquear bots de IA?

Depende da estratégia. Bloquear impede o uso do seu conteúdo em treinamento; permitir pode gerar citações em respostas de IA.

Onde o arquivo deve ficar?

Na raiz do domínio: https://seudominio.com/robots.txt

Ver todas as 20 ferramentas →