robots.txt e robôs de IA: quem liberar e quem bloquear

24 de outubro de 2026 · 3 min de leitura · Agência de IA Brasil

O robots.txt é o arquivo que diz a cada robô o que ele pode ler no seu site. As empresas de IA usam robôs diferentes para treino, para busca e para pedidos feitos pelo usuário, e bloquear o robô errado pode tirar você das respostas. Se você não sabe como o seu site está hoje, o Scan de IA inclui essa verificação.

Os robôs, segundo cada empresa

Todos os nomes abaixo foram conferidos na documentação oficial de cada empresa, listada nas fontes.

OpenAI

• OAI-SearchBot: mostra sites nos recursos de busca do ChatGPT. Quem bloqueia não aparece nas respostas de busca.
• GPTBot: coleta conteúdo que pode ser usado no treino dos modelos.
• ChatGPT-User: visita páginas quando o usuário pede. A OpenAI avisa que o robots.txt pode não se aplicar, por ser ação do usuário.

Anthropic (Claude)

• ClaudeBot: coleta conteúdo que pode ser usado no treino.
• Claude-User: busca páginas quando a pergunta de um usuário exige.
• Claude-SearchBot: rastreia a web para melhorar os resultados de busca. A Anthropic informa que bloqueá-lo pode reduzir a visibilidade nesses resultados.

Perplexity

• PerplexityBot: mostra e linka sites nos resultados do Perplexity. A empresa diz que ele não é usado para treinar modelos de base.
• Perplexity-User: atende ações do usuário e, segundo a Perplexity, em geral ignora o robots.txt.

Google

• Googlebot: o robô da busca. Ele é que define a presença na busca e nos recursos de IA da busca.
• Google-Extended: não é um robô separado, é um token. Controla se o conteúdo pode ser usado para treinar os modelos Gemini e para embasar respostas no app Gemini e no Vertex AI. O Google afirma que ele não afeta a inclusão na busca.

Apple

• Applebot: rastreia para Spotlight, Siri e Safari, e os dados podem ajudar a treinar modelos da Apple.
• Applebot-Extended: só controla o uso para treino de modelos generativos. Bloquear não tira o site da busca.

Passo a passo para montar o seu

1. Veja o arquivo atual

Abra seudominio.com.br/robots.txt. Se não existir, todos os robôs estão liberados por padrão.

2. Decida separando busca de treino

A pergunta certa não é “libero IA ou não?”. São duas: quero aparecer nas respostas das IAs? E aceito que meu conteúdo seja usado para treino? Para aparecer, os robôs de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Applebot) precisam estar liberados. A decisão sobre treino é sua.

3. Escreva as regras

Para liberar tudo, um bloco por robô deixa a intenção explícita:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://seudominio.com.br/sitemap.xml

Para bloquear só o treino da OpenAI, troque o bloco do GPTBot por Disallow: / e mantenha o OAI-SearchBot liberado.

4. Confira o firewall

Muitas hospedagens e CDNs têm proteção contra robôs que bloqueia por user-agent, ignorando o robots.txt. Se o arquivo libera e o robô recebe erro, o problema está ali.

5. Revise de tempos em tempos

As empresas criam robôs novos e mudam funções. Anote no próprio arquivo, em comentário, de onde tirou cada nome e quando conferiu.

Erros comuns

• User-agent: * com Disallow: / esquecido de quando o site estava em construção.
• Bloquear o GPTBot achando que isso tira do ChatGPT, e bloquear junto o OAI-SearchBot.
• Copiar listas prontas da internet com nomes de robôs que não existem.

Se quiser ir além do robots.txt, veja llms.txt: precisa? e como aparecer no ChatGPT.

Perguntas frequentes

Bloquear o Google-Extended me tira do Google?

Não. O Google afirma que o Google-Extended não afeta a inclusão nem a classificação na busca.

O robots.txt impede qualquer acesso?

Não. É uma instrução que os robôs respeitosos seguem. A OpenAI e a Perplexity avisam que os robôs acionados pelo usuário podem não seguir o arquivo.

Preciso listar cada robô?

Não é obrigatório. Sem regra específica, vale o bloco User-agent: *. Listar ajuda a deixar a decisão clara.

Onde fica o arquivo?

Na raiz do domínio, e um por subdomínio, como lembra a documentação da Anthropic.