Como o Claude busca informações na web
· 3 min de leitura · Agência de IA Brasil
O Claude, assistente da Anthropic, usa três robôs diferentes: um para treino, um para pedidos de usuários e um para busca. A Anthropic documenta que bloquear os robôs de busca e de usuário pode reduzir a visibilidade do seu site nas respostas. Se você quer saber se o Claude cita a sua empresa hoje, o Scan de IA mede isso.
Os três robôs da Anthropic
Na central de ajuda da Anthropic, a empresa lista três agentes, cada um com um nome próprio para o robots.txt:
- ClaudeBot: coleta conteúdo público da web que pode ser usado para treinar os modelos de IA generativa da Anthropic. Bloquear o ClaudeBot sinaliza que o conteúdo futuro do site deve ficar fora dos dados de treino.
- Claude-User: busca páginas quando a pergunta de um usuário do Claude exige acessar um site. A Anthropic informa que bloqueá-lo impede a leitura do seu conteúdo nesses pedidos, o que pode reduzir a sua visibilidade nesse contexto.
- Claude-SearchBot: rastreia a web para melhorar a qualidade e a precisão dos resultados de busca. Bloqueá-lo impede a indexação para busca, o que pode reduzir a visibilidade do site nesses resultados.
A decisão que importa
Como os três são separados, dá para decidir uma coisa sem decidir as outras. Quem não quer o conteúdo usado em treino pode bloquear só o ClaudeBot e manter o Claude-User e o Claude-SearchBot liberados. Quem quer aparecer nas respostas do Claude precisa desses dois liberados, segundo a própria descrição da Anthropic.
O erro comum é bloquear todos achando que está bloqueando só o treino. Também acontece de uma lista copiada da internet incluir nomes antigos ou inventados e deixar de fora os robôs que existem de fato. Confira sempre na documentação oficial.
Passo a passo
1. Veja o robots.txt atual
Abra seudominio.com.br/robots.txt e procure por ClaudeBot, Claude-User, Claude-SearchBot e pelo bloco User-agent: *.
2. Decida sobre treino separadamente
Se a sua escolha é não participar de treino, bloqueie o ClaudeBot com Disallow: /. Isso, pela documentação, não bloqueia os outros dois.
3. Libere busca e usuário
Mantenha Claude-SearchBot e Claude-User sem bloqueio. O exemplo completo de arquivo, com os robôs das outras empresas, está em robots.txt e robôs de IA.
4. Repita em cada subdomínio
A Anthropic lembra que a regra precisa estar no robots.txt de cada subdomínio. Se você tem loja.seudominio.com.br ou blog.seudominio.com.br, cada um tem o seu arquivo, e uma regra no domínio principal não vale para eles.
5. Confira a camada de proteção
Firewall e proteção contra robôs da hospedagem podem bloquear esses agentes mesmo com o robots.txt liberado. Vale pedir uma checagem a quem cuida do site.
6. Teste no Claude
Pergunte ao Claude o que um cliente perguntaria, repita algumas vezes e anote se a empresa aparece e o que é dito. Para entender por que uma IA acerta e outra erra, veja de onde as IAs tiram as fontes.
O que a Anthropic não documenta
O artigo de ajuda explica os robôs e como bloqueá-los, mas não explica como o Claude escolhe quais páginas citar. Também não indica prazo para uma mudança no robots.txt ter efeito.
Perguntas frequentes
Bloquear o ClaudeBot tira minha empresa do Claude?
Pela documentação, o ClaudeBot é o robô de treino. A visibilidade nas respostas depende do Claude-User e do Claude-SearchBot.
Preciso listar cada robô no robots.txt?
Não é obrigatório: sem regra específica, vale o bloco User-agent: *. Listar deixa a decisão explícita.
O robots.txt vale para todo o domínio?
Vale para o host onde está. A Anthropic orienta colocar a regra em cada subdomínio.
Como sei se funcionou?
Repetindo as mesmas perguntas ao Claude ao longo do tempo e comparando as respostas.
Fontes
Documentação oficial consultada para este texto.
Próximo passo: veja como as IAs falam da sua empresa hoje.
