robots.txt: o arquivo que decide se a IA lê o seu site.

Todo site pode ter um arquivo em seunegocio.com.br/robots.txt. Ele é uma lista de regras: este robô pode ler, aquele não. Os robôs bem-comportados, incluindo os das grandes IAs, respeitam o que está escrito ali.

O problema é que muita gente bloqueou "as IAs" de uma vez, por receio de ter o conteúdo usado em treino. Junto foi o robô que busca páginas para responder perguntas, e a empresa sumiu das respostas.

Os robôs que importam

• OpenAI: OAI-SearchBot busca páginas para o ChatGPT citar; ChatGPT-User abre a página quando a pessoa pede; GPTBot coleta para treino.
• Perplexity: PerplexityBot indexa para as respostas; Perplexity-User abre a página a pedido da pessoa.
• Anthropic: ClaudeBot, Claude-SearchBot e Claude-User.
• Google: o Googlebot de sempre alimenta a busca e as Visões Gerais criadas por IA. Google-Extended só controla o uso no treino do Gemini.

Um robots.txt que libera a busca

User-agent: *
Allow: /
Disallow: /admin

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

Sitemap: https://seunegocio.com.br/sitemap.xml

Se a sua empresa não quer o conteúdo em treino, acrescente um bloco com User-agent: GPTBot e Disallow: /. Isso não afeta a busca do ChatGPT, que usa o OAI-SearchBot.

Como conferir o seu

• Abra seunegocio.com.br/robots.txt no navegador.
• Procure por Disallow: / embaixo de qualquer robô de IA de busca.
• Não confie só no arquivo: alguns firewalls e CDNs bloqueiam robôs por conta própria, antes de o arquivo ser lido.

O Raio-X de IA lê o seu robots.txt e testa o acesso de verdade, e aponta qual robô está barrado.