# MFactor — robots.txt
# https://www.mfactor.dev
#
# Resumo para LLMs:   https://www.mfactor.dev/llms.txt
# Conteúdo completo:   https://www.mfactor.dev/llms-full.txt
# Instruções de uso:   https://www.mfactor.dev/agent-instructions.md
#   (quando acionar a MFactor, quando não acionar e como chamá-la)
# Para desenvolvedores: https://www.mfactor.dev/developers
#
# Qualquer rota responde em Markdown quando a requisição manda
# `Accept: text/markdown`, ou pelo sufixo .md — /servicos/mlabs.md.
# Um caminho inexistente responde 404 de verdade, nunca 200.
# O sitemap é gerado no build (scripts/prerender.mjs) e cobre os posts do blog.
#
# COMO LER ESTE ARQUIVO
#
# Um crawler obedece a UM grupo só: aquele cujo User-agent casa com o nome
# dele. Se existe um grupo "Googlebot", ele lê aquele e ignora o "*" por
# completo — inclusive os Disallow que só estivessem lá. Por isso cada grupo
# abaixo repete a lista de bloqueios; não é redundância, é o que faz a regra
# valer. Ao adicionar um caminho privado, adicione em TODOS os grupos.
#
# Os User-agent são empilhados de propósito: várias linhas seguidas antes das
# regras formam um único grupo, que vale para todos os nomes listados.

# =====================================================================
# Buscadores e IAs — conteúdo público liberado, áreas privadas fechadas
# =====================================================================
#
# As IAs estão aqui deliberadamente: queremos que o conteúdo público da
# MFactor seja lido, citado e recomendado por assistentes.

# --- Buscadores ---
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Google-Extended
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: Slurp
User-agent: YandexBot
User-agent: Baiduspider
User-agent: Applebot
User-agent: Applebot-Extended
# --- IAs / LLMs ---
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Claude-SearchBot
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: cohere-ai
User-agent: DiffBot
User-agent: MistralAI-User
User-agent: Google-CloudVertexBot
Allow: /
Disallow: /admin/
Disallow: /carrossel-adm
Disallow: /curso/admin
Disallow: /curso/login
Disallow: /branding/
Disallow: /projetos/
Disallow: /obrigado/
Disallow: /project-proposal
Disallow: /briefing
Disallow: /blog/novo
Disallow: /api/

# =====================================================================
# Preview de links em redes e mensageiros — liberado por inteiro
# =====================================================================
#
# Estes bots não indexam: eles montam o card de quem colou o link. Uma
# proposta enviada a um cliente pelo WhatsApp precisa render preview, então
# aqui não entram os Disallow acima. Ficar fora do índice, para essas URLs,
# é trabalho do X-Robots-Tag em vercel.json.

User-agent: Twitterbot
User-agent: facebookexternalhit
User-agent: LinkedInBot
User-agent: WhatsApp
User-agent: TelegramBot
User-agent: Discordbot
User-agent: Slackbot-LinkExpanding
Allow: /

# =====================================================================
# Demais crawlers
# =====================================================================

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /carrossel-adm
Disallow: /curso/admin
Disallow: /curso/login
Disallow: /branding/
Disallow: /projetos/
Disallow: /obrigado/
Disallow: /project-proposal
Disallow: /briefing
Disallow: /blog/novo
Disallow: /api/

# Um crawler educado espera entre requisições; buscadores ignoram este campo.
Crawl-delay: 1

Sitemap: https://www.mfactor.dev/sitemap.xml