# Документация MailInfra открыта для индексации целиком, включая
# ИИ-краулеры: страницы документации — это то, что мы хотим видеть в ответах
# ассистентов. Правило `User-agent: *` ниже и так разрешает всё; отдельные
# записи оставлены явно, чтобы намерение читалось при аудите и чтобы снятие
# доступа было осознанной правкой, а не побочным эффектом общего Disallow.
#
# Машиночитаемая выжимка документации для LLM — /llms.txt и /llms-full.txt
# (генерируются на билде, см. scripts/gen-llms-txt.mjs).

# ---- Поисковые и ИИ-краулеры OpenAI
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# ---- Anthropic
User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

# ---- Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# ---- Google Gemini (обычный Googlebot попадает под `*`)
User-agent: Google-Extended
Allow: /

# ---- Яндекс: нейро-ответы и обучение
User-agent: YandexAdditional
Allow: /

User-agent: YandexAdditionalBot
Allow: /

# ---- Common Crawl — источник датасетов для большинства открытых моделей
User-agent: CCBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://docs.mailinfra.ru/sitemap.xml