User-agent: *
Allow: /

# Роботы ИИ-ответов ходят по общему правилу выше: упоминания в ответах
# ассистентов это отдельный канал, по которому нас находят. Ниже они
# названы явно, чтобы при будущей правке общего правила не потеряли
# доступ молча. Робот читает только свою группу и общую не наследует.
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Applebot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: YandexBot
Allow: /

# Сборщики данных для обучения закрыты: материалы о здоровье отдавать
# на обучение моделей мы не разрешали, а сайту это ничего не даёт.
# Это именно обучение, а не поиск: ИИ-ответы у своих владельцев идут
# отдельными роботами выше и остаются в доступе.
User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

# Метки в адресе не создают новую страницу. Яндекс отбрасывает их
# и сводит адрес к чистому, Google делает то же по canonical.
Clean-param: ref&t&test&scena&podarok&from&utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&gclid&ysclid&fbclid /

Sitemap: https://goinside.ru/sitemap.xml
Sitemap: https://goinside.ru/rss.xml