Как открыть сайт поисковым роботам ChatGPT, Claude и Perplexity

Ты сделал сайт или продукт, но на вопрос «посоветуй сервис для такой задачи» ChatGPT, Claude и Perplexity его не называют. Стоит проверить, может ли ассистент прочитать твой сайт и не закрыт ли ему доступ.

Кнопки «попасть в ответ нейросети» не существует, и цитирование никто не гарантирует. У ChatGPT, Claude и Perplexity есть отдельные роботы для поиска: им можно открыть сайт через robots.txt. Затем нужно проверить, доступен ли им текст страниц и не мешает ли защита сайта.

В Telegram-канале - новости вайб-кодинга: инструменты, находки, ошибки. Подпишись, если хочешь следить за обновлениями.

Что значит «быть видимым для нейросети»?

Когда человек спрашивает ChatGPT или Perplexity «где почитать про X» или «какой сервис выбрать», ассистент иногда ищет в интернете и добавляет ссылки на страницы. Чтобы твоя страница попала в этот список кандидатов, робот ассистента должен был её прочитать и не получить запрет на доступ.

На своём сайте стоит проверить три вещи:

• робот может зайти на сайт: он не заблокирован в robots.txt, и защита не мешает доступу;
• робот видит текст страницы, а не пустую заготовку, которую дорисовывает браузер;
• страница честно и понятно отвечает на конкретный вопрос, без набора ключевых слов вместо ответа.

Начни с доступа: если робот не смог прочитать страницу, он не получит и полезный текст, который на ней размещён.

Чем поисковый робот отличается от обучающего?

Разрешать или запрещать доступ нужно для каждого робота отдельно. Общее решение «пустить нейросеть на сайт» не учитывает различий между их задачами.

• Поисковый робот нужен, чтобы твои страницы могли попадать в ответы ассистента, когда пользователь что-то спрашивает. Его стоит пускать, если хочешь, чтобы сайт был доступен для поиска.
• Обучающий робот собирает тексты, которые могут пойти на обучение будущих версий модели. Пускать его или нет - твоё решение; на попадание в текущие ответы поиска это напрямую не влияет.

В документации OpenAI приведён пример: можно разрешить поисковому роботу обход сайта и одновременно запретить доступ обучающему, чтобы тексты сайта не шли в обучение. Эти две настройки задаются независимо друг от друга в одном файле.

Как называются роботы ChatGPT, Claude и Perplexity?

Чтобы настроить доступ, нужны точные имена роботов (user-agent) - их указывают в robots.txt. В таблице собраны имена и назначения по официальной документации каждого разработчика на сентябрь 2026 года.

Роботы ChatGPT-User, Claude-User и Perplexity-User заходят на страницу по просьбе человека в диалоге, но правила доступа у разработчиков различаются. OpenAI пишет, что для ChatGPT-User правила robots.txt могут не применяться. Perplexity указывает, что Perplexity-User обычно их игнорирует, потому что заход инициирован пользователем. У Anthropic доступ Claude-User управляется через robots.txt: если его там закрыть, Claude не будет забирать страницы по запросам пользователей. Разрешение для поисковых роботов настраивается отдельно.

У Google-Extended нет собственной строки user-agent при обходе - это только управляющий токен в robots.txt. Он определяет, можно ли использовать твои материалы для генеративного ИИ Google, и не влияет на обычный поиск Google.

Если хочешь собрать сайт с понятной структурой и доступным текстом, продумай, как организовать информацию. В Втором мозге ты раскладываешь её так, чтобы читать было удобно и человеку, и машине. На практикуме показываю связку ИИ-клон + Второй мозг + Контекст-инжиниринг. Практикум посвящён работе с информацией и не гарантирует, что ассистент прочитает или процитирует сайт.

Практикум по вайб-кодингу

+Твой второй мозг

3 вечера - инструменты, метод, первый проект

Старт 22–24 сентября  ·  2 000 ₽

Записаться →

Как разрешить роботов в robots.txt: по шагам

robots.txt - это обычный текстовый файл в корне сайта, доступный по адресу вида https://твой-сайт.ру/robots.txt. Роботы читают его перед обходом и следуют указаниям, с оговорками для заходов по запросу пользователя, описанными выше.

1. Открой свой текущий файл. Набери в браузере адрес сайта и добавь /robots.txt. Посмотри, что уже записано в файле и не закрыты ли случайно нужные роботы строкой Disallow: /. Заодно найди строки Disallow: для служебных разделов - личного кабинета, оплаты, админки: они понадобятся на следующем шаге.
2. Добавь группу для поисковых роботов ассистентов. В каждой группе указаны имя робота и правила доступа. Разрешение обхода - это Allow: /. Робот следует правилам той группы, где его имя указано отдельно, и не берёт правила из общей группы User-agent: *. Запреты, которые стоят только в User-agent: *, на такого робота не распространяются. Если у тебя есть закрытые служебные разделы, повтори те же строки Disallow: внутри каждой новой группы, иначе для этого робота они окажутся открыты.
3. Прими отдельное решение по обучающим роботам. Если не хочешь, чтобы тексты шли в обучение, для GPTBot и ClaudeBot поставь Disallow: /. На видимость в поиске это не повлияет.
4. Сохрани файл в корне сайта и проверь, что он открывается по адресу /robots.txt. Если у тебя есть поддомены (например, blog.твой-сайт.ру), файл нужен на каждом из них - для каждого поддомена роботы читают свой файл.

Перед копированием примера проверь запреты для служебных разделов. Если оставить Disallow: /dashboard/ только в User-agent: *, он не подействует на OAI-SearchBot, у которого есть отдельная группа. Служебные пути нужно перечислить в каждой группе, где ты открываешь роботу обход.

В примере ниже поисковые роботы ассистентов разрешены, но служебный раздел /dashboard/ закрыт прямо в их группах; обучающие роботы запрещены целиком. Запрет для обучающих роботов оставлять необязательно - это твоё решение, а список служебных путей замени на свой.

# Пускаем поисковых роботов ассистентов, но закрываем служебные разделы
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Обучающих роботов не пускаем (по желанию)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Карта сайта помогает роботам найти все страницы
Sitemap: https://твой-сайт.ру/sitemap.xml

По документации OpenAI и Perplexity, на учёт изменений robots.txt их системам может понадобиться около суток. Не жди мгновенного эффекта после сохранения файла.

Как это выглядит на живом сайте

Пример такой настройки есть на нашем сайте. Если открыть robots.txt СмыслоКода, видно, что имена роботов ассистентов - GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended и другие - собраны в одну группу. Под ними идут Allow: / и те же строки Disallow: для служебных разделов, что и в общей группе User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ и другие. В конце файла указаны карты сайта через директиву Sitemap:.

Запреты повторены в группе роботов ассистентов, чтобы служебные разделы были закрыты и для них тоже. Ты можешь открыть /robots.txt любого сайта и посмотреть, как это сделано у него - файл всегда публичный.

Что ещё помогает роботам понять сайт?

Даже с разрешением на обход робот может не получить содержимое страницы. Помимо правил доступа, проверь, как сайт отдаёт текст и помогает находить материалы.

• Текст доступен сразу. Если содержимое страницы дорисовывается скриптами уже в браузере, часть роботов увидит пустую заготовку. Для проверки открой страницу, нажми «посмотреть исходный код» и поищи свой текст. Если его там нет и он появляется только при обычном просмотре, нужно разобраться с тем, как отдаётся страница.
• Есть карта сайта. Файл sitemap.xml - это список всех твоих страниц. Он помогает роботам не пропустить материалы. Ссылку на него ставят в robots.txt строкой Sitemap:.
• Ответ понятен человеку. Роботы ассистентов ищут страницы, которые отвечают на вопрос. Понятный заголовок, короткий ответ в начале и честные условия работают лучше, чем набор ключевых слов.

llms.txt - предложенный сообществом формат: текстовый файл-указатель для ИИ, где кратко перечислено, что есть на сайте. Его можно завести по желанию. Это не официальный обязательный стандарт поисковых систем, и его поддержка ассистентами не гарантирована. Сам по себе файл не гарантирует, что сайт появится в ответах.

Почему сайт может быть невидим для ИИ?

Если сайт не появляется в ответах, проверь эти возможные препятствия для доступа.

• Робот закрыт в robots.txt. Иногда в файле стоит общий запрет, который перекрывает нужных роботов. Проверь, нет ли Disallow: / в группе, которая касается роботов ассистентов.
• Текст не виден без браузера. Если содержимое собирается скриптами, робот может его не получить. Проверка исходного кода описана выше.
• Защита сайта блокирует роботов. Многие сайты используют защиту от нежелательного трафика - например, Cloudflare. Она может блокировать доступ независимо от robots.txt. Через robots.txt ты управляешь тем, куда роботу можно заходить, а защита сайта решает, пропустить ли его запрос. Perplexity рекомендует вручную разрешить роботов в настройках защиты по имени user-agent и опубликованным IP-адресам. При этом правила обхода задавай через robots.txt: Anthropic отдельно предупреждает, что блокировать роботов только по IP-адресам ненадёжно. Если у тебя стоит подобный сервис, проверь его настройки.

Проверяй причины по очереди: начни с robots.txt, затем посмотри исходный код страницы и после этого настройки защиты. Отсутствие этих препятствий само по себе не гарантирует появления сайта в ответах.

Как проверить, что робот дошёл до страницы?

Эта проверка помогает оценить доступность сайта и найти записи об обращениях роботов.

• Открой https://твой-сайт.ру/robots.txt в браузере - файл должен открываться и содержать нужные группы.
• Открой карту сайта https://твой-сайт.ру/sitemap.xml - она должна открываться и перечислять страницы.
• Посмотри исходный код важной страницы и найди в нём свой текст.
• Если есть доступ к журналам сервера (логам), поищи в них имена роботов - OAI-SearchBot, PerplexityBot и другие. Их визиты видны по user-agent.

Проверка не покажет, выберет ли ассистент именно твою страницу. Это зависит от вопроса пользователя и от того, насколько страница на него отвечает.

Чего настройка не гарантирует

Доступ к сайту и его появление в ответе ассистента - разные результаты. У настройки есть ограничения.

• Цитирование не гарантировано. Открытый доступ лишь даёт роботу возможность прочитать сайт. Сошлётся ассистент на тебя или нет - решает он сам, исходя из вопроса.
• Позиции и трафик никто не обещает. Настройка robots.txt открывает доступ, но не обеспечивает место в выдаче.
• Часть роботов может игнорировать правила файла. Это касается некоторых роботов, которые заходят по прямому запросу пользователя, - например, ChatGPT-User у OpenAI и Perplexity-User у Perplexity.
• Правила меняются. Разработчики обновляют имена роботов и условия. Раз в несколько месяцев стоит перепроверить документацию, ссылки на неё - в конце.

Ты управляешь доступом и качеством своего сайта, но решение о ссылке остаётся за ассистентом. Цель настройки - сделать полезную страницу доступной для поиска и чтения, без попыток «обмануть» ассистента.

Что дальше

Открой robots.txt, добавь поисковых роботов ассистентов, проверь карту сайта и доступность текста. Если доступ блокирует защита, проверь и её настройки. Эти действия помогают найти и убрать технические препятствия. Затем проверь сами страницы: дают ли они понятные ответы на конкретные вопросы твоей аудитории.

Полная схема вайб-кодинга за три вечера: ИИ-клон + Второй мозг + Контекст-инжиниринг. Записи эфиров в личном кабинете, доступ 30 дней.

Практикум по вайб-кодингу

+Твой второй мозг

3 вечера - инструменты, метод, первый проект

Старт 22–24 сентября  ·  2 000 ₽

Записаться →

Новые материалы - дайджестом, без спама

Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.

Подписаться в Telegramили на email