Проверка AI-краулеров
Введите ваш домен. Мы прочитаем robots.txt и расскажем по каждому боту, есть ли у AI-поисковиков и краулеров для обучения AI доступ к вашему сайту. Также проверим наличие файла llms.txt.
FAQ
Стоит ли блокировать краулеры для обучения AI?
Решать вам. Блокировка ботов для обучения (GPTBot, CCBot, Google-Extended) не даёт использовать ваш контент для обучения моделей, но почти не влияет на ответы AI-поиска. Блокировка поисковых ботов (OAI-SearchBot, PerplexityBot, Claude-SearchBot) убирает вас из этих ответов.
Влияет ли Google-Extended на Google Search или AI Overviews?
Нет. Google-Extended управляет использованием для обучения и обоснования Gemini. AI Overviews формируются из обычного индекса Googlebot.
Что такое llms.txt?
Предложенный текстовый файл по адресу /llms.txt, который даёт AI-ассистентам краткую структурированную карту вашего сайта. Он необязателен и пока не является стандартом, который читают все ассистенты.
Хотите так каждую неделю — в ChatGPT, Gemini и Perplexity?
PromptRanking отслеживает ваш бренд на всех платформах, показывает конкурентов, которых называют вместо вас, и пишет контент, чтобы закрыть разрыв.
Начать бесплатно