AI 크롤러 검사
도메인을 입력하면 robots.txt를 읽어 AI 검색엔진·AI 학습 크롤러가 사이트에 들어올 수 있는지 봇별로 알려 드립니다. llms.txt 유무도 확인합니다.
자주 묻는 질문
AI 학습 크롤러는 막아야 하나요?
선택입니다. 학습 봇(GPTBot·CCBot·Google-Extended)을 막으면 모델 학습에서 빠지지만 AI 검색 답변에는 영향이 적습니다. 검색 봇(OAI-SearchBot·PerplexityBot·Claude-SearchBot)을 막으면 그 답변에서 빠집니다.
Google-Extended는 구글 검색·AI 개요에 영향을 주나요?
아니요. Google-Extended는 Gemini 학습·그라운딩 사용을 정합니다. AI 개요는 일반 Googlebot 색인에서 나옵니다.
llms.txt가 뭔가요?
사이트 루트(/llms.txt)에 두는 텍스트 파일로, AI 어시스턴트에게 사이트 요약과 주요 페이지를 알려 주자는 제안입니다. 선택 사항이며 모든 AI가 읽는 표준은 아직 아닙니다.
이걸 매주, ChatGPT·Gemini·Perplexity 전부에서 받아 보고 싶다면?
PromptRanking은 모든 플랫폼에서 브랜드를 추적하고, 대신 언급되는 경쟁사를 보여 주고, 빈틈을 메울 콘텐츠를 써 드립니다.
무료로 시작