SEO
색인 문제를 보기 전 robots.txt와 sitemap 점검 체크리스트
검색 색인 문제를 조사하기 전에 robots.txt, sitemap URL, canonical 태그, 리다이렉트, 내부 링크를 확인하는 실무 체크리스트입니다.
검색 의도: 페이지는 공개됐지만 검색에는 보이지 않을 때
색인 문제는 보통 페이지를 공개한 뒤에야 발견됩니다. 브라우저에서는 잘 열리고 팀도 URL을 알고 있지만, 검색 결과에는 아직 나타나지 않습니다. 이때 바로 순위 문제로 판단하기보다 검색엔진이 페이지를 발견하고, 가져오고, canonical URL을 이해하고, 관련 내부 링크를 따라갈 수 있는지 먼저 확인해야 합니다.
작은 정적 사이트라면 첫 점검은 단순한 증거 수집으로 충분합니다. robots.txt를 열고, sitemap을 열고, 정확한 공개 URL을 확인하고, 리다이렉트를 따라가고, 관련 페이지에서 설명적인 내부 링크가 있는지 확인합니다. 삼브로의 회사 맥락은 https://sambro.space/, 브라우저 도구는 https://tools.sambro.space/ko/tools, 실무 콘텐츠는 https://blog.sambro.space/ko/에 두면 사이트 구조를 바꾸지 않고도 연결성을 높일 수 있습니다.
본문을 고치기 전에 robots.txt부터 확인하기
robots.txt는 개발자만 보는 기술 파일이 아니라 발행 증거의 일부입니다. 넓은 차단 규칙, 남아 있는 스테이징 규칙, 잘못된 sitemap 위치 한 줄 때문에 좋은 페이지도 크롤링되기 어려워질 수 있습니다. 파일이 열리는지, 기대한 sitemap을 가리키는지, 새 콘텐츠 경로를 막는 규칙이 있는지 확인합니다.
확인한 URL은 그대로 기록합니다. `blog.sambro.space`와 `www.blog.sambro.space`는 둘 다 존재한다면 서로 다른 호스트이고, HTTP에서 HTTPS로 가는 리다이렉트가 첫 응답을 숨길 수도 있습니다. 복사한 URL에 파라미터가 있으면 보고에 쓰기 전에 https://tools.sambro.space/ko/tools/url-encoder로 안전한 부분을 확인합니다.
sitemap URL과 canonical URL이 같은 의도를 가리키는지 확인하기
sitemap은 발견을 돕지만, canonical 공개 페이지를 정확히 가리킬 때 효과가 있습니다. sitemap에 예전 slug, 리다이렉트되는 URL, 언어가 섞인 경로, 프리뷰 호스트가 들어 있으면 검색엔진은 엉뚱한 주소에 시간을 쓸 수 있습니다. 페이지 본문도 canonical URL로 최종 공개 경로를 같은 방식으로 알려줘야 합니다.
실무 점검은 간단합니다. sitemap 항목을 열고, 최종 응답을 따라가고, 최종 URL과 페이지 canonical을 비교하고, title과 description이 같은 검색 의도를 설명하는지 확인합니다. meta description을 다듬을 때는 https://tools.sambro.space/ko/tools/word-counter로 핵심 작업이 앞에 보이도록 길이를 줄입니다.
내부 링크를 발견 증거로 사용하기
sitemap에만 있는 페이지도 의미는 있지만, 관련 내부 링크가 있는 페이지는 방문자와 크롤러 모두에게 위치가 더 분명합니다. 모든 페이지에 링크를 걸 필요는 없습니다. 관련 글, 도구 페이지, 카테고리 페이지 중 한 곳에서 맥락이 맞는 링크 하나만 있어도 이 페이지가 어떤 다음 행동을 돕는지 설명할 수 있습니다.
삼브로 콘텐츠에서는 `여기` 같은 모호한 앵커보다 JSON Formatter 체크리스트, Markdown Preview 워크플로, 브라우저 도구 모음처럼 목적지가 드러나는 문구를 선호합니다. 도구로 연결할 때는 가능하면 같은 언어 경로를 사용합니다. 이 작은 습관은 브랜드 문구나 라우팅을 건드리지 않고도 콘텐츠 유용성을 높입니다.
색인 점검용 최종 체크리스트
마지막 확인 항목은 고정합니다. 정확한 URL, 최종 리다이렉트 URL, robots.txt 응답, sitemap 위치, sitemap 항목, canonical URL, title, meta description, 내부 링크 출처, 언어 경로, 정상 200 응답 여부를 기록합니다. 하나가 실패하면 전체 페이지를 다시 쓰기보다 가장 작은 안전 수정부터 반영합니다.
매일 SEO 운영에서는 이 체크리스트가 실행을 단순하게 만듭니다. 유용한 글 1건을 발행하고, 빌드를 검증하고, 의도한 파일만 push하고, CI/CD 상태를 확인합니다. 목표는 즉시 색인을 보장하는 것이 아니라 검색엔진과 방문자가 이미 존재하는 페이지를 이해하지 못하게 만드는 불필요한 발견 장애를 줄이는 것입니다.