🎯 robots.txt 설정 하나로 검색 노출과 애드센스 수익까지 높이는 실전 가이드

📌 robots.txt 하나로 SEO와 수익을 정리하는 방법

Blogger나 맞춤 도메인 블로그를 운영 중이라면, robots.txt 설정만으로도 검색 색인 품질과 애드센스 수익

하지만 설정이 잘못되면 검색 누락, 중복 콘텐츠 색인, 광고 노출 저하 등 심각한 문제가 발생할 수 있습니다. 특히 /search와 ?m=1 경로 처리 방식은 SEO 결과를 크게 좌우합니다.

robots.txt 설정 노하우

---

❌ 흔한 오류: 색인 차단이 필요한 것과 그렇지 않은 것

많은 블로거들이 ?m=1을 중복 콘텐츠로 오해해 차단하지만, 이는 오히려 모바일 색인 손실과 검색 유입 저하로 이어질 수 있습니다.

반면 /search는 반드시 차단해야 합니다. 이 경로는 카테고리·라벨·검색결과 등 본문이 아닌 필터링 페이지이기 때문에 색인되면 중복 콘텐츠로 간주되어 SEO 품질이 떨어지고, 애드센스 수익도 감소할 수 있습니다.

---

📊 경로별 robots.txt 설정 가이드

경로	설정 권장	설명
/search	차단 (Disallow)	카테고리/라벨 필터 경로 – 중복 콘텐츠 유발
?m=1	차단하지 않음	모바일 전용 URL – canonical로 자동 통합되므로 Disallow하면 오히려 오류 발생
/2025/... (본문 경로)	허용 (Allow)	콘텐츠 본문 – 검색 유입 및 광고 수익 핵심 경로

---

🛠️ 최적의 robots.txt 설정 예시

다음은 setupgold.com에 적용할 수 있는 robots.txt 구성 예시입니다.
SEO와 애드센스를 고려한 안전하고 효과적인 설정이며, 실제로 적용 가능합니다.

User-agent: Mediapartners-Google
Disallow:

User-agent: *

# ✅ 내부 검색 및 자동 페이징 URL 차단 (중복 콘텐츠 방지)
Disallow: /search
Disallow: /search?q=
Disallow: /search?updated-max
Disallow: /*?updated-max=

# ✅ 댓글 및 피드 자동 생성 경로 차단
Disallow: /feeds/

# ✅ 카테고리(라벨) 검색 결과 색인 허용 (트래픽 유입 목적)
Allow: /search/label/

# ✅ 본문 콘텐츠 전체 허용
Allow: /

# ✅ 사이트맵 경로 명시
Sitemap: https://www.setupgold.com/sitemap.xml
Sitemap: https://www.setupgold.com/atom.xml?redirect=false&start-index=1&max-results=500

💡 참고: ?m=1은 따로 Allow하지 않아도 Disallow하지 않는 이상 기본 허용입니다. Google은 canonical 기준으로 색인을 통합하므로 SEO에 아무런 문제 없습니다.

---

🔍 robots.txt 설정 후 확인 팁

• Google Search Console에서 “robots.txt 테스트 도구” 또는 “색인 > 페이지” 메뉴를 활용해 확인
• /search 경로는 “차단됨”, ?m=1이 붙은 URL은 “중복(선택되지 않음)”으로 나오면 정상
• 본문 글 URL은 반드시 “색인됨” 상태여야 함

---

robots.txt 하나로 SEO 품질과 수익 모두를 챙길 수 있습니다.
정확한 설정은 더 많은 검색 노출, 더 높은 클릭률, 더 많은 수익으로 이어집니다.

👉 지금 robots.txt 설정을 점검해 보세요. 블로그의 퍼포먼스를 바꾸는 가장 쉬운 첫걸음입니다.

Previous

Next