최진실

SJU DataScience
woowacourse 6기 FE

Hits

5 분 소요

2주차: 중복 콘텐츠 관리를 위한 표준 URL 선택 프로세스

회사에서 하는 SEO 스터디입니다.

목표

목표: 깔끔한 URL을 설계하고, 중복 콘텐츠로 인한 페널티(점수 분산)를 방지합니다.

핵심 내용:URL 전략: 파라미터(?id=123) vs 경로(/product/123) 비교 및 권장사항

원본 지정: rel=”canonical” 태그를 사용하여 원본 페이지를 봇에게 알리는 법

15분 토론/액션:동일한 콘텐츠에 접근하는 URL이 여러 개(PC/M, UTM 파라미터 등)인가?, 모든 페이지에 자기 자신(또는 원본)을 가리키는 canonical 태그가 있는가?

레퍼런스: 표준(Canonical) URL 통합



1. 표준화

표준화

중복되거나 유사항 여러 URL 중 검색엔진이 대표로 삼아야 할 하나의 URL을 명확히 지정해 검색 신호를 집중시키는 전략입니다.



표준화가 중요한 이유

1️⃣ 검색 결과에 노출되는 URL을 통제하기 위해

광고 파라미터가 붙은 URL이나 내부적으로만 쓰고 싶은 URL이 검색 결과에 노출되는 경우가 종종 있습니다. 표준 URL을 명확히 지정하면, 사용자에게 보여줄 URL을 직접 선택할 수 있습니다.


2️⃣ 검색 신호(점수)를 하나로 모으기 위해

외부 사이트에서 링크를 걸 때

  • /product/123
  • /product/123?utm_source=google

처럼 서로 다른 URL로 링크가 들어오면 평가가 분산됩니다.
표준화를 하면 이 신호들이 하나의 URL로 통합됩니다.


3️⃣ 크롤링 효율을 높이기 위해

구글봇이 같은 콘텐츠를 여러 번 크롤링하는 대신 신규 페이지나 업데이트된 페이지를 더 자주 크롤링하도록 유도할 수 있습니다. 이는 특히 페이지 수가 많은 서비스에서 중요합니다.


⚠️ 중요

표준 URL 지정은 필수는 아닙니다. canonical이나 리디렉션을 설정하지 않아도 Google은 자체적으로 표준 페이지를 선택할 수 있습니다.
다만, 우리가 선호하는 URL을 검색 결과에 노출시키고 싶다면 명시적으로 신호를 제공하는 것이 훨씬 유리합니다.



2. 표준 페이지 vs 중복 페이지

구글의 표준 페이지 선별 방법

1. 페이지 색인 생성 : Google이 페이지를 색인하며 주된 콘텐츠를 파악합니다.
2. 유사 페이지 발견 : 동일하거나 매우 유사한 콘텐츠를 가진 페이지들을 찾습니다.
3. 신호 기반 분석 : 색인 생성에서 수집한 다양한 요소와 신호를 분석합니다.
4. 표준 페이지 선택 : 가장 완전하고 사용자에게 유용한 페이지를 표준으로 지정합니다.

⚠️ 중요

소유자가 선호하는 페이지가 아닌 다른 페이지를 표준으로 선택할 수 있습니다.
명시한 URL은 힌트일 뿐 반드시 선택되는 것은 아닙니다.



1️⃣ 리다이렉션 (가장 강력한 신호)

  • 301/302 리다이렉션이 설정된 경우 “이 URL보다 저 URL이 더 낫다”라는 명확한 메세지
  • Google은 301/302/meta-refresh/JS 리디렉션 모두 검색 영향은 동일
  • 다만 인식 속도는 서버 3xx가 가장 빠름


2️⃣ rel="canonical"

  • HTML <head>에 선언된 canonical 태그
  • “대표 URL은 이것이다”라는 강한 힌트


3️⃣ 사이트맵

  • 사이트맵에 포함된 URL은 표준 URL 후보가 됨
  • 단, 신호 강도는 상대적으로 약함


이 신호들은 중첩해서 사용 가능하며, 여러 방법을 함께 쓰는 것이 더 효과적입니다.
또한 canonical은 명령이 아니라 신호이기 때문에, 내부 링크 구조나 콘텐츠 일관성이 맞지 않으면 구글이 다른 URL을 표준으로 선택할 수도 있습니다.



중복 페이지 판단 예시

  • 언어 버전과 중복
    • 한 페이지에 여러 언어 버전이 있으면 주요 콘텐츠의 언어가 같은 경우에만 중복으로 간주합니다.
    • 머리글, 바닥글만 번역된 경우 -> 중복
    • 본문이 동일한 페이지 -> 중복
    • 주요 콘텐츠가 번역된 경우 -> 별도 페이지
  • 검색 결과 페이지
    • 대부분 표준 페이지를 표시하지만, 사용자에게 더 적합한 중복 페이지가 있으면 해당 페이지를 보여줍니다.
  • UTM, gclid 등 추적 파라미터
    • /product/123
    • /product/123?utm_source=google
  • 정렬·필터 파라미터
    • ?sort=popular
    • ?page=2
  • PC / 모바일 URL 분리
    • www.example.com
    • m.example.com
    • ex) 네이버
  • www / non-www, http / https
  • trailing slash 유무



표준 페이지 지정 방법

1️⃣ 리다이렉션

중복 URL을 더 이상 사용할 필요가 없을 때 가장 좋은 선택입니다.

  • 예: http → https 통합
  • 예: 오래된 URL 구조 폐기

장점은 명확하고 강력하다는 점이며, 단점은 URL 자체가 사라진다는 점입니다.


2️⃣ rel="canonical" (HTML)

중복 URL을 유지하면서 대표 URL만 정하고 싶을 때 가장 많이 사용하는 방식입니다.

<link rel="canonical" href="https://example.com/product/123" />
⚠️ 주의할 점

head 태그 내부에 있어야 함
절대 경로(URL 전체)를 사용하는 것이 권장됨
canonical이 가리키는 페이지와 콘텐츠가 실질적으로 동일해야 함


3️⃣ rel="canonical" HTTP 헤더

PDF 같은 HTML이 아닌 문서에 사용합니다.

  • HTML을 수정할 수 없을 때 유용
  • 페이지 크기를 늘리지 않는 장점
⚠️ 주의할 점

rel="canonical" HTML과 HTTP 헤더 두 방법 중 하나를 선택한 다음 지속적으로 사용하는 것이 좋습니다. 두 방법을 동시에 사용하는 것도 지원되기는 하지만 오류가 발생하기 쉽습니다.
예를 들어 HTTP 헤더에 한 URL을 제공하고 rel="canonical" link에 다른 URL을 제공하는 경우 오류가 발생합니다.


4️⃣ 사이트맵

대규모 사이트에서 관리가 편리한 방법입니다.

  • 표준 URL만 사이트맵에 포함
  • 단독 사용보다는 canonical이나 리디렉션과 함께 사용하는 것이 좋습니다.



3. 실무 체크리스트

✅ Do

  • 사이트 내부 링크는 항상 표준 URL로 연결합니다.
  • hreflang을 쓴다면 같은 언어끼리 canonical을 지정합니다. (없으면 가장 유사한 언어)
  • canonical은 절대경로 사용이 권장됩니다.
  • 중복 페이지가 아니더라도 모든 페이지에 self-canonical을 선언하는 것이 권장됩니다.


❌ Don’t

  • robots.txt로 표준화를 “대체”하려고 하면 안 됩니다.
  • URL 삭제 도구로 표준화를 해결하면 안 됩니다(모든 버전이 숨겨질 수 있음).
  • URL fragment(#section)를 표준 URL로 지정하지 않는 것이 좋습니다.
  • noindex로 표준화를 해결하려고 하면, 페이지가 검색에서 완전히 빠질 수 있어 권장되지 않습니다.
🎯 canonical vs noindex 선택 기준

참고로 canonical은 “대표 URL을 선택”하는 도구이고, noindex는 “검색 결과에서 완전히 제거”하는 도구입니다.
중복 콘텐츠 관리 목적이라면 noindex보다 canonical이 더 적합합니다.



4. Search Console ‘페이지 색인이 생성되지 않는 이유’ 해석

🚨 사용자가 선택한 표준이 없는 중복 페이지

👉 표준화 조치 필요

[판단 이유]

  • Google이 보기에 다른 URL과 콘텐츠가 거의 동일, 그런데 사이트 소유자가 canonical을 명시하지 않음
  • 즉, “중복으로 보이는데 어느 게 대표인지 안 알려줬다”
  • 이 상태에서는 Google이 임의로 표준 URL을 선택하거나 아예 색인 대상에서 제외할 수 있습니다.

[해결 방법]

  • 해당 페이지에 self-canonical 또는 원본 canonical을 명시
  • 내부 링크도 반드시 표준 URL만 사용
  • 파라미터 URL(UTM, 정렬 등)은 canonical로 대표 URL에 묶기



🚨 중복 페이지, Google에서 사용자가 다른 표준을 선택함

👉 표준화 충돌 상태

[판단 이유]

  • 사이트에서 canonical을 선언하긴 했지만 Google이 보기엔 그 canonical이 부적절 -> Google이 다른 URL을 표준으로 강제 선택
  • canonical이 가리키는 페이지와 콘텐츠가 완전히 같지 않음
  • 내부 링크는 A를 가리키는데 canonical은 B
  • HTTP 페이지에서 HTTPS를 canonical로 안 가리킴
  • canonical 체인/루프 발생

[해결 방법]

  • 콘텐츠 일치 여부 점검: 제목, 본문, 주요 정보가 실질적으로 같은가
  • 내부 링크 일관성: 메뉴·리스트·페이지네이션이 모두 표준 URL을 가리키는가
  • canonical 단일성: 한 페이지에 canonical은 하나, canonical → canonical 체인 제거
  • 프로토콜/도메인 통일: HTTPS / www 기준 명확화



✅ 적절한 표준 태그가 포함된 대체 페이지

👉 표준화 정상 (문제 없음)

[판단 이유]

  • 해당 URL이 중복 페이지임은 맞지만 canonical이 정확하게 설정
  • Google이 이를 신뢰하고 대표 URL로 신호를 전달 중



⚠️ ‘NOINDEX’ 태그에 의해 제외됨

👉 의도 여부 확인 필요

[판단 이유]

  • 페이지에 noindex가 선언됨
  • Google은 지시에 따라 색인에서 제외

[해결 방법]

  • 의도한 페이지면 유지: 관리자 페이지, 내부 검색 결과 등
  • 의도하지 않았다면: noindex 제거, canonical로 대체

중복 콘텐츠 해결 수단으로 noindex를 쓰는 것은 권장되지 않습니다. 중복 관리 목적이라면 canonical이 우선입니다.



⚠️ 리디렉션이 포함된 페이지

👉 정상일 수도, 문제일 수도 있음

[판단 이유]

  • URL이 301/302 등으로 다른 URL로 이동
  • 리디렉션 대상이 표준 URL로 간주됨

[해결 방법]

  • 정상 케이스: HTTP → HTTPS, 오래된 URL → 신규 URL
  • 점검 필요 케이스: 리디렉션 체인(여러 번 이동), 리디렉션 루프

카테고리:

업데이트:

댓글남기기

참고