개발자

기술적 SEO 완벽 가이드: 사이트맵, Robots.txt, 스키마 마크업, Core Web Vitals의 모든 것

크롤링 가능성부터 Core Web Vitals까지 기술적 SEO를 마스터하세요. XML 사이트맵, robots.txt, 구조화 데이터, 캐노니컬 태그, 페이지 속도가 함께 작동해 검색 순위를 향상시키는 방법을 알아보세요.

2026년 3월 24일11분 읽기

기술적 SEO란 무엇인가?

기술적 SEO는 콘텐츠가 아닌 웹사이트의 인프라에 대한 최적화를 말합니다. 검색 엔진 크롤러가 페이지를 올바르게 발견하고, 인덱싱하고, 이해할 수 있도록 돕는 것이 목적입니다. 온페이지 SEO가 키워드와 콘텐츠 품질에 집중하는 반면, 기술적 SEO는 그 콘텐츠가 발견되고 순위를 매길 수 있을 만큼 기반이 탄탄한지 확인합니다.

기술적으로 건전한 웹사이트는 검색 엔진에게 어떤 페이지를 크롤링할지, 얼마나 자주 업데이트를 확인할지, URL의 어떤 버전이 표준인지, 페이지가 구조적으로 무엇인지, 얼마나 빠르게 로드되는지에 대한 명확한 신호를 줍니다.

XML 사이트맵: 사이트의 목차

XML 사이트맵은 검색 엔진에게 크롤링하고 인덱싱하기를 원하는 사이트의 모든 URL을 나열한 파일입니다. Google이나 Bing 크롤러와의 직접적인 소통 채널 역할을 하며, 어떤 페이지가 존재하는지와 마지막으로 수정된 시간을 정확히 알려줍니다.

잘 구조화된 사이트맵은 각 URL에 대해 loc(URL), lastmod(마지막 수정 날짜), changefreq(콘텐츠 변경 빈도), priority(0.0~1.0 상대적 중요도)를 포함합니다. 사이트맵을 만든 후 Google Search Console과 Bing Webmaster Tools에 제출하고, 주요 변경사항이 발생할 때마다 재제출하세요.

대형 사이트의 경우 사이트맵을 주제별 파일(blog.xml, products.xml, pages.xml)로 분리하고, 사이트맵 인덱스 파일을 사용해 모두 참조하세요. 각 개별 사이트맵 파일은 압축 해제 시 50,000개 URL 또는 50MB를 초과해서는 안 됩니다.

Robots.txt: 크롤러 접근 제어

robots.txt 파일은 도메인 루트(yoursite.com/robots.txt)에 위치하며 웹 크롤러에게 어떤 페이지에 접근이 허용되거나 금지되는지 지침을 제공합니다.

가장 중요한 두 지시어는 User-agent(규칙이 적용되는 봇)와 Disallow(접근 금지 경로)입니다. 일반적인 설정은 관리자 페이지, 내부 검색 결과 페이지, /?sort=price와 같은 중복 콘텐츠 URL을 차단하면서 다른 모든 것은 허용합니다.

중요한 점은 robots.txt가 페이지 인덱싱을 방지하지 않는다는 것입니다. 크롤링만 방지합니다. 인덱싱을 완전히 방지하려면 noindex 메타 태그나 X-Robots-Tag HTTP 헤더를 사용하세요.

구조화 데이터: 검색 엔진과의 소통

구조화 데이터(스키마 마크업이라고도 함)는 검색 엔진이 콘텐츠의 텍스트뿐만 아니라 의미를 이해하도록 돕기 위해 페이지에 추가하는 코드입니다. Google이 권장하는 JSON-LD 형식으로 Schema.org 어휘를 사용해 기사, 제품, 레시피, 이벤트, FAQ, 리뷰 등 수십 가지 콘텐츠 유형을 마크업할 수 있습니다.

즉각적인 혜택은 Google 검색에서 리치 결과 자격 취득입니다: 평점과 조리 시간이 있는 레시피 카드, FAQ 아코디언, 가격과 재고 정보가 있는 제품 패널, 기사 캐러셀, 날짜와 위치가 있는 이벤트 목록. 이 리치 결과는 표준 블루 링크에 비해 클릭률을 20~30% 높입니다.

캐노니컬 태그: 중복 콘텐츠 해결

중복 콘텐츠는 동일하거나 매우 유사한 콘텐츠가 여러 URL에서 접근 가능할 때 발생합니다. 캐노니컬 태그(<link rel="canonical" href="...">)는 검색 엔진에게 어떤 URL이 "마스터" 버전인지 알려줍니다.

www와 비www, HTTP와 HTTPS, 후행 슬래시 유무, URL 파라미터(페이지네이션, 정렬, 필터링), 여러 도메인에 재게시된 신디케이트 콘텐츠를 처리하기 위해 캐노니컬을 구현하세요.

페이지 속도와 Core Web Vitals

Core Web Vitals는 검색 순위에 영향을 미치는 Google의 공식 사용자 경험 지표입니다. 세 가지 지표는 LCP(Largest Contentful Paint, 목표: 2.5초 미만), INP(Interaction to Next Paint, 목표: 200밀리초 미만), CLS(Cumulative Layout Shift, 목표: 0.1 미만)입니다.

LCP는 주로 크고 최적화되지 않은 히어로 이미지나 느린 서버 응답 시간으로 인해 발생합니다. WebP/AVIF 형식과 <link rel="preload">로 LCP 이미지를 최적화하고, CDN으로 TTFB를 개선하고, 렌더링 차단 리소스를 제거하여 해결하세요.

HTTPS와 보안 신호

HTTPS는 2014년부터 Google의 확인된 순위 신호입니다. 순위를 넘어서 HTTPS는 사용자 신뢰를 구축하고, Progressive Web Apps에 필요하며, 상당한 속도 향상을 제공하는 HTTP/2와 HTTP/3에도 필요합니다.

지금 사용해보세요 — 무료 온라인 사이트맵 생성기

UtiliZest의 사이트맵 생성기는 URL 목록에서 몇 초 만에 올바르게 형식화된 XML 사이트맵을 생성합니다. lastmod 날짜, changefreq 값, priority 수준을 설정하고 Google Search Console에 제출할 준비가 된 파일을 다운로드하세요.

sitemap generator 바로 사용하기

자주 묻는 질문

사이트맵과 robots.txt의 차이점은 무엇인가요?
사이트맵은 크롤러에게 방문하고 인덱싱하기를 원하는 페이지를 알려줍니다. robots.txt는 크롤러에게 방문하지 않기를 원하는 페이지를 알려줍니다. 둘은 함께 작동합니다: 사이트맵은 초대하고, robots.txt는 제한합니다. 사이트맵에 나열되었지만 robots.txt에서 차단된 URL은 상충하는 신호를 보냅니다. 이런 경우 Google은 일반적으로 robots.txt 차단을 따릅니다.
XML 사이트맵을 얼마나 자주 업데이트하고 재제출해야 하나요?
소규모 콘텐츠 업데이트에는 수동 재제출이 필요하지 않습니다. Google은 제출된 사이트맵을 지속적으로 재크롤링합니다. 주요 새 섹션 추가, URL 계층 구조 재구성, 재디자인 출시 시 재제출하세요. 대부분의 CMS 플랫폼에 권장되는 자동 업데이트 동적 사이트맵은 수동 개입 없이 항상 최신 상태를 유지합니다.
캐노니컬 태그는 PageRank(링크 에퀴티)를 전달하나요?
네. 동일한 콘텐츠를 가리키는 여러 URL이 존재할 때, 검색 엔진은 모든 URL의 링크 에퀴티 신호를 캐노니컬 URL로 통합합니다. 이것이 주요 이점 중 하나입니다. 캐노니컬이 없으면 순위 파워가 중복 URL에 분산됩니다. 에퀴티 파편화를 방지하기 위해 새 페이지를 게시하기 전에 항상 캐노니컬 태그를 설정하세요.
Core Web Vitals 점수를 가장 빠르게 향상시키는 방법은 무엇인가요?
단일 가장 큰 영향을 미치는 조치는 일반적으로 LCP 요소를 최적화하는 것입니다. LCP 이미지(보통 히어로 이미지)를 파악하고, WebP/AVIF로 압축하고, width와 height 속성을 추가하고, <link rel="preload" as="image">로 미리 로드하세요. 그런 다음 공간이 예약되지 않은 이미지와 광고 슬롯을 감사하여 CLS를 확인하세요.
robots.txt에서 특정 Googlebot(예: Google 이미지)을 차단할 수 있나요?
네. 제한하려는 Googlebot 유형의 특정 user-agent 이름을 사용하세요. 예를 들어, 특정 폴더에서 Google 이미지 크롤러를 차단하려면: User-agent: Googlebot-Image, Disallow: /private-photos/를 사용합니다. Google 이미지 크롤러를 차단하면 해당 이미지가 Google 이미지 검색에 나타나지 않게 됩니다.

관련 글