SEO·AEO·GEO 완전 가이드 ③ robots.txt, sitemap, llms.txt 기술 세팅

서치 콘솔에 등록했다면, 이제 검색엔진과 AI 크롤러가 사이트를 제대로 읽을 수 있는 환경을 만들어야 합니다. 이 글에서는 기술적 SEO의 핵심 파일 4가지를 다룹니다.

핵심 답변: 기술적 SEO 파일은 robots.txt(크롤링 규칙), sitemap.xml(페이지 목록), feed.xml(RSS 피드), llms.txt(AI 크롤러용 요약) 4가지입니다. Next.js에서는 모두 자동 또는 반자동으로 생성할 수 있습니다.

robots.txt — 크롤링 허용 설정

robots.txt는 검색엔진 크롤러에게 "어디를 읽어도 되고, 어디는 안 되는지" 알려주는 파일입니다. 2026년에는 AI 크롤러(GPTBot, Claude-Web 등)도 고려해야 합니다.

권장 robots.txt 설정

User-agent: *
Allow: /

# AI 크롤러도 허용
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: PerplexityBot
Allow: /

Sitemap: https://seroai.xyz/sitemap.xml

꿀팁: AI 크롤러를 차단하면 ChatGPT, Perplexity 등에서 블로그 콘텐츠가 인용되지 않습니다. GEO를 위해 반드시 허용해두세요.

주요 AI 크롤러 목록

크롤러	서비스	권장 설정
GPTBot	ChatGPT/OpenAI	Allow
ChatGPT-User	ChatGPT 브라우징	Allow
Claude-Web	Claude/Anthropic	Allow
PerplexityBot	Perplexity AI	Allow
Googlebot	구글 검색	Allow
Yeti	네이버 검색	Allow

sitemap.xml — 모든 페이지 목록 제공

사이트맵은 검색엔진에게 블로그의 모든 페이지 URL과 업데이트 날짜를 알려주는 파일입니다. 구글 공식 문서에 따르면, 사이트맵을 제출한 사이트는 색인 속도가 평균 4배 빨라집니다 (출처: Google Search Central, 2026).

Next.js에서 자동 생성하기

// app/sitemap.ts
export default async function sitemap() {
  const posts = getAllPosts(); // 모든 포스트 가져오기
  return [
    { url: 'https://seroai.xyz', lastModified: new Date() },
    { url: 'https://seroai.xyz/posts', lastModified: new Date() },
    ...posts.map(post => ({
      url: `https://seroai.xyz/posts/${post.slug}`,
      lastModified: new Date(post.date),
    })),
  ];
}

핵심: Next.js App Router에서 app/sitemap.ts를 만들면 빌드 시 자동으로 sitemap.xml이 생성됩니다. 새 글을 발행하고 배포하면 자동 업데이트되어 별도 관리가 필요 없습니다.

feed.xml (RSS) — 구독 및 네이버 제출용

RSS 피드는 블로그 글을 구독할 수 있는 표준 형식입니다. 네이버 서치 어드바이저에 필수 제출 항목이기도 합니다. RSS를 제출하면 네이버가 새 글을 더 빠르게 인식합니다.

RSS 생성 방법

npm install feed

핵심 답변: feed.xml은 네이버 서치 어드바이저에 필수 제출해야 하는 파일입니다. feed 패키지로 자동 생성하고, Next.js Route Handler(app/feed.xml/route.ts)에서 제공하면 됩니다.

llms.txt — AI 크롤러를 위한 사이트 요약 (GEO 핵심)

llms.txt는 2025년에 제안된 새로운 표준으로, AI 크롤러에게 사이트의 핵심 정보를 요약해서 알려주는 파일입니다. robots.txt가 "어디를 읽어라"라면, llms.txt는 "우리 사이트는 이런 곳이다"라고 설명하는 역할입니다.

권장 llms.txt 구조

# 사이트 이름
> 한 줄 소개

## 주요 콘텐츠
- 카테고리 1: 설명
- 카테고리 2: 설명

## 사이트 정보
- URL: https://seroai.xyz
- 언어: 한국어
- 업데이트 주기: 매일
- RSS: /feed.xml
- 사이트맵: /sitemap.xml

핵심: llms.txt는 public/llms.txt에 배포하면 됩니다. AI 크롤러가 이 파일을 읽고 사이트를 더 잘 이해하게 되어, AI 답변에서 인용될 확률이 높아집니다.

기술적 SEO 파일 체크리스트

파일	위치	용도	필수 여부
robots.txt	/public/	크롤링 규칙 설정	필수
sitemap.xml	/app/sitemap.ts	페이지 목록 제공	필수
feed.xml	/app/feed.xml/	RSS 구독/네이버 제출	필수
llms.txt	/public/	AI 크롤러 안내	강력 권장