GEO & AI 마케팅 인사이트

웹사이트 운영자가 여러 AI 사업자에게 같은 학습 선호를 전달하는 공통 robots.txt 신호가 제안됐습니다. 관리 부담은 줄어들 수 있지만, 아직 확정된 IETF 표준이 아니며 사업자마다 학습·크롤링·AI 답변 근거 제공(grounding)을 다르게 처리하므로 즉시 한 줄을 추가하기보다 목적별 영향을 먼저 구분해야 합니다.

무엇이 달라졌나

여러 AI 사업자가 공통 학습 선호 신호를 지원할 계획입니다

10월 30일 Google과 OpenAI, Microsoft는 웹사이트가 여러 사업자에게 AI 학습 선호를 한 번에 알릴 수 있는 공통 신호를 지원하겠다고 각각 발표했습니다. 제안된 방식은 robots.txt에 새로운 명령어를 만드는 대신 다음과 같은 정책 토큰을 기존 Allow·Disallow 문법과 함께 사용합니다.

```text

User-Agent: __usage_ai-training

Disallow: /

```

이 규칙은 사이트 전체 콘텐츠를 생성형 AI 모델 학습에 사용하지 말라는 선호를 표시합니다. 경로별 예외도 둘 수 있습니다. 다만 이는 Kevin Kelley가 제출한 개별 Internet-Draft이며, 현재 IETF의 승인이나 정식 표준 지위를 가진 문서는 아닙니다.

원문 보기 ↗ · Google 발표 원문 보기 ↗ · OpenAI 발표 원문 보기 ↗ · 수집 기사 원문 보기 ↗

적용 시점과 해석은 사업자마다 다릅니다

- OpenAI: 앞으로 수개월 안에 공통 신호를 구현할 계획이며, 기존 크롤러별 제어도 계속 적용한다고 밝혔습니다.

- Google: 다른 사업자들과 함께 2027년 지원을 목표로 합니다. 공통 신호로 학습을 거부하고 Google-Extended를 별도로 지정하지 않으면 Google-Extended 차단으로 해석할 계획입니다.

- Microsoft: 2027년 2월 1일부터 새 선호를 크롤링 과정에서 적용할 예정입니다. 기존 NoArchive·NoCache 사용자는 3월 1일까지 새 학습·grounding 설정으로 전환하도록 안내했습니다.

따라서 오늘 바로 모든 사이트에 적용해야 하는 확정 규칙은 아닙니다. 구현 시점과 세부 문법이 바뀔 가능성을 전제로 공식 안내를 다시 확인해야 합니다.

Microsoft 발표 원문 보기 ↗ · Bing Webmaster FAQ 원문 보기 ↗

학습 거부는 크롤링 차단과 같은 뜻이 아닙니다

IETF 초안은 이 정책 토큰을 콘텐츠 사용 선호로 정의하며, 크롤링 트래픽을 제어하는 일반 robots.txt 규칙과 독립적이라고 설명합니다. Microsoft는 AI Training과 AI Grounding을 별도 설정으로 나눴고, grounding을 제한하면 Bing 검색 노출 자격은 유지되지만 AI 생성 경험에서의 브랜드 가시성은 줄어들 수 있다고 명시했습니다. Google도 Google-Extended의 명시적 허용 여부를 Gemini Apps의 grounding 및 클릭 기회와 연결해 설명했습니다.

IETF 초안 원문 보기 ↗ · Google 설명 원문 보기 ↗

마케팅에 어떤 의미가 있나

- 검색 노출: 공통 학습 거부만으로 일반 검색 크롤링이나 색인을 막는 것은 아닙니다. 검색 노출 제어와 AI 학습 제어를 별도로 관리해야 합니다.

- AI 인용·추천: 일부 사업자는 학습과 grounding을 분리하지만 Google처럼 기존 전용 제어와 연계해 해석할 수도 있습니다. 학습 거부가 AI 답변의 인용·추천 기회에 어떤 영향을 주는지 사업자별로 확인해야 합니다.

- 콘텐츠 전략: 공개 문서, 유료 콘텐츠, 회원 전용 자료, 보도자료처럼 콘텐츠 성격에 따라 학습 허용 범위를 다르게 설계할 필요가 있습니다.

- 측정: 설정 변경 전후에 일반 검색 색인, AI 답변 인용, AI 추천 노출, AI 추천 트래픽을 따로 기록해야 합니다. 하나의 ‘AI 노출’ 지표로 합치면 원인을 구분하기 어렵습니다.

- 법무·정책: 이 신호는 기술적인 선호 표현 방식입니다. 계약·라이선스·법적 권리 관계 전체를 대신한다고 단정해서는 안 됩니다.

오늘의 실행 제안

1. 현재 robots.txt의 Google-Extended, GPTBot, OAI-SearchBot, Bingbot 등 AI 관련 규칙을 표로 정리합니다.

2. 콘텐츠를 학습 허용 여부, AI 답변 grounding 허용 여부, 일반 검색 노출 여부의 세 축으로 나눠 원하는 정책을 적습니다.

3. 공통 신호는 당장 배포하지 말고 Google·OpenAI·Microsoft의 실제 적용 일정과 최종 문법을 추적합니다.

4. Microsoft에서 NoArchive·NoCache를 사용 중이라면 2027년 전환 대상 페이지와 현재 목적을 미리 점검합니다.

5. 향후 적용 시에는 전체 사이트가 아니라 영향이 낮은 경로부터 시험하고, 검색 색인·AI 인용·추천 트래픽 변화를 함께 관찰합니다.

핵심은 ‘AI를 허용할지 막을지’의 한 가지 선택이 아닙니다. 학습, 크롤링, 검색 색인, AI 답변의 근거 제공을 서로 다른 사용 목적으로 보고 정책과 측정을 나누는 것이 필요합니다.