# robots.txt — 이음여성한의원 (iumclinic.co.kr)
# 작성일: 2026-05-07
# 적용: FTP 루트(/)에 업로드. 기존 robots.txt가 있으면 덮어쓰기.
# 환경: PHP 사이트 (index.php / .htaccess / /include/ / /page/)

# ─────────────────────────────────────────────
# 1. AI 답변엔진 크롤러 명시 허용
# ─────────────────────────────────────────────

# OpenAI (ChatGPT, ChatGPT Search)
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Google Gemini / SGE / AI Overviews
User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

# Anthropic (Claude, Claude Search)
User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Common Crawl (다수 LLM 학습 데이터 기반)
User-agent: CCBot
Allow: /

# Apple Intelligence
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Meta AI
User-agent: Meta-ExternalAgent
Allow: /

User-agent: FacebookBot
Allow: /

# ByteDance, Cohere, DuckDuckGo Assist
User-agent: Bytespider
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: DuckAssistBot
Allow: /

# ─────────────────────────────────────────────
# 2. 국내 검색엔진 명시 허용
# ─────────────────────────────────────────────

# 로그인·회원 URL 차단 (2026-07-28 추가)
# — SNS 간편로그인(openNaver/openDaum 등)이 5xx를 반환하며 returnUrl 파라미터로
#   URL이 무한 증식해 크롤 예산을 낭비하므로 검색엔진 그룹별로 차단.
#   (robots 규약상 봇은 자기 User-agent 그룹만 따르므로 그룹마다 명시해야 함)

User-agent: Googlebot
Allow: /
Disallow: /page/login/
Disallow: /index.php/login/
Disallow: /index.php/member/
Disallow: /*returnUrl=

User-agent: Bingbot
Allow: /
Disallow: /page/login/
Disallow: /index.php/login/
Disallow: /index.php/member/
Disallow: /*returnUrl=

User-agent: NaverBot
Allow: /
Disallow: /page/login/
Disallow: /index.php/login/
Disallow: /index.php/member/
Disallow: /*returnUrl=

User-agent: Yeti
Allow: /
Disallow: /page/login/
Disallow: /index.php/login/
Disallow: /index.php/member/
Disallow: /*returnUrl=

User-agent: Daum
Allow: /
Disallow: /page/login/
Disallow: /index.php/login/
Disallow: /index.php/member/
Disallow: /*returnUrl=

User-agent: Daumoa
Allow: /
Disallow: /page/login/
Disallow: /index.php/login/
Disallow: /index.php/member/
Disallow: /*returnUrl=

# ─────────────────────────────────────────────
# 3. 모든 봇 공통 — PHP 사이트 비공개 영역 차단
#    (현재 FTP 구조에 맞춤)
# ─────────────────────────────────────────────

User-agent: *
Allow: /

# 보안 핵심 — phpMyAdmin은 절대 노출 금지
Disallow: /phpMyAdmin-4.0/
Disallow: /phpmyadmin/

# 관리/설정 파일
Disallow: /_config.php
Disallow: /_config.sample.php
Disallow: /_common.php
Disallow: /.htaccess
Disallow: /.htpasswd

# 데이터·업로드 영역
Disallow: /db/
Disallow: /filedata/
Disallow: /xmldata/
Disallow: /lib/
Disallow: /11592/

# 메일폼·이벤트 (정적 콘텐츠 아님)
Disallow: /mailform/
Disallow: /event/

# 모바일 별도 버전 (중복 인덱싱 방지 — Canonical 처리 후 풀어도 됨)
# Disallow: /page_MB0/

# 분석 도구
Disallow: /clickheat/

# 호스팅 기본 페이지
Disallow: /hosting_index.html

# 검색·필터 파라미터 URL 중복 방지
Disallow: /*?*sort=
Disallow: /*?*page=
Disallow: /*?*order=
Disallow: /*?*search=

# 로그인·회원 URL (5xx 오류·크롤 예산 낭비 방지 — 2026-07-28 추가)
Disallow: /page/login/
Disallow: /index.php/login/
Disallow: /index.php/member/
Disallow: /*returnUrl=

# 서버 부하 방지
Crawl-delay: 2

# ─────────────────────────────────────────────
# 4. 사이트맵
# ─────────────────────────────────────────────

Sitemap: https://iumclinic.co.kr/sitemap.xml

# 원장 칼럼 전용 사이트맵 (2026-08-13 추가)
Sitemap: https://iumclinic.co.kr/column/sitemap.php