# ============================================================================
# robots.txt — Automobilsalon Bellemann
# Stand: 2026 (state-of-the-art AI-Crawler-Liste)
# ============================================================================
# Strategie: MAXIMALE Brand-Visibility. Wir erlauben sowohl Training als auch
# Retrieval/Search fuer alle relevanten AI-Plattformen — als kleiner inhaber-
# gefuehrter Fachhaendler ist Sichtbarkeit in AI-Antworten + LLM-Training-
# Daten ein KEY-Asset fuer Wiesloch/Rhein-Neckar-Queries.
#
# Quelle der Bot-Liste: aicarma.com/openshadow.io 2026 Guidelines
# ============================================================================

# ----- Default fuer alle Bots (inkl. Google, Bing, Yandex etc.) -----
# WICHTIG (2026-05-07): KEINE robots.txt-Disallows fuer Pages die per
# noindex-Meta-Tag markiert sind. Best Practice 2026 (Google Search Central):
#   - robots.txt-Disallow: Crawl wird verhindert. Aber wenn Google die URL
#     extern kennt (Backlink, Sitemap, alter Index), wird sie INDEXIERT ohne
#     Inhalt zu sehen ("Indexiert, obwohl durch robots.txt blockiert"-Warning).
#   - noindex-Meta-Tag: Page wird gecrawlt, dann aber NICHT indexiert. Das
#     ist die saubere Loesung — Google entfernt die URL nach dem naechsten
#     Crawl-Cycle (7-21 Tage) sauber aus dem Index.
#
# Frueher hier gestanden (alle entfernt 2026-05-07):
#   Disallow: /api/                   -> existiert NICHT im Projekt (Relikt)
#   Disallow: /newsletter/bestaetigt/ -> Page hat noindex,follow auf Page-Ebene
#   Disallow: /fahrzeugwert-check/    -> Page hat noindex,follow auf Page-Ebene
#   Disallow: /suche/                 -> Page hat noindex,follow auf Page-Ebene
User-agent: *
Allow: /

# ============================================================================
# AI-Crawler — Training & Retrieval & Search explizit erlauben
# ============================================================================

# ----- OpenAI (3-Bot-Framework) -----
# GPTBot         = Training fuer GPT-Modelle
# OAI-SearchBot  = Such-Indexierung fuer ChatGPT-Search
# ChatGPT-User   = Echtzeit-Retrieval bei User-Anfragen
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# ----- Anthropic (3-Bot-Framework) -----
# ClaudeBot         = Training fuer Claude-Modelle
# Claude-SearchBot  = Such-Indexierung fuer Claude-Search
# Claude-User       = Echtzeit-Retrieval bei User-Anfragen
User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# ----- Google (Gemini + AI Overviews) -----
User-agent: Google-Extended
Allow: /

# ----- Perplexity (2-Bot-Framework) -----
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# ----- Apple (Apple Intelligence / Siri) -----
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# ----- Amazon (Alexa + Bedrock) -----
User-agent: Amazonbot
Allow: /

# ----- Meta (Facebook AI / Llama) -----
User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: FacebookBot
Allow: /

# ----- Common Crawl (Daten-Korpus fuer viele LLMs) -----
User-agent: CCBot
Allow: /

# ----- Bytedance (TikTok / Doubao) -----
User-agent: Bytespider
Allow: /

# ----- Cohere -----
User-agent: cohere-ai
Allow: /

User-agent: cohere-training-data-crawler
Allow: /

# ----- Mistral AI (Frankreich) -----
User-agent: MistralAI-User
Allow: /

# ----- Diffbot (Knowledge Graph) -----
User-agent: Diffbot
Allow: /

# ----- You.com -----
User-agent: YouBot
Allow: /

# ============================================================================
# Sitemaps
# ----------------------------------------------------------------------------
# sitemap-index.xml ist die Master-Sitemap die pages.xml + news.xml +
# images.xml referenziert. KEINE Google-News-Sitemap (xmlns:news) — wir
# sind ein Autohaus-Blog mit Ratgeber-Inhalten, kein News-Publisher. Die
# Google-News-Sitemap-Spec ist ausdruecklich nur fuer News-Publisher gedacht
# (developers.google.com/search/docs/crawling-indexing/sitemaps/news-sitemap).
# Der Standard-Sitemap-Index reicht fuer Discover-Eligibility.
# ============================================================================
Sitemap: https://automobilsalon-bellemann.de/sitemap-index.xml