User-agent: *
Allow: /

# PageSpeed-noscript-Varianten und Tracking-Parameter NICHT crawlen.
# Diese sind Duplicate-Content der Hauptseite (canonical zeigt dorthin).
Disallow: /*?PageSpeed=
Disallow: /*&PageSpeed=
Disallow: /*?utm_
Disallow: /*&utm_

# Kalender-Filter-URLs auf /termine/ ebenfalls nicht crawlen — sonst durchsucht
# Google jeden Monat einzeln (zig Duplikate). Canonical fuehrt zwar zu /termine/,
# aber das spart Crawl-Budget.
Disallow: /termine/?year=
Disallow: /termine/?month=
Disallow: /*/termine/?year=
Disallow: /*/termine/?month=

# Content Signals (contentsignals.org / draft-romm-aipref-contentsignals)
# Wir wünschen Auffindbarkeit in Suche und Grounding/Zitate in KI-Antworten,
# aber kein Training von KI-Modellen auf unseren Inhalten.
# Hinweis: Diese Direktive ist als Kommentar deklariert, weil sie noch kein offizieller
# Standard ist (draft) und von Google/Lighthouse als "Unknown directive" gemeldet wird.
# Crawler, die den Draft unterstuetzen, lesen ihn aus dem Kommentar.
# Content-Signal: search=yes, ai-input=yes, ai-train=no

# Sitemap
Sitemap: https://volt-muenster.de/sitemap.xml
# Google News Sitemap (Posts der letzten 48h, news:news-Namespace)
Sitemap: https://volt-muenster.de/news-sitemap.xml

# LLMs.txt - Strukturierte Informationen für KI-Systeme
# Unterstützt: ChatGPT, Claude, Gemini, Perplexity, etc.
# Hinweis: "LLMs.txt" ist KEINE offizielle robots.txt-Direktive (Lighthouse meldet sie als
# "Unknown directive"). Wir kommentieren sie aus; LLM-Crawler, die llms.txt unterstuetzen,
# kennen die Convention ohnehin und holen die Datei direkt unter /llms.txt.
# LLMs.txt: https://volt-muenster.de/llms.txt

# Bereiche für Crawler
# - Öffentliche Seiten, Blog, Ratsfraktion, Wahlprogramm, Termine

# Crawler-Einstellungen
Crawl-delay: 1

# Suchmaschinen
User-agent: Googlebot
Allow: /

# Google News (separater Bot fuer News-Indexierung)
User-agent: Googlebot-News
Allow: /

# Google Image Search
User-agent: Googlebot-Image
Allow: /

User-agent: Bingbot
Allow: /

User-agent: facebookexternalhit
Allow: /

# KI/LLM Bots (GEO - Generative Engine Optimization)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Anthropic-AI
Allow: /

User-agent: CCBot
Allow: /

User-agent: cohere-ai
Allow: /