# robots.txt fuer watchguide.net
# Stand: 18.08.2026 | v4.2 (+ ?pg= ?slot= — GSC-Canonical-Analyse 18.08.)
#
# ★★ AENDERUNG 04.08.2026 — die eigenen "Allow: /"-Gruppen fuer KI-Bots sind ENTFERNT.
# Grund: Nach dem robots.txt-Standard gilt fuer einen Bot mit EIGENER Gruppe die Gruppe
# "User-agent: *" NICHT MEHR. OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot
# und die Trainings-Bots durften dadurch /feed/, /?s=, alle Parameter-URLs, /intern/ und
# die Thin-Content-Pfade abholen — die 30 Crawl-Budget-Regeln unten waren fuer sie wirkungslos.
# Jetzt laufen sie ueber die Sammelgruppe: weiterhin voll erlaubt (die beginnt mit "Allow: /"),
# aber mit denselben Crawl-Budget-Grenzen wie alle anderen.
#
# Bewusste Projektentscheidung bleibt (Frank, 26.06.2026): Bei WatchGuide ist auch
# KI-TRAINING erlaubt (Marken-/Wiki-Play) — deshalb steht GPTBot & Co. hier NICHT auf Disallow.
# Nur reine Scraper/Reseller und Konkurrenz-SEO-Tools werden geblockt.
#
# WICHTIG: Keine Disallow auf 301-Redirect-URLs (Equity soll fliessen).
#
# ★ AENDERUNG 10.08.2026 (v4.1) — /go/ aufgenommen. Das sind KURZLEBIGE 302-Kampagnenlinks
# fuer Facebook (Profil-Link, erster Kommentar unter Reels, angehefteter Beitrag). Sie sind
# KEINE Umzugs-Redirects und bekommen keine redaktionellen Links von aussen — deshalb ist der
# Disallow hier kein Widerspruch zur Zeile darueber. Gezaehlt werden die Treffer in Rank Math
# (Spalte "hits"), nicht ueber die Logs. Ziel: Crawl-Budget schonen (291 Googlebot-Abrufe/Tag
# bei ~1.785 wartenden URLs).

# === REINE SCRAPER / RESELLER - BLOCKIEREN ===

User-agent: Bytespider
Disallow: /

User-agent: Diffbot
Disallow: /

# === SEO-TOOL-CRAWLER - KONKURRENZ-SCHUTZ ===

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: serpstatbot
Disallow: /

User-agent: ScreamingFrogSEOSpider
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: Seekport
Disallow: /

User-agent: SirdataBot
Disallow: /

User-agent: ZoominfoBot
Disallow: /

# === ALLE UEBRIGEN - inkl. Googlebot, Bingbot und saemtliche KI-Crawler ===

User-agent: *
Allow: /
Allow: /wp-admin/admin-ajax.php

# WordPress System
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/
Disallow: /trackback/

# Cache-Pfade (Crawl-Budget-Schutz, nicht im public HTML referenziert)
Disallow: /wp-content/cache/wp-rocket/
Disallow: /wp-content/*/dist/

# Login & Registrierung
Disallow: /anmelden/
Disallow: /registrieren/
Disallow: /passwort-vergessen/

# RSS/Atom Feeds
Disallow: /feed/
Disallow: /comments/feed/
Disallow: */feed/
Disallow: */feed$
Disallow: */trackback/

# Suche
Disallow: /?s=
Disallow: /search/

# Parameter-URLs (Crawl-Budget-Schutz)
Disallow: /*?p=
Disallow: /*?post_id=
Disallow: /*?replytocom=
Disallow: /*?attachment_id=
Disallow: /*&preview=true
Disallow: /*?action=
Disallow: /*?comment_id=

# Filter/Sort-Parameter
Disallow: /*?genre=
Disallow: /*?fsk=
Disallow: /*?sort=
Disallow: /*?paged=
Disallow: /*?decade=
Disallow: /*?order=
Disallow: /*?orderby=
Disallow: /*?pg=
Disallow: /*?slot=

# Kampagnen-Sprunglinks (302, nur Social — s. Kopfnotiz v4.1)
Disallow: /go/

# Newsletter-Systemrouten (DOI-Bestaetigung, Abmeldung, Ausweis-PNG — 17.08.2026)
Disallow: /nl/

# Interne Seiten
Disallow: /intern/

# Thin Content / weg (Hinweis: /reviews/ NICHT blocken -> 301-Quelle auf /filme/)
Disallow: /videocast/
Disallow: /games/
Disallow: /bald-im-kino/
Disallow: /education/
Disallow: /mein-profil/

# Taxonomie-Archive (Tags indexierbar -> /tag/ NICHT blocken)
Disallow: /category/
Disallow: /hashtag/

# Sitemap
Sitemap: https://watchguide.net/wp-sitemap.xml
Sitemap: https://watchguide.net/wg-image-sitemap.xml