robots.txt blockiert Suchmaschinen – so machst du deine Website wieder sichtbar

Die Datei robots.txt steuert, welche Bereiche deiner Website von Suchmaschinen wie Google, Bing oder DuckDuckGo besucht und indexiert werden dürfen.
Wenn sie falsch konfiguriert ist, kann das dazu führen, dass deine gesamte Website unsichtbar für Suchmaschinen wird.

Was ist die robots.txt?

Die Datei robots.txt liegt im Hauptverzeichnis deiner Domain (z. B. https://www.meinefirma.ch/robots.txt).
Sie enthält Anweisungen für Suchmaschinen-Crawler, sogenannte „Robots“.

Ein einfaches Beispiel:

User-agent: *
Disallow:


→ bedeutet: alle Seiten dürfen gecrawlt werden.

Wenn jedoch steht:

User-agent: *
Disallow: /


→ bedeutet das: keine einzige Seite darf indexiert werden.

Warum das problematisch ist

1. Sichtbarkeit: Deine Website erscheint nicht mehr in den Google-Suchergebnissen.
2. Traffic-Verlust: Besucher finden dich nicht mehr über Suchmaschinen.
3. Image-Schaden: Kunden denken, deine Website sei offline oder nicht mehr aktiv.
4. SEO-Verlust: Selbst wenn du gute Inhalte hast, werden sie von Google ignoriert.

Wann ein Blockieren trotzdem sinnvoll ist

In gewissen Fällen darf die robots.txt Seiten sperren:

• Wenn du eine Test- oder Staging-Seite betreibst.
• Wenn bestimmte interne Bereiche (z. B. /admin/, /intern/, /tmp/) nicht indexiert werden sollen.
• Wenn du Datenschutzgründe oder Sicherheitsvorgaben hast.

So überprüfst du deine robots.txt

1. Rufe deine Datei direkt auf: https://www.deine-domain.ch/robots.txt.
2. Prüfe, ob die Zeile Disallow: / vorhanden ist.
3. Falls ja: Erlaube den Zugriff wieder, indem du den Eintrag entfernst oder anpasst.
4. Verwende im Zweifel die Google Search Console, um zu testen, wie Google deine Datei interpretiert.

Beispiel für eine korrekte robots.txt

User-agent: *
Disallow: /intern/
Allow: /
Sitemap: https://www.meinefirma.ch/sitemap.xml


→ Diese Variante erlaubt den Zugriff auf alle Seiten, ausser auf den Ordner „/intern/“, und verweist direkt auf die Sitemap.

Wie INSOR dich unterstützt

Unser Monitoring-System überprüft regelmässig, ob deine robots.txt korrekt konfiguriert ist.
Wenn Suchmaschinen fälschlicherweise blockiert werden, wirst du automatisch informiert, bevor dein Ranking darunter leidet.

Auf Wunsch helfen wir dir, die Datei korrekt einzurichten und mit deiner Sitemap zu verknüpfen.
Dieser Check ist Teil unseres Service Level Agreements (SLA) und stellt sicher, dass deine Website jederzeit sichtbar und suchmaschinenfreundlich bleibt.

Mehr zu unserem Monitoring und SLA erfährst du hier