robots.txt
Die robots.txt ist eine Textdatei im Root einer Website, die Such- und KI-Crawlern Hinweise gibt, welche Bereiche sie indizieren dürfen und welche nicht. Für GEO-Optimierung 2026 ist sie der erste Ansatzpunkt.
Ausführliche Erklärung
Typische Inhalte: Disallow für nicht-öffentliche Pfade (/admin, /api), Sitemap-URL, Crawl-Delay für überlastete Server. 2026 kommen explizite Allow/Disallow-Direktiven für AI-Crawler wie GPTBot, ClaudeBot, PerplexityBot, Google-Extended und Applebot-Extended dazu.
robots.txt ist eine Empfehlung, keine Zugriffskontrolle. Bösartige Crawler ignorieren sie. Sensible Daten brauchen Authentifizierung und korrekte Zugriffsrechte, ein Disallow allein schützt sie nicht.
Visgenix richtet die robots.txt mit einer gepflegten Allow-Liste für KI-Crawler und gezielten Disallow-Pfaden für sensible Funnel-Bereiche (Checkout, Login, Showcase) ein.
SEO & KI-Sichtbarkeit
Sichtbarkeit in Google und KI-Antworten prüfen
Im kostenlosen Erstgespräch von 30 Minuten sehen wir uns Ihre Seite an und nennen, was sich ändern lässt. Platzierungen oder Nennungen in KI-Antworten garantieren wir nicht.