Serverkonfiguration
Finden Sie Fehler in Ihrer robots.txt, die zu ungewollten Crawling-Blockaden führen könnten, bevor sie live gehen, oder erstellen Sie .htpasswd-Dateien für die HTTP-Basic-Authentifizierung. Ideal zur Kontrolle, bevor Sie Serverkonfigurationen übernehmen.