Google hat bekannt gegeben, dass die gleichnamige Suchmaschine ab dem ersten September einige Anweisungen in der Robots.txt von Webseiten nicht mehr unterstützen wird. Diese Dateien werden genutzt, um Webcrawlern von Suchmaschinen zu vermitteln, welche Teile der Webseiten relevant sind.
https://www.notebookcheck.com/Google-aendert-Regeln-fuer-die-Robots-txt-und-veroeffentlicht-eigenen-Parser.426978.0.html