Google arbeitet an weiteren Anpassungen des Webcrawlers

In Sachen Neuerungen und Anpassungen täuscht der Suchmaschinengigant Google auch weiterhin keine Müdigkeit vor. Nachdem der Branchenprimus in den vergangenen Tagen ein neues Update ankündigte, das vor allem bei manch einem Webseitenbetreiber für neue Herausforderungen sorgen dürfte, wurde nun bekannt, dass Google an weiteren Anpassungen arbeitet. Die neuesten Anpassungen, die im Fokus des Suchmaschinenbetreibers stehen, beziehen sich auf den Webcrawler. Ziel soll es sein, den Webcrawler für die Indizierung von Webseiten so anzupassen, dass durch ihn auch die Inhalte erfasst werden können, die bislang durch eine Mauer aus AJAX-Requests verborgen blieben. Durch die Anpassungen soll sichergestellt werden, dass der Webcrawler von Google künftig auch Inhalte dieser Art erfassen kann. Google erklärte unterdessen, dass der Googlebot in bestimmten Fällen auch selbständig POST-Requests an eine Webseite schicken kann. Dabei soll dies nur erfolgen, wenn es sicher und angemessen ist.

Googles neuer Ansatz

Der Suchmaschinengigant Google hat seinen neuen Ansatz im Webmaster Central Blog nun genauer vorgestellt. Allerdings lässt der Artikel des Branchenprimus einige Fragen weiter offen. Bereits im Voraus wurden Befürchtungen laut, dass die POST-Requests ungewollt Nutzeraktionen ausführen könnten. Diesen Befürchtungen stellt sich Google alles in allem nur vage gegenüber. So erklärt der Suchmaschinenbetreiber, dass man entsprechende Vorsichtsmaßnahmen treffen möchte, durch die genau dies verhindert werden soll. So sollen in der Regel nur die Ressourcen abgefragt werden, die von einer Webseite ohnehin nachgeladen werden. Das Unternehmen betonte, dass man nach den Anpassungen mit dem Crawler ausschließlich einen üblichen Seitenaufruf bei den Seiten simulieren möchte.

Details zur Technik

Google hat darüber hinaus auch erste Details zur neuen Technik bekanntgegeben. Demnach soll die Technik im Wesentlichen auf dem Verfahren beruhen, das in den Google Instant Previews angewandt wird. Zum ersten Mal wurde dieses Verfahren experimentell im Rahmen der Google Webmaster Tools im November 2010 vorgestellt. Mit seinen Erklärungen hat Google indirekt bestätigt, dass die entsprechenden Inhalte in den Suchinhalten aufgenommen werden können. Für die SEO ist alles in allem aber noch eine weitere Aussage des Suchmaschinengiganten interessant. Dabei rät Google ausdrücklich davon ab, dass relevante Inhalte hinter erforderlichen Nutzeraktionen versteckt werden. Des Weiteren weist der Suchmaschinenbetreiber darauf hin, dass eine Reglementierung des Zugriffs des Googlebots auch weiterhin über eine gültige robots.txt-Datei möglich ist. Die Unterdrückung der Instant Preview ist nach Angaben von Google mit dem nosnippets-Meta-Tag oder einem Abblocken von dem Google Web Preview User Agents möglich. Mit den aktuellen Anpassungen beweist Google, dass man anhaltend an dem eigenen Webcrawler arbeitet.