Ab November 2020 wird Google damit beginnen, einige Websites über HTTP/2 zu crawlen. Dies ist die nächste Hauptversion von HTTP, die robuster, effizienter und schneller als ihr Vorgänger ist. Diese Änderung kommt Webprofis zugute, die den Googlebot benötigen, um Crawling über HTTP/2 zu unterstützen. Für weitere Informationen zu HTTP/2 lesen Sie den langen Artikel zum Thema HTTP/2.
Google plant, sukzessive auf das Crawlen von Websites über HTTP/2 umzustellen, was in Bezug auf die Serverressourcennutzung effizienter ist. Diese Änderung wird schrittweise erfolgen, wobei der Googlebot zuerst eine kleine Anzahl von Websites auf h2 crawlt und dann schrittweise zu mehr Websites aufsteigt, die von der ursprünglich unterstützten Funktionalität profitieren könnten. Der Googlebot entscheidet, welche Websites über h2 gecrawlt werden, basierend darauf, ob die Website h2 unterstützt und ob die Website und der Googlebot vom Crawlen über HTTP/2 profitieren würden. Wenn Ihr Server immer noch nur HTTP/1.1 verwendet, ist das auch in Ordnung - es gibt keine offensichtlichen Nachteile beim Crawlen über dieses Protokoll.
Google aktualisiert seinen Googlebot-Crawler, um HTTP/2 zu unterstützen. Diese Änderung wird die Geschwindigkeit und Effizienz des Crawlings verbessern, ohne die Indexierung negativ zu beeinflussen. Einige Websitebesitzer möchten diese Änderung jedoch möglicherweise ablehnen. Websites können dies tun, indem sie den Server anweisen, mit einem 421-HTTP-Statuscode zu antworten, wenn der Googlebot versucht, über h2 zu crawlen. Wenn dies nicht möglich ist, kann der Websitebesitzer eine Nachricht an das Googlebot-Team senden (diese Lösung ist jedoch vorübergehend).
Weitere Informationen und Antworten auf eventuelle Fragen finden Sie im ausführlichen Beitrag von Google (einschließlich Links zu Twitter und den Hilfeforen).
Laut Google ist die Software, die sie verwenden, um ihren Googlebot auf h2 zum Crawlen zu bringen, ausgereift genug, um in der Produktion eingesetzt zu werden. Sie sagten jedoch, es sei Sache des Website-Eigentümers, seine Server zu aktualisieren. Der Googlebot wechselt nur zum Crawlen von h2-Sites, die eindeutig davon profitieren. Wenn es keinen offensichtlichen Vorteil gibt, wird der Googlebot weiterhin h1 crawlen.
Cloudflare hat einen Blogbeitrag mit verschiedenen Möglichkeiten, eine Website auf h2-Unterstützung zu testen. Um Ihre Website auf h2 zu aktualisieren, empfiehlt Google, mit Ihrem Serveradministrator oder Hostinganbieter zu sprechen. Websitebesitzer können den Googlebot nicht davon überzeugen, h2 mit ihrer Website zu besprechen. Wenn die Website h2 unterstützt und gut zum Crawlen geeignet ist, wechselt der Googlebot automatisch. Andernfalls wird der Googlebot weiterhin auf HTTP/1.1 crawlen.
Google hat angekündigt, Websites nur noch dann über HTTP/2 zu crawlen, wenn es einen klaren Nutzen für die Website gibt. Die Änderung erfolgte, nachdem festgestellt wurde, dass einige Websites beim Crawlen über HTTP/2 kaum Vorteile hatten. Sie werden weiterhin Leistungssteigerungen bewerten und können ihre Umrechnungskriterien in Zukunft ändern.
Eigentümer von Websites, die in der Search Console registriert sind, erhalten eine Nachricht, dass ein Teil des Crawling-Datenverkehrs möglicherweise weiterhin über HTTP/2 geleitet wird, wenn ihre Website für das Crawlen über HTTP/2 geeignet ist. Websites können auch ihre Serverprotokolle überprüfen (z. B. in der Datei access.log, wenn die Website auf Apache ausgeführt wird), um festzustellen, ob sie über HTTP/2 crawlen.
Der Googlebot unterstützt die meisten der durch HTTP/2 eingeführten Funktionen. Einige Funktionen, die für das Rendern von Vorteil sein könnten, wie z. B. Server-Push, werden noch evaluiert. Der Googlebot unterstützt derzeit kein Klartext-HTTP/2 (h2c).
Google hat angekündigt, HTTP/2 zum Crawlen zu verwenden. Dies ist eine neuere Version des HTTP-Protokolls mit mehreren Vorteilen, darunter Multiplexing und Parallelität, Header-Komprimierung und Server-Push.
Server-Push ist eine Funktion, die noch nicht aktiviert ist, aber noch evaluiert wird. Es könnte gut zum Rendern sein, aber Google hat im Moment nichts Konkretes zu sagen.
Um über HTTP/2 gecrawlt werden zu können, muss eine Website HTTPS verwenden und HTTP/2 unterstützen. Dies entspricht der Art und Weise, wie moderne Browser damit umgehen. Wenn der Server während des TLS-Handshakes mit einer anderen Protokollversion als h2 antwortet, beendet sich der Googlebot und kehrt später zu HTTP/1.1 zurück.
Wenn Sie mehr über h2-Funktionen und Scraping erfahren möchten, können Sie Google auf Twitter fragen. Der Hauptvorteil von h2 besteht darin, dass es serverseitige und Googlebot-seitige Ressourcen spart. Ob der Googlebot mit h1 oder h2 crawlt, hat keinen Einfluss darauf, wie Ihre Website indexiert wird und wie viel Google plant, von Ihrer Website zu crawlen. Auf h2 gecrawlte Seiten haben keinen Ranking-Vorteil.