Letztes Jahr veröffentlichte Google seinen robots.txt-Parser und -Matcher für die Open-Source-Welt. Seitdem haben Leute es verwendet, um neue Tools zu entwickeln, zu Open-Source-Bibliotheken beizutragen und neue Sprachversionen zu veröffentlichen (wie golang und rust).
Da die Praktikantensaison von Google zu Ende geht, möchten sie zwei neue Veröffentlichungen im Zusammenhang mit robots.txt von zwei Praktikanten hervorheben, die im Search Open Source-Team arbeiten: [Andreea Dutulescu](https://www.linkedin.com/at/andreea -nicoleta-dutulescu){rel="nofollow"} und Ian Dolzhanskii.
Zunächst veröffentlichen sie ein Test-Framework für die Entwickler des von Andreea erstellten robots.txt-Parsers. Das Projekt stellt ein Testtool bereit, um zu überprüfen, ob robots.txt-Parser dem Robots Exclusion Protocol folgen oder in welchem Umfang. Derzeit gibt es keine offizielle und gründliche Möglichkeit, die Korrektheit eines Parsers zu bewerten, daher hat Andreea ein Tool entwickelt, mit dem ein protokollkonformer Parser erstellt werden kann.
Google hat eine Java-Portierung seines beliebten C++-Parsers robots.txt veröffentlicht. Der Parser ist eine Eins-zu-eins-Übersetzung des C++-Parsers in Bezug auf Funktionalität und Verhalten und wurde gründlich anhand einer großen Anzahl von robots.txt-Regeln auf Parität getestet. Das Team plant, den Java-Parser robots.txt im Produktionssystem von Google einzusetzen, und das Unternehmen freut sich über Ihre Beiträge zu diesen Projekten.
Wir waren wirklich glücklich, Andreea und Ian zu Gast zu haben, und wir bedauern, dass ihr Praktikum zu Ende geht. Ihre Beiträge tragen dazu bei, das Internet zu einem besseren Ort zu machen, und wir hoffen, dass wir sie in Zukunft wieder bei Google begrüßen können.