Google vypustil do světa parser i specifikaci robots.txt jako Open Source a provedl některé změny

Google vypustil do světa parser i specifikaci robots.txt jako Open Source a zároveň některé doposud existující součástí specifikace vypustil z důvodu nepoužívání či nadbytečnosti. Podrobnosti hledejte v Robots.txt Specifications, na GitHubu v google/robotstxt a v A note on unsupported rules in robots.txt (vypouští se hlavně noindex, nofollow a crawl-delay), Další vhodné čtení viz A deep dive into the implications of the robots.txt RFC

TIP: robots.txt? K čemu něco takového je? A proč je to užitečné? na @365tipu obsahuje víc o tom k čemu vlastně robots.txt slouží