Googlebot

Googlebot — це пошуковий робот, створений Google, який збирає документи з інтернету для будівництва пошукового індексу пошуковика Google.

Якщо вебмайстер бажає обмежити інформацію на своєму сайті для Googlebot, він може використати файл robots.txt або метатег noindex.

Googlebot ідентифікує себе через стрічку user agent, в якій міститься слово googlebot.

Посилання

1. . Архів оригіналу за 16 лютого 2009. Процитовано 27 жовтня 2018.

Див. також

Googlebot FAQ [ 15 червня 2013 у Wayback Machine.]