Robot indeksujący wyszukiwarki (np. Googlebot, Bingbot) odwiedzający strony, by je zaindeksować. Sposób, w jaki nawiguje po serwisie, zależy od linkowania wewnętrznego, sitemap i dyrektyw w robots.txt.
Robot indeksujący wyszukiwarki (np. Googlebot, Bingbot) odwiedzający strony, by je zaindeksować. Sposób, w jaki nawiguje po serwisie, zależy od linkowania wewnętrznego, sitemap i dyrektyw w robots.txt.