Informacje o robocie
W skrócie
Nasz robot odwiedza strony biur nieruchomości, żeby zapisać dane firmowe do katalogu. Przestrzega pliku robots.txt, robi przerwy między zapytaniami do tego samego serwera i przedstawia się nazwą KatalogBot.
Jak się przedstawia
KatalogBot/0.1 (+https://rankingbiurnieruchomosci.pl/bot/)
Jak wykluczyć robota
Dodaj do pliku robots.txt na swojej stronie wpis User-agent: KatalogBot oraz Disallow: /. Zastosujemy się do niego. Możesz też poprosić o usunięcie wpisu na stronie dla firm.