Czy warto blokować boty wyszukiwarek?

Minęły dwa miesiące odkąd postanowiłem zablokować wszystkie mało znaczące boty wszelkiej maści dziwnych wyszukiwarek i spiderów sieciowych na swoich stronach.

Jakie rezultaty?

Zerowy spadek ruchu na stronach. Zerowy spadek w SERPach (nie blokuję Google). Znaczne odciążenie dla serwera. 3 x Wygrana.

Nie jestem szczególnie zaskoczony, bardziej zawiedziony, że mniej popularne wyszukiwarki nie mają najmniejszego znaczenia co do ruchu na stronach internetowych i nie warto ich botom pozwalać na niepotrzebne zjadanie serwerowych zasobów.

Wyszukiwarka VirusTotal

Didier Stevens, znany głównie z wyszukiwania luk w formacie PDF, stworzył wyszukiwarkę w Pythonie dla VirusTotal, która po hashu pliku, wyszukuje stare raporty.

http://blog.didierstevens.com/2012/05/30/update-virustotal-search/

http://blog.didierstevens.com/2012/05/21/searching-with-virustotal/ 

Przy okazji warto wspomnieć o starym narzędziu do wysyłania plików do VirusTotal bezpośrednio z środowiska Windows stworzonym przez Gynvaela Coldwinda.

http://gynvael.coldwind.pl/?id=258