Si potrebbe essere sorpresi di apprendere che la ricerca motori, come Google o Bing e gli spammer professionisti hanno qualcosa in comune..--usano software automatizzato robot per setacciare il Web per informazioni. Crawler e robot da aziende con buone intenzioni, come le aziende di motore di ricerca, si basano sul file "robots. txt" si trova sul server Web per determinare quali pagine per elencare, o non, nei loro indici. D'altra parte, gli spammer spesso ignorano le regole nel file "txt" e sono semplicemente alla ricerca di indirizzi email a cui poter inviare messaggi non richiesti. Indipendentemente dal tipo di robot che esegue la scansione o indicizza il tuo sito, però, è possibile tenere traccia loro andirivieni utilizzando i file di registro sul server.

Istruzioni

1

Passare alla pagina Web della pagina di accesso del pannello di controllo del tuo account di hosting. Si noti che con alcuni account di hosting Web, è necessario immettere un numero di porta insieme all'URL per accedere alla pagina del pannello di controllo. Ad esempio, l'URL di accesso per il vostro pannello di controllo potrebbe essere simile a "http://mywebsitename.com:2092" (senza virgolette).

2

Fare clic su "Web log", "Analog Stats,", "Webalizer," "Raw log di accesso" o altri simili link nella sezione "Log" o "Web statistiche" del pannello di controllo.

3

Fare clic sul nome del nome a dominio per il quale si desidera esaminare i registri di accesso, se si dispone di più di un dominio sul server.

4

Selezionare l'ultima data o mese indicato nell'elenco, come questa sezione contiene le voci del registro più aggiornate per il tuo sito.

5

Esaminare le voci di registro sotto le intestazioni "Browser Report" o "Browser Sommario". Esaminare l'elenco di voci e cercare quelli che contengono le parole "robot", "ragno", "bot", "autobot" o parole simili. Queste sono in genere automatizzato robot o crawler.

6

Controllare il nome di dominio nell'URL che contengono una delle parole chiave sopra per crawler o robot. Questo è il dominio di riferimento del sito Web che invia i robot o Spider al tuo sito. Se si collega il nome di dominio del sito in un motore di ricerca principali, si dovrebbe essere in grado di trovare informazioni sull'azienda o sito che il crawler di cui al tuo sito Web.

Consigli & Avvertenze

• I registri per il tuo sito dovrebbero contenere anche informazioni su quante volte il crawler o robot accessibile il tuo sito.
• Se non trovate informazioni sul dominio di riferimento con un motore di ricerca principali, utilizzare siti di ricerca DNS come DNSStuff.com, DNSWatch.com e Whois.com.