Robot dei motori di ricerca, anche chiamato Web Spider, setacciare Internet alla ricerca di informazioni. Essi copiare dati da siti Web e lo memorizza sul loro server. Questo rende possibile per i surfisti di Internet per ricerche sul web e trovare informazioni. Gli sviluppatori Web controllare il processo di indicizzazione inserendo un file di testo speciale sui loro siti Web. Questo file, denominato robots. txt, racconta i ragni quali parti di un sito per la ricerca e quali parti di un sito di ignorare. Se si desidera impedire a tutti i motori di ricerca di indicizzare il tuo sito Web, inserire un file robots. txt sul server Web che esegue questa istruzione.

Istruzioni

1

Aprire Blocco note o qualsiasi software di elaborazione testi e creare un nuovo documento.

2

Aggiungere il seguente testo al documento:

Agente utente: *

Disallow: /

Tutti i motori di ricerca ciò impedirà di accedere al sito Web.

3

Salvare il file come file robots. txt e caricarlo nella directory principale del tuo sito Web.

Consigli & Avvertenze

• Per consentire i motori di ricerca per indicizzare il tuo sito ancora, eliminare il file robots. txt. Motori di ricerca non è necessario rispettare le istruzioni in un file robots. txt. Tuttavia, maggior parte dei motori di ricerca leggere il file e cerca solo ciò che permettono le direttive nel file.