Un Web spider è un programma per esplorare Internet in modo specifico e significativo. Web Spider sono utilizzati dai motori di ricerca Internet, come Google, Yahoo e molti altri per recuperare e indicizzare il contenuto. Ma possono anche essere utilizzati per raccogliere informazioni--compresi gli indirizzi e-mail- - archiviare il contenuto e generare statistiche.

Motori di ricerca

Lo scopo di Spider Web motore di ricerca è di fare ricerca su Internet più veloce ed efficiente possibile. Web Spider ottenere l'accesso a siti web pubblicamente accessibile, copiare il contenuto in un database e indicizzarlo su base regolare. Ciò significa che quando si immette una query in un motore di ricerca può rapidamente l'indice locale di ricerca e restituire i risultati che sono più applicabili alla query. Web spider dei motori di ricerca utilizzare un insieme di criteri di comportamento per determinare la frequenza con cui siti Web sono visitati e quali pagine Web vengono copiati nel database.

Inclusione

Se si desidera aumentare il profilo o la visibilità del tuo sito Web su Internet, è possibile registrarlo con un motore di ricerca. È anche possibile utilizzare tag Hypertext Markup Language (HTML), noto come meta tag, nella parte superiore di ogni pagina Web per descrivere il suo contenuto e per fornire parole chiave - un piccolo insieme di parole che trasmettono il soggetto del contenuto..--per un Web spider. Queste informazioni determinano il modo in cui il contenuto è indicizzato nel database del motore di ricerca.

Esclusione

La copia dei contenuti del sito Web spider non è considerata una violazione del diritto d'autore negli Stati Uniti, ma anche così, si potrebbe desiderare di evitare che il tuo sito Web ricerca per indicizzazione. Per effettuare questa operazione, è possibile aggiungere un protocollo di esclusione robot..--in genere in un file chiamato "robot. txt"..--a una pagina Web. Un protocollo di esclusione robot indica a un Web spider che una pagina non è adatto per la ricerca per indicizzazione o semplicemente che il suo proprietario non lo vuole la ricerca per indicizzazione. Essere avvertito, tuttavia, che non c'è niente giuridicamente vincolante sui protocolli di esclusione di robot, e alcuni ragni Web sono programmati per ignorarli del tutto.

Altri tipi di ragni

Altri, non tradizionali tipi di Web Spider possono essere utilizzati per scattare un'istantanea del contenuto di Internet in qualsiasi momento, o per generare statistiche che consentono il contenuto deve essere capito. Allo stesso modo, alcuni ragni Web possono essere utilizzati per verificare la validità del codice HTML e collegamenti ipertestuali..--parole, frasi o immagini su cui i visitatori possono fare clic su..--in una pagina Web. Purtroppo, un altro tipo di spider Web dannoso può essere utilizzato per raccogliere indirizzi e-mail, che vengono utilizzati per generare indesiderata, o spam, messaggi di posta elettronica.