Internet o Web Spider, noto anche come "Web crawler" o "Web robot," sono programmi che Esplora il World Wide Web, la raccolta dei dati sui siti Web e pagine. Motori di ricerca utilizzano spesso ragni per fornire informazioni sul contenuto di siti Web e i collegamenti tra di loro. Ragni Internet navigare siti Web seguendo i link a loro da altri siti e le pagine all'interno di un sito di navigazione allo stesso modo, utilizzando ancoraggi HTML.

Struttura Web

La possibilità di creare collegamenti tra pagine Web è un aspetto fondamentale di Internet. Pagine all'interno di un sito possono link a vicenda, così come ad altri siti, consentendo agli utenti di accedere alle informazioni utilizzando semplici clic del mouse. In questo modo la struttura del Web, che è una massa di contenuti Web collegati tramite ancoraggi HTML. Web crawler seguono questi link per ottenere informazioni sui siti in esistenza, spesso utilizzando i dati scoperti mentre la ricerca per indicizzazione ai motori di ricerca presenti.

Motori di ricerca

Motori di ricerca invia traffico di visitatori ai siti Web elencati nelle loro pagine. Quando un utente immette un termine di ricerca ed esegue una ricerca, i risultati presentati spesso contengono informazioni ottenute tramite la ricerca per indicizzazione. I dati raccolti da un programma di spider Web includono alcuni dei contenuti del sito effettivo. I motori di ricerca alimentano gli algoritmi che utilizzano questi dati per classificare i siti in ordine di importanza in elenchi di ricerca. Programmi spider Internet spesso arrivano a un sito seguendo un link ad esso da un altro sito. Quando si analizzano i dati di ricerca per indicizzazione, uno degli obiettivi principali per i motori di ricerca è quello di determinare quali parole chiave di ricerca un sito o una pagina dovrebbe essere elencato per.

Accesso al sito

Proprietari di siti Web possono raggiungere un livello di controllo sopra i sensi in cui i ragni Web accedere al loro contenuto. Molti siti Web memorizzare un file di testo nella directory principale denominata "robots. txt." Quando il programma di crawler inizia ad esplorare un sito, sarà normalmente controllare prima di ogni file "robots. txt", analizzando il contenuto. Proprietari di siti Web possono strutturare le loro file "robots. txt" in modo che il programma impedisce di procedere per esplorare le pagine all'interno del sito, se non vogliono che vengano indicizzati. Il grado di successo per questa tecnica varia, come in alcuni casi il programma di ragno non effettivamente controllerà il file di testo a tutti.

Sito Web Marketing

Persone che si specializzano in Internet marketing spesso alcuni dei loro sforzi si concentrano su come massimizzare i contenuti e la struttura di un sito per soddisfare al meglio la Spider dei motori di ricerca e algoritmi di ranking. La capacità di fare questo con successo a volte è ostacolata dal fatto che le organizzazioni di motore di ricerca come di mantenere segreti i dettagli dei loro algoritmi. SEO (Search Engine Optimization) è la pratica di sartoria la struttura e il contenuto di un sito per eseguire così come possibile nel motore di ricerca pagine dei risultati.