Motori di ricerca come Google analisi del contenuto delle pagine Web per determinare dove le pagine dovrebbero comparire nei risultati di ricerca. Programmi speciali sono utilizzati per verificare le pagine Web, analizzando il testo che appare su una pagina e seguendo qualsiasi link che sono presenti per determinare come rilevanti sono per il contenuto del sito.

Spider di Google

I programmi utilizzati per la scansione di siti Web e determinare il loro posizionamento nei risultati di ricerca sono comunemente noti come "Web crawler" o "ragni" a causa di quella "strisciano" su pagine Web per indicizzare il loro contenuto. Il ragno di Google è conosciuto come "Googlebot" e restituisce i risultati a uno dei diversi server dedicati per la scansione e l'indicizzazione dei siti Web. Le informazioni raccolte da Googlebot sono utilizzate da algoritmi dei motori di ricerca di Google per determinare quanto sia rilevante il contenuto di ogni pagina è quello di potenziali parole chiave, che consente di Google determinare la classificazione appropriata per le pagine.

Procedure di ricerca per indicizzazione

Quando la spider Googlebot esegue la scansione una pagina raccoglie dati non solo il contenuto della pagina, ma anche su qualsiasi link che collegano a una pagina. Dati nella pagina principale che Googlebot visita viene analizzati per la pertinenza delle parole chiave, sia rispetto al soggetto apparente della pagina e a qualsiasi sito Web che si collega alla pagina. Una volta completata questa analisi preliminare, il ragno segue tutti i collegamenti nella pagina per vedere se atterrano su altri siti Web o altre pagine del sito stesso.

La ricerca per indicizzazione limitazioni

Quando Googlebot segue link non farlo a tempo indeterminato; collegamenti sono in genere solo strisciati una o due pagine profonde prima che vengono restituiti a Google. Ciò significa che collegamenti rilevati nella pagina iniziale che Googlebot visita saranno seguiti, e collegamenti rilevati su ogni pagina collegata a possono essere seguiti anche. Il ragno può solo seguire il link che non richiedono l'interazione dell'utente da seguire e abbandonerà qualsiasi tentativo di seguire un link che sembra essere morto o altrimenti non si connette a una pagina Web valida.

Collegamenti del modulo di presentazione

Anche se forme di presentazione di utilizzano collegamenti, questi link non possono essere seguiti da Googlebot perché generalmente richiedono l'interazione dell'utente per attivare e fare non conducono a un sito Web valido o pagina di destinazione. A seconda di come viene creato il modulo di presentazione, il collegamento utilizzato per inviare le informazioni può condurre direttamente a un indirizzo email o a un programma lato server che elabora le informazioni prima della consegna. In entrambi i casi, il ragno di Google riconosce che il collegamento non può essere seguito e interrompe di che qualsiasi ulteriore tentativo fanno.