Googlebot, come suggerisce il nome, è un programma automatico che indicizza i siti Web per l'inclusione nell'indice di ricerca di Google. Il software perennemente scansioni sul Web i contenuti nuovi e aggiornati attraverso le pagine più di 1 trilione di uniche indicizzato dal motore di ricerca di Google a partire dalla data di pubblicazione. Quando viene scoperto contenuti nuovi o aggiornati, Googlebot crea una copia della pagina in cui viene memorizzata sui server di Google, che consente il motore di ricerca applicare rapidamente l'algoritmo di ricerca di Google quando un utente esegue una ricerca.

Storia

Google ha introdotto il Googlebot nel 2000 al fine di indicizzare in modo più efficace sul Web. Durante la decade passata, Google ha migliorato Googlebot per far fronte alla rapida crescita del Web. Tra i numerosi perfezionamenti, Googlebot è ora in grado di analizzare i dati del sito Web al fine di presentare ricco di risultati di ricerca d'attualità con informazioni relative al sito Web. Ad esempio, Googlebot tira sezioni del sito in corrispondenza dell'indice, che consente risultati di ricerca di Google visualizzare i collegamenti diretti alle sezioni del sito Web diverso.

Funzione

Googlebot indicizza il Web seguendo i collegamenti ipertestuali in un sito Web. Quando Googlebot arriva su un sito Web, che gli indici di testo e immagini trovate su quella pagina che continua in tutta la struttura di link del sito Web, alla fine trovandosi a siti Web esterni attraverso collegamenti ad altre posizioni sul Web. Googlebot algoritmicamente estrae una varietà di dati da siti Web, tra cui data di pubblicazione, autore, sezioni del sito, immagini, informazioni sull'indirizzo e altro ancora. Gran parte dei dati estratti viene visualizzato sulle pagine di risultati di ricerca di Google, fornendo contesto alle vostre domande.

Problemi

Dal momento che Googlebot Scarica una copia completa di ogni sito Web visitato, inclusi testo e immagini, alcuni si sono lamentati che utilizza un'elevata quantità di larghezza di banda. Maggior parte degli host Web assegnare una quantità finita di banda al mese e in eccesso utilizzo della larghezza di banda è addebitato al webmaster su base per-GB. Questo problema può essere risolto utilizzando strumenti per i Webmaster di Google, un servizio che consente di impostare limiti di ricerca per indicizzazione per Googlebot.

Webmaster

Come un webmaster, ci sono una varietà di modi per interagire con Googlebot. Il modo più semplice per controllare che cosa Googlebot è in grado di indicizzare consiste nel configurare un file di esclusione di robot che incarica il Googlebot per escludere file o directory quando indicizzare il tuo sito Web. I webmaster possono anche rapidamente migliorare le prestazioni di indicizzazione inviando una mappa del sito utilizzando strumenti per i Webmaster di Google. Il servizio di strumenti per i Webmaster fornisce inoltre una varietà di altre caratteristiche, tra cui la possibilità di visualizzare il tuo sito Web, come si è visto da Googlebot e acceleratore indicizzazione tariffe se troppa larghezza di banda viene utilizzata da Googlebot.