Il bot di Yahoo!, anche conosciuto come un robot o Spider Web, è un robot di indicizzazione Web che raccoglie documenti da Internet per costruire un indice di ricerca per il motore di ricerca Yahoo!. Motori di ricerca come Yahoo strisciare attraverso siti Web per raccogliere informazioni, restituzione di un elenco di siti web pertinenti all'utente che tipi di termini di ricerca in loro. I bot restituiscono informazioni aggiornate sui siti Web attualmente attivo, ma sono stati conosciuti per restituire defunta siti Web.

Slurp di Yahoo!

Yahoo Slurp è il nome riconosciuto del bot che utilizza il motore di ricerca Yahoo!. È un bot diverso rispetto a Googlebot per Google e Bingbot per Bing. Yahoo Slurp è basato sull'architettura di crawler Web sviluppato per Inktomi. Il bot Yahoo Slurp striscia attraverso i siti Web e crea una copia virtuale di loro per essere utilizzato in seguito per il motore di ricerca.

Attività di bot

Il bot Yahoo Slurp esegue tre azioni di base per il motore di ricerca Yahoo!. In primo luogo, recupera informazioni sul sito Web del server Web. Poi il bot analizza il contenuto del sito Web per informazioni pertinenti. Infine, archivia le informazioni per essere utilizzato nell'indicizzazione del sito. Il bot è poco più di uno script automatico eseguire questi tre compiti più e più volte. Tuttavia, può farlo a velocità incredibilmente veloce. Una pagina di risultati del motore di ricerca Yahoo! richiede pochi secondi per caricare. Non sarebbe possibile senza il bot.

Indicizzazione del sito

Il processo di ordinazione i siti Web che ha trovato il bot Yahoo Slurp è chiamato indicizzazione del sito. Siti Web sono classificati secondo la loro rilevanza per la ricerca di termini e la loro truppa individuali all'interno il motore di ricerca Yahoo!. È il più popolare e parte integrante del sito Internet, ottiene più rigogliose e più esso è elevato quando Yahoo! restituisce i risultati di ricerca. Il bot Yahoo Slurp consente di indicizzare i siti Yahoo!

Modalità di ricerca il Bot

Il bot Yahoo Slurp utilizza quattro parametri quando realizzare il relativo processo di recupero delle informazioni del sito Web. Funziona utilizzando un criterio di selezione che determina quali pagine da scaricare; utilizza un criterio di ri-visitare che determina quando le pagine vengono controllate per informazioni aggiornate. Il bot funziona anche da una politica di gentilezza che impedisce l'essere sovraccaricato con la ricerca di determinati siti Web. Funziona anche da una politica di parallelizzazione, che coordina il bot Yahoo Slurp con altri crawler Web.