Nwlapcug.com


Che cosa è un ragno Bot?

Che cosa è un ragno Bot?


Un ragno di bot è un programma per computer automatizzato..--bot è l'abbreviazione di "robot"--che accede a pagine pubblicamente disponibili sul Web, recupera i propri contenuti e cataloghi di esso. Ragni bot cataloga il contenuto che si trovano e seguono tutti i collegamenti esterni, o collegamenti ipertestuali - parole, frasi e immagini, su cui gli utenti possono fare clic per navigare da una pagina al - su una pagina.

Come funzionano i ragni Bot

Un ragno di bot in genere inizia con un indirizzo Web unico, ben noto, altrimenti noto come un Universal Resource Locator (URL). Il ragno bot Scarica il contenuto dalla pagina Web associata all'indirizzo e copia in un database. Qualsiasi link esterni nella pagina vengono aggiunti a un elenco, noto come URL di frontiera, che il ragno bot utilizza per scaricare e copiare il contenuto dalla destinazione o pagina di destinazione per ogni collegamento. Naturalmente, la maggior parte delle pagine Web contengono link, in modo che i ragni bot possono iniziare la ricerca, o "crawling", quasi ovunque sul Web.

Motori di ricerca

Motori di ricerca, come Google, Yahoo e molti altri, utilizzano un cluster di ragni di bot, funzionanti in parallelo, per creare uno snapshot del Web su base regolare. L'obiettivo è quello di creare un catalogo locale, o indice, di pagine Web che il motore di ricerca puoi cercare i risultati più applicabili quando un utente digita una query. Un insieme di criteri comportamentali, definito dal creatore dei ragni bot, determina quali pagine vengono visitate e con quale frequenza. Un motore di ricerca deve, tuttavia, mantenere un catalogo sono aggiornato se si vuole mantenere la sua affidabilità e credibilità.

Selettività

Il Web è costituito da milioni di pagine, quindi, anche un cluster dei ragni non può essere previsto per il download tutto il Web prima di pagine vengono aggiunti, modificati o eliminati. Ragni bot devono pertanto dare la priorità le pagine che eseguono il download e la copia, spesso in relazione a un argomento predefinito, o un elenco di argomenti, oppure scaricando pagine solo con testo statico - scritti in Hypertext Markup Language (HTML)..--e ignorando tutti gli altri tipi di contenuto.

Altre applicazioni

Ragni di bot non sono solo utilizzati dai motori di ricerca. Sono utilizzabili da altre applicazioni per convalidare la struttura delle pagine Web, inclusi i collegamenti ipertestuali, o per generare statistiche che consentono di contenuti Web per comprendere meglio. Ragni di bot è utilizzabile anche per raccogliere informazioni specifiche, inclusi indirizzi e-mail e informazioni di contatto, una funzione che è spesso sfruttata dai cedenti di Internet posta indesiderata o spam.