Migliaia di programmatori in tutto il mondo è tranquillamente toccando lontano sulle loro tastiere cercando di costruire il miglior motore di ricerca successivo. Sergey Brin e Lawrence Page, i famosi creatori di Google, ammettere che "un motore di ricerca di ingegneria è un compito impegnativo." Un motore di ricerca viene utilizzato per trovare informazioni sul Web. Un motore di ricerca per indicizzazione Internet e indicizza milioni di pagine di informazioni, sputando risultati quando qualcuno fa una ricerca.
Istruzioni
Ottenere un Web Crawler
1
Acquisire un Web crawler, che è il ragno o bot che striscia intorno al Internet raccolta pagine dal Web. Un ragno visite pagine Web, li legge e segue i link ad altre pagine. È possibile trovare un crawler open source o costruire il proprio. Se si vuole costruire il proprio crawler, ottenere un elenco di URL per eseguire il seeding del crawler con. Un lento crawler è facile da costruire, ma costruire un crawler ad alte prestazioni per milioni e milioni di pagine di indice è più impegnativo.
2
Ottenere quanto più larghezza di banda, come si può permettere. Avete bisogno di questa larghezza di banda per il vostro cingolato mentre viaggia attraverso il Web sempre pagine.
3
Creare un indice. Tutto i cingolo ritrovamenti va nell'indice del motore di ricerca. L'indice è come un libro gigante o un catalogo contenente una copia di ogni pagina Web che il crawler rileva. Anna Patterson presso la Stanford University raccomanda l'indicizzazione solo i dati che avete bisogno di servire il vostro tipo di risultati della ricerca. Lei consiglia anche che si dovrebbe cercare di indice "il lavello" ma piuttosto "ottenere qualcosa presentabile fino."
4
L'indice contiene tutte le informazioni trovate dai vostri crawler Web.
Classificare i risultati sull'indice utilizzando un database ad alte prestazioni e tutte le informazioni sui server dal vostro Web crawling. È necessario elaborare possibilmente milioni di pagine Web per creare l'indice. Le pagine registrate nel vostro bisogno di indice di essere classificato in ordine di ciò che è più rilevante ai tuoi ricercatori.
5
Costruire un sito web attraente per restituire i risultati della ricerca.
6
Lanciare e il tuo motore di ricerca di mercato. Un motore di ricerca gratuito dovrebbe prendere gli utenti dove vogliono andare rapidamente ed elegantemente, secondo Laszlo Xalieri da ricerca motore Watch.com. Egli dice che per eseguire un motore di ricerca di successo, "il vostro obiettivo è di attrarre i consumatori e vendere loro accesso a società di marketing."
Consigli & Avvertenze
- Ogni programmatore può avviare un motore di ricerca, ma fornendo risultati rilevanti è la vera sfida.