Motori di ricerca come Google, Yahoo e Bing trovare informazioni utilizzando Sitemap ad altri siti Web e link. I motori di ricerca possono trovare alcune delle più oscurare informazioni e includerlo nell'indice. Questo tipo di tecnologia di ricerca profonda ha alcuni vantaggi e svantaggi per gli utenti finali.
Pagine Web interne
Pagine web interne consistono delle pagine del sito Web che prendere parecchi scatti prima che l'utente è in grado di visualizzarli. Queste pagine possono essere pagine di prodotto, contenuto o un database di ricerche che gli spider dei motori di ricerca web normalmente Impossibile ricerca per indicizzazione. Il vantaggio di questo tipo di tecnologia di ricerca per indicizzazione è che i proprietari di siti Web possono avere prodotti, negozi, informazioni e altri link utili inclusi nell'indice di un motore di ricerca web. Questo lascia più visibilità su Internet per il proprietario del sito.
Informazioni personali
Uno svantaggio di un crawler dei motori di ricerca profonda è le informazioni personali vengono indicizzati indipendentemente dalla privacy. Informazioni quali numeri di previdenza sociale, informazioni finanziarie o località geografiche possono essere indicizzate anche se è inviato a un sito Web personale. Motori di ricerca hanno dato agli utenti la possibilità di bloccare alcune informazioni dall'indice utilizzando un file denominato "robots. txt." Motori di ricerca come Google consentono agli utenti di rimuovere gli URL dopo il proprietario del sito Web ha rimosso le informazioni all'origine dell'errore, che viene eliminata dall'indice.
Automazione
Titolare del sito possono avere pagine web indicizzate facendo cadere un paio di link su un altro sito Web o all'interno del proprio sito. Questa pratica è chiamata "backlinking." Un sito Web che è backlinked automaticamente ottiene indicizzazione dai motori di ricerca, che possono poi mappa e indicizzare un sito Web. Questo rende molto più facile per un proprietario di sito Web poiché non hanno bisogno di inviare un nome di dominio per i motori di ricerca. Automazione dell'indice lo rende facile da trovare dai lettori su Internet.