Nwlapcug.com


Un progetto di Bot ragno

Un progetto di Bot ragno


Anche se non si possiede un robot che può cucinare la cena o rastrellare foglie, è possibile creare almeno un robot per obbedire i vostri comandi con una piccola programmazione know-how. Un progetto di bot ragno consente ai programmatori di creare un programma, chiamato "bot," per strisciare numerose pagine Web ed estrarre le informazioni per un uso successivo. Molte aziende ben note si basano su bot ragno "scansione" del Web e recuperare i dati. Esempi di codice spesso apparire in c# e .NET, è possibile facilmente adattare a qualsiasi lingua.

Ambiente

Per iniziare il tuo progetto, creare un nuovo file nell'ambiente di sviluppo di scelta, come Eclipse o Visual Studio. È possibile utilizzare quasi tutte le lingue insieme a una libreria di classe appropriata per accedere e manipolare i dati. L'ambiente di sviluppo corretto fornisce per quasi infinite possibilità di programmazione di Internet. Ad esempio, è possibile utilizzare il Web funzionalità del framework di programmazione per creare un ragno per avvisare l'utente quando un prezzo è sceso o quando una pagina Web ha incluso il nuovo materiale.

URI

Maggior parte dei programmatori creare un oggetto URI prima di creare il bot ragno reale. Creare un'istanza di un oggetto URI tramite la pagina Web che desideri eseguire la scansione con il tuo bot ragno come argomento:

Uri uri = new Uri ("http / / www.SampleSite.com/");

L'oggetto URI rappresenta la pagina Web bot ragno striscerà alla fine. Qui, l'oggetto URI punta al sito Web di "Attività SampleSite". Una volta che hai creato un URI o un elenco di URI, si è pronti per iniziare a costruire il bot stesso.

HttpWebRequest

Creare un'istanza di un oggetto HttpWebRequest utilizzando l'URI per creare il nucleo del bot:

WebRequest sampleWebRequest = HttpWebRequest.Create(uri);

La classe WebRequest si trova al centro del bot ragno. Richiede essenzialmente pagine Web in modo analogo come un browser Web come Internet Explorer o Firefox. Tuttavia, anziché caricare il contenuto della pagina per la visualizzazione, la classe WebRequest contiene semplicemente i file che contengono la pagina Web in memoria. Quasi qualsiasi framework Web contiene un equivalente di. Oggetto HttpWebRequest di NET.

HttpWebResponse

Mettere il vostro bot a lavorare utilizzando la classe WebRequest e il relativo metodo GetResponse per richiedere la pagina Web e inserirlo in un oggetto HttpWebResponse:

HttpWebResponse SampleHttpWebResponse = (HttpWebResponse) http. GetResponse ();

Il codice sopra riportato nella pagina di www.SampleSite.com di download da Internet e lo inserisce nella memoria locale. È quindi possibile trasformare i dati in un oggetto HttpWebResponse, che consente di manipolare i dati.

Diretta streaming

Se si desidera rendere la pagina Web leggibile per un essere umano come te, è necessario trasformarla in ASCII e assegnarlo a una variabile di tipo di dati String. Leggere la classe HttpWebResponse utilizzando un oggetto StreamReader e codificarlo in ASCII. Chiudere la classe HttpWebResponse:

SampleStreamReader di StreamReader = new StreamReader (
SampleHttpWebResponse.GetResponseStream(),
Base64String);
Dim result As String = sampleStreamReader.ReadToEnd();
SampleHttpWebResponse.Close();
sampleStreamReader.Close();

Da questo passaggio, puoi salvare i dati della pagina Web in un database, caricarlo su un server o visualizzarla. Le possibilità sono quasi infinite.