|
利用C#編寫(xiě)一個(gè)簡(jiǎn)單的抓網(wǎng)頁(yè)應(yīng)用程序
|
本文利用C#和.NET提供的類(lèi)來(lái)輕松創(chuàng)建一個(gè)抓取網(wǎng)頁(yè)內(nèi)容源代碼的程序 。HTTP是WWW進(jìn)行數(shù)據(jù)訪(fǎng)問(wèn)最基本的協(xié)議之一，在.NET的基本類(lèi)型庫(kù)類(lèi)中提供了兩個(gè)對(duì)象類(lèi)：HTTPWebRequest和HTTPWebResponse，分別用來(lái)向某資源發(fā)送請(qǐng)求和獲得響應(yīng)。為了得到一個(gè)資源的內(nèi)容，我們先指定一個(gè)想要抓取的URL地址，用HTTPWebRequest對(duì)象進(jìn)行請(qǐng)求，用HTTPWebResponse對(duì)象接收響應(yīng)的結(jié)果，最后用TextStream對(duì)象來(lái)提取我們想要的信息，并在控制臺(tái)打印出來(lái)。
下面就是看看如何實(shí)現(xiàn)這樣的功能：
第一步：打開(kāi)VS.NET，點(diǎn)“文件”-“新建”-“項(xiàng)目”，項(xiàng)目類(lèi)型選擇“Visual C#項(xiàng)目”，模板選“Windows應(yīng)用程序”，
第二步：在Form1里加入Label1，Button1,TextBox1,TextBox2四個(gè)控件，TextBox2的Multiline屬性改為T(mén)rue,
第三步：在Form1窗體上點(diǎn)擊右鍵，選“查看代碼”，然后在最頂端輸入：
using System.IO;
using System.Net;
using System.Text;
private void button1_Click(object sender, System.EventArgs e)
{
} |
括號(hào)之間輸入下面的代碼：
byte[] buf = new byte[38192];
HttpWebRequest request = (HttpWebRequest)
WebRequest.Create(textBox1.Text);
HttpWebResponse response = (HttpWebResponse)
request.GetResponse();
Stream resStream = response.GetResponseStream();
int count = resStream.Read(buf, 0, buf.Length);
textBox2.Text = Encoding.Default.GetString(buf, 0,
count);
resStream.Close(); |
第四步：點(diǎn)“Save all”按鈕，按“F5”運(yùn)行應(yīng)用程序，在“請(qǐng)輸入U(xiǎn)RL地址：”后面的單行文本框里輸入http://lucky./down.htm，點(diǎn)擊“得到 HTML 代碼”按鈕，就可以看到該地址的代碼了！
下面，我們就對(duì)上面的程序做一個(gè)分析：
上面的這個(gè)程序的功能是抓取網(wǎng)頁(yè)http://lucky./down.htm的內(nèi)容，并在多行文本框里顯示出HTML代碼，由于返回的數(shù)據(jù)是字節(jié)類(lèi)型的，因此，我們創(chuàng)建一個(gè)名為buf的字節(jié)類(lèi)型的數(shù)組變量來(lái)存儲(chǔ)請(qǐng)求返回來(lái)的結(jié)果，其中數(shù)組的大小與我們要請(qǐng)求返回的數(shù)據(jù)大小有關(guān)系。首先，我們實(shí)例化HttpWebRequest對(duì)象，使用WebRequest類(lèi)的靜態(tài)方法Create()，該方法的字符串參數(shù)就是我們要請(qǐng)求頁(yè)面的URL地址，由于Create()方法返回的是WebRequest類(lèi)型的，我們必須對(duì)它進(jìn)行造型（即類(lèi)型轉(zhuǎn)換）成HttpWebRequest類(lèi)型，再賦給request變量。一旦我們建立了HttpWebRequest對(duì)象，就可以使用它的GetResponse()方法來(lái)返回一個(gè)WebResponse對(duì)象，然后再造型成HttpWebResponse對(duì)象賦給response變量。現(xiàn)在，就可以使用response對(duì)象的GetResponseStream()方法來(lái)得到響應(yīng)的文本流了，最后用Stream對(duì)象的Read()方法把返回的響應(yīng)信息放到我們最初創(chuàng)建的字節(jié)數(shù)組buf中，Read()有3個(gè)參數(shù)，分別是：要放入的字節(jié)數(shù)組，字節(jié)數(shù)組的開(kāi)始位置，字節(jié)數(shù)組的長(zhǎng)度。最后把字節(jié)轉(zhuǎn)換成字符串，注意：這里采用的采用的是Default編碼，它使用默認(rèn)的編碼方式，我們就不用再進(jìn)行字符編碼之間的轉(zhuǎn)換了。也可以利用WebRequest和WebResponse實(shí)現(xiàn)以上的功能，代碼如下：
WebRequest request = WebRequest.Create(textBox1.Text);
WebResponse response =request.GetResponse(); |
輸入其它的URL看看是不是很方便！
|
|
