[原創] VBA網路爬蟲(網路資料蒐集)

本帖最後由 iamaraymond 於 2018-5-7 07:57 編輯

不好意思不太知道”分享”跟”原創”的差異，若發錯版還麻煩版主刪文

最近回復了許多帖子都是關於如何用VBA做網路爬蟲，抓取如股票資料等資訊，所以想說直接寫成一篇教學文
讓對此有興趣的朋友有個入門的管道，只是因為這些都是自學而來，若有錯誤或建議還請版主以及版上的各位高手不吝指教。

小弟學習使用VBA做網路爬蟲有一陣子了，抓過不少資料，也累積了一些心得
小弟比較熟悉的爬蟲方式有三種:
1.QueryTable(也有人稱QT法)
2.操控IE
3.XMLHTTP(這物件的兄弟蠻多的，如MSXML、WinHttp等等的)
其中1、2的方法在論壇中已經使用過許多次，建議大家如果有需要的話可以自行搜尋一下相關的帖子(或是之後我在寫教學文)

XMLHTTP似乎較少人運用，但就速度上來說，其實是比QT法和IE法快上好幾倍
簡單講一下原因，不知道各位有沒有想過，當我們在網路上按下某個連結時，到底發生了甚麼事呢?

在網路上有分Client端跟Server端
當按下連結時，Client端會發送許多Request到Server端，Server接收到Request後會回傳相對應的Response回來

用一個簡單的例子比喻，就像是你(Client)今天寄了一封信給你朋友A(Server)，說你想要2330的股價資料，於是朋友A就把資料找出來寄回給你

所以說我們看到的網站就是，由你剛剛發出去的一大堆Request拿到的response組合起來的成果
就像拼拼圖一樣，有request拿回來「拼圖的框架」，有request拿回來「圖片」的拼圖，有request拿回來「數據」的拼圖等等的
最後把這些拼圖放在該放的地方，就變成了我們看到的網站

那為什麼XMLHTTP法會這麼快?
因為XMLHTTP是模擬發送一個會拿到「數據的拼圖」的request
換句話說，相較於前面所說的發送一大堆request，XMLHTTP只發送了一個request，而這個request能拿到數據的資料，所以時間上當然差異許多

但當然IE法也是有其優點，例如有些網站可能要登入後才會顯示資料
那這時理論上XMLHTTP應該也可以做到，但十分麻煩，這時我就會選擇用IE來抓資料。

先寫到這邊吧，小弟最近被各種deadline摧殘 QAQ
但因為從論壇這邊學習到許多，所以想回饋一下，寫點自己很有興趣的東西，也幫大家提升抓資料的效率
希望能多產生一些交流，讓版主們辛苦經營的論壇多一點人氣

[本帖子視被deadline摧殘的程度更新:Q :Q ]

樓主熱帖

Excel VBA網頁資料收集教學:
http://forum.twbts.com/thread-20848-1-1.html

joey0415

　暱稱: joey0415

中學生 Rank: 2

帖子: 361
主題: 57
精華: 0
積分: 426
點名: 0
作業系統: win7
軟體版本: 2003,2010
閱讀權限: 20
性別: 男
註冊時間: 2010-5-13
最後登錄: 2022-12-8

2^#

發表於 2018-5-7 20:37 | 只看該作者

回復 1# iamaraymond

http://club.excelhome.net/thread-1159783-1-1.html

有興趣的可以看這邊，裏面更多，我自己也從中學到不少

TOP

quickfixer

中學生 Rank: 2

帖子: 154
主題: 1
精華: 0
積分: 200
點名: 28
作業系統: windwos 7
軟體版本: 64bit
閱讀權限: 20
註冊時間: 2017-5-29
最後登錄: 2024-10-22

3^#

發表於 2018-5-7 21:55 | 只看該作者

這裡有一些常用的股票網站範例,可惜沒有教學,而且發問樓主不一定會回答
https://www.mobile01.com/topicdetail.php?f=511&t=4737630&p=1

TOP

iamaraymond

　暱稱: Raymond Chien

中學生 Rank: 2

帖子: 109
主題: 12
精華: 0
積分: 177
點名: 0
作業系統: win10
軟體版本: office2013
閱讀權限: 20
性別: 男
來自: 高雄
註冊時間: 2017-11-19
最後登錄: 2023-7-5

4^#

發表於 2018-5-7 23:46 | 只看該作者

回復 2# joey0415

這帖子我看過，裡面的內容讓我學到不少，但關於"在VBA用javascrpt抓資料"這個想法個人不是很認同
畢竟這其實是可以只用VBA完成的事，感覺不太需要再多用一種程式語言
況且javascript比VBA難學的多，也不容易debug，執行起來的速度似乎也沒比較快(印象中，因為我之前真的有試過)，所以覺得有點多此一舉
不知道版主們有沒有嘗試過

Excel VBA網頁資料收集教學:
http://forum.twbts.com/thread-20848-1-1.html

TOP

iamaraymond