12
返回列表 上一主題 發帖

[原創] 集保資料(改版後)

iamaraymond
　暱稱: Raymond Chien

中學生Rank: 2

帖子
109 
主題
12 
精華
0 
積分
174 
點名
166  
作業系統
win10 
軟體版本
office2013 
閱讀權限
20 
性別
男 
來自
高雄 
註冊時間
2017-11-19 
最後登錄
2018-9-20 
1# 跳轉到 » 倒序看帖
打印
tT
發表於 2018-3-27 11:21 | 只看該作者

[原創] 集保資料(改版後)

集保, 爬蟲, 股票
最近集保網站改版，因此寫了此程式，但只是粗略地把資料抓下來，沒有多加整理

若有幫助到您，希望您在下方留個言讓我知道喔:loveliness:

個人不太喜歡IE法，所以用的是WinHttpRequest，速度快很多
  1. Sub test()

  3. Cells.Clear

  5. Dim myXML As Object
  6. Set myXML = CreateObject("WinHttp.WinHttpRequest.5.1")

  8. Dim myHTML As Object
  9. Set myHTML = CreateObject("HTMLFile")

  11. With myXML
  12.     .Open "POST", "https://www.tdcc.com.tw/smWeb/QryStockAjax.do", False    '先抓取日期
  13.     .setRequestHeader "Content-type", "application/x-www-form-urlencoded;charset=UTF-8"
  14.     .send "REQ_OPR=qrySelScaDates"
  15.    
  16.     myText = .responseText
  17.     myText1 = Split(myText, ",")
  18.     k = 1
  19.     For Each myText2 In myText1
  20.         Cells(1, k) = Replace(myText2, Chr(34), "")
  21.         Cells(1, k) = Replace(Cells(1, k), "[", "")
  22.         Cells(1, k) = Replace(Cells(1, k), "]", "")
  23.         k = k + 1
  24.     Next
  25.    
  26.     i = 6
  27.    
  28.     For Each myDate In Range("A1:BH1").Value
  29.         
  30.         .Open "POST", "https://www.tdcc.com.tw/smWeb/QryStockAjax.do", False    '代入日期撈資料
  31.         .setRequestHeader "Content-type", "application/x-www-form-urlencoded"
  32.         .send "scaDates=" & myDate & "&scaDate=" & myDate & "&SqlMethod=StockNo&StockNo=2330&StockName=&REQ_OPR=SELECT&clkStockNo=2330&clkStockName="
  33.       
  34.         myHTML.body.innerHTML = .responseText
  35.    
  36.         Set myTable = myHTML.getElementsByTagName("table")(7)
  37.         
  38.         For Each myRow In myTable.Rows
  39.             j = 1
  40.             For Each myCell In myRow.Cells
  41.                 Cells(i, j) = myCell.innerText
  42.                 j = j + 1
  43.             Next
  44.             i = i + 1
  45.         Next
  46.         i = i + 5
  47.         L = L + 1
  48.         If L > 10 Then Exit For '要抓幾筆資料
  49.     Next
  50.    
  51. End With
  52. Set myXML = Nothing
  53. Set myHTML = Nothing

  55. End Sub
複製代碼
收藏 分享
Excel VBA網頁資料收集教學:
http://forum.twbts.com/thread-20848-1-1.html

joey0415
　暱稱: joey0415

中學生Rank: 2

帖子
332 
主題
57 
精華
0 
積分
396 
點名
0  
作業系統
win7 
軟體版本
2003,2010 
閱讀權限
20 
性別
男 
註冊時間
2010-5-13 
最後登錄
2018-9-21 
2#
發表於 2018-3-27 11:36 | 只看該作者
回復 1# iamaraymond

感謝您的分享，自己星期天也花點時間改程式，先找日期後，再使用query table方式抓取，您的方式也不錯

提供一個方向

https://data.gov.tw/dataset/11452

這裏提供每週所有股票一起下載，不過要每週抓取，沒有以前的資料，如果不急的話，用這個網站累積自己的資料庫才是最棒的，每星期只抓一次

TOP

cji3cj6xu6

帖子
112 
主題
19 
精華
0 
積分
136 
點名
0  
作業系統
window 
軟體版本
excel 
閱讀權限
20 
性別
男 
註冊時間
2013-3-12 
最後登錄
2018-8-29 

論壇贊助勳章
3#
發表於 2018-3-27 17:17 | 只看該作者
有看到了，謝謝!!

但請問一下要如何修改股票代號為變數??

TOP

iamaraymond
　暱稱: Raymond Chien

中學生Rank: 2

帖子
109 
主題
12 
精華
0 
積分
174 
點名
166  
作業系統
win10 
軟體版本
office2013 
閱讀權限
20 
性別
男 
來自
高雄 
註冊時間
2017-11-19 
最後登錄
2018-9-20 
4#
發表於 2018-3-28 09:58 | 只看該作者
回復 2# joey0415

感謝你的分享，您提供的網站真的很棒，只是小弟真的很缺乏每周都去抓資料的毅力XD
QueryTable也不錯，因為這個網站資料較少，所以可以執行很快，但如果碰到很龐大的資料時可能就會跑很久，所以不知不覺就養成用XMLHTTP抓資料的習慣了
Excel VBA網頁資料收集教學:
http://forum.twbts.com/thread-20848-1-1.html

TOP

iamaraymond
　暱稱: Raymond Chien

中學生Rank: 2

帖子
109 
主題
12 
精華
0 
積分
174 
點名
166  
作業系統
win10 
軟體版本
office2013 
閱讀權限
20 
性別
男 
來自
高雄 
註冊時間
2017-11-19 
最後登錄
2018-9-20 
5#
發表於 2018-3-28 10:04 | 只看該作者
回復 3# cji3cj6xu6


例如說可以在B3儲存格輸入股票代號，然後指定給變數，長這樣
stockno=[B3]
或是用inputbox
stockno=inputbox("請輸入股票代號")

接著把原程式碼的第32行改成
.send "scaDates=" & myDate & "&scaDate=" & myDate & "&SqlMethod=StockNo&StockNo=" & stockno & "&StockName=&REQ_OPR=SELECT&clkStockNo=" & stockno & "&clkStockName="
把原本的2330用變數取代，記得字串跟變數要用&連接
Excel VBA網頁資料收集教學:
http://forum.twbts.com/thread-20848-1-1.html

TOP

cji3cj6xu6

帖子
112 
主題
19 
精華
0 
積分
136 
點名
0  
作業系統
window 
軟體版本
excel 
閱讀權限
20 
性別
男 
註冊時間
2013-3-12 
最後登錄
2018-8-29 

論壇贊助勳章
6#
發表於 2018-3-28 14:03 | 只看該作者
萬分感謝~~

TOP

cji3cj6xu6

帖子
112 
主題
19 
精華
0 
積分
136 
點名
0  
作業系統
window 
軟體版本
excel 
閱讀權限
20 
性別
男 
註冊時間
2013-3-12 
最後登錄
2018-8-29 

論壇贊助勳章
7#
發表於 2018-3-28 15:15 | 只看該作者
Dear iamaraymond 大，

有看到兩個問題，不曉得其他人是否也遇到:
1.  日期的部分你抓下來後放在A1, B1, C1.......，並不是放在每份資料的上方，不過瑕不掩瑜，看一下就懂了。
2.  當按下 Run後，會出現執行階段錯誤訊息並指向於 (.send "REQ_OPR=qrySelScaDates")，於是我在開頭的位置寫入了 On Error Resume Next ，之後就正常了，不曉得會有後遺症嗎?

還有個小問題想問一下，
請問我想跳著抓資料，例如:兩星期抓一筆，不曉得要修改哪裡?若有空，再請指導一下。謝謝~~

TOP

cji3cj6xu6

帖子
112 
主題
19 
精華
0 
積分
136 
點名
0  
作業系統
window 
軟體版本
excel 
閱讀權限
20 
性別
男 
註冊時間
2013-3-12 
最後登錄
2018-8-29 

論壇贊助勳章
8#
發表於 2018-3-28 15:53 | 只看該作者
Dear iamaraymond 大，

Sorry， 我仔細看了一下，我大概知道該如何修改成我要的東西了。
麻煩您了~~

TOP

bhsm

帖子
66 
主題
7 
精華
0 
積分
81 
點名
235  
作業系統
XP 
軟體版本
OFFICE2003 
閱讀權限
20 
性別
男 
註冊時間
2010-9-29 
最後登錄
2018-9-20 

2017 雞年全勤獎章2016猴年全勤獎章2015羊年全勤獎章2014馬年全勤獎章
9#
發表於 2018-3-28 17:55 | 只看該作者
回復 5# iamaraymond
請教iamaraymond大:如何把抓下來的日期放在每份資料的上方,而不是放在A1, B1, C1.......,謝謝
年齡不小,但我很想學

TOP

quickfixer

帖子
20 
主題
1 
精華
0 
積分
64 
點名
42  
作業系統
windwos 7 
軟體版本
64bit 
閱讀權限
20 
註冊時間
2017-5-29 
最後登錄
2018-9-6 
10#
發表於 2018-3-28 18:06 | 只看該作者
本帖最後由 quickfixer 於 2018-3-28 18:14 編輯

我認為這邊的程式完成度較高
而且更新程式非常的快,時間比樓主還早幾天
可惜沒什麼人看
https://www.mobile01.com/topicdetail.php?f=511&t=4737630

TOP

        靜思自在 : 不怕事多，只怕多事。
12
返回列表 上一主題