帖子: 102
主題: 17
精華: 0
積分: 129
點名: 0
作業系統: windows
軟體版本: 2010
閱讀權限: 20
性別: 男
註冊時間: 2012-5-16
最後登錄: 2020-9-2

1^# 跳轉到 » 倒序看帖

字體大小: tT

發表於 2012-7-26 11:54 | 只看該作者

[發問] 證交所資料自動下載

本帖最後由 lalalada 於 2012-7-27 15:58 編輯

證交所網站竟然改版了ˊˋ 才剛寫好的說
完全沒有新手的好運....
ActiveSheet.name = sheetname
webURL = "URL; http://bsr.twse.com.tw/bshtm/bsContent.aspx? StartNumber=2498&FocusIndex=All_21"
'webURL = "URL; http://bsr.twse.com.tw/bshtm/bshtm_report_Messages.aspx? StartNumber=2498&FocusIndex=All_100" 位址會換!
With ActiveSheet.QueryTables.Add(Connection:=webURL, Destination:=Range("A1"))
      .PreserveFormatting = True
      .RefreshStyle = xlInsertDeleteCells
      .WebSelectionType = xlSpecifiedTables
      .WebFormatting = xlWebFormattingNone
End With
中間有行註解就是第一次改版的見證....''(改網址)
而這次改版後本來使用 http://bsr.twse.com.tw/bshtm/bsC ... ;FocusIndex=All_100
就可以適用每支股票只要改代碼就好
但是現在要指定頁數
比如3008的資料共20頁  http://bsr.twse.com.tw/bshtm/bsC ... p;FocusIndex=All_20
則ALL後面輸入1~20都抓得到超過20則無法讀取
不知道能不能找出網站決定頁數的方法呢?
又我在網站原始碼 view-source:http://bsr.twse.com.tw/bshtm/bsMenu.aspx  中發現
// window.open("bshtm/"+ HiddenField_spDate +"/"+ document.getElementById("hidTASKNO").value+"/"+ document.getElementById("hidTASKNO").value+".csv");
window.open("bsContent.aspx?StartNumber=" + document.getElementById("hidTASKNO").value + "&download=csv");
表示有csv檔作為網頁資料源?有沒有辦法抓到呢?
感覺會是比較一勞永逸的做法且下載csv會比查詢快很多
感激不盡!

問題已解決! 順便修了一下原本貼的程式碼把太亂無關的部分刪掉方便大家看@@

樓主熱帖

GBKEE

超級版主 Rank: 8 Rank: 8

帖子: 5923
主題: 13
精華: 1
積分: 5986
點名: 0
作業系統: win10
軟體版本: Office 2010
閱讀權限: 150
性別: 男
來自: 台灣基隆
註冊時間: 2010-5-1
最後登錄: 2022-1-23

2017 雞年全勤獎章 2016猴年全勤獎章 2015羊年全勤獎章 2014馬年全勤獎章 2013蛇年全勤獎章 2012龍年全勤獎章論壇貢獻勳章熱烈參與勳章 2011兔年全勤獎章

2^#

發表於 2012-7-26 17:54 | 只看該作者

回復 1# lalalada
請看這裡 http://forum.twbts.com/redirect.php?goto=findpost&pid=41325&ptid=3386

TOP

lalalada

中學生 Rank: 2

帖子: 102
主題: 17
精華: 0
積分: 129
點名: 0
作業系統: windows
軟體版本: 2010
閱讀權限: 20
性別: 男
註冊時間: 2012-5-16
最後登錄: 2020-9-2

3^#

發表於 2012-7-26 19:39 | 只看該作者

本帖最後由 lalalada 於 2012-7-27 15:50 編輯

回復 lalalada
請看這裡
GBKEE 發表於 2012-7-26 17:54

回復 2# GBKEE
謝謝你!!:)
我下午也發現了這個連結然後用了open方法
URL = "http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=1101&download=csv"
Set WinHttpReq = CreateObject("Microsoft.XMLHTTP")
With WinHttpReq
.Open "OPEN", URL, False
.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
.Send
         Set oStream = CreateObject("ADODB.Stream")
         oStream.Open
         oStream.Type = 1
         oStream.Write WinHttpReq.ResponseBody
         oStream.SaveToFile ("C:\TEST\" + bookname + "\" + code + ".csv")
         oStream.Close
End With
可是發現一個致命的問題
從那個位址下載下來的csv檔資料有遺漏
包括位置沒對齊、失去作半部的賣出資料和右半部的進出資料
所以才想用查詢表雖然慢可是應該不會錯(會跟網頁上看到一樣)
目前的想法是:
1. 能解決csv檔案錯誤是最好的，又快又方便，可是感覺決定權在證交所...(偷偷問一下有可能是他們動手腳嗎@@?)
2. 利用vba取得網頁原始碼，然後搜尋頁碼的代碼
再次感謝版主的熱心幫助!!:D

TOP

mannyhsu

小學生 Rank: 1

帖子: 19
主題: 1
精華: 0
積分: 26
點名: 0
作業系統: windows7
軟體版本: office2003
閱讀權限: 10
性別: 男
註冊時間: 2012-6-16
最後登錄: 2014-9-23

論壇贊助勳章

4^#

發表於 2012-7-26 20:59 | 只看該作者

謝謝你!!
我下午也發現了這個連結然後用了open方法
URL = "http://bsr.twse.com.tw/bshtm/bsCon ...
lalalada 發表於 2012-7-26 19:39

CSV 的資料, 確實如版大所言不完整 ...

manny

TOP

white5168

中學生 Rank: 2

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

5^#

發表於 2012-7-26 21:51 | 只看該作者

本帖最後由 white5168 於 2012-7-26 21:53 編輯

改用暴力法抓檔案,不然每支股票都要這樣抓真的很累,哪天格式又改了就真的欲哭無淚

能否建議版主開以個python版,讓一些人可以分享python抓資料的方法

TOP

conchih

小學生 Rank: 1

帖子: 4
主題: 1
精華: 0
積分: 5
點名: 0
作業系統: WIN 7
軟體版本: OFFICE 2007
閱讀權限: 10
性別: 男
來自: Taiwan hsinchu
註冊時間: 2011-10-5
最後登錄: 2024-2-23

6^#

發表於 2012-7-26 22:46 | 只看該作者

本帖最後由 conchih 於 2012-7-28 12:47 編輯

小弟也遇到這個問題了
請教有沒有大大可以

可以從網頁中找到sp_listcount的值
然後就可以再用下面這個來抓資料

至於.csv我想資料不正確,等到正確再來抓吧

phthon好像很好,明天再來研究研究囉
感謝各位大大

TOP

lalalada