證交所資料自動下載 - Excel程式區

帖子: 81
主題: 3
精華: 0
積分: 95
點名: 305
作業系統: xp
軟體版本: office 2003
閱讀權限: 20
性別: 男
註冊時間: 2012-2-29
最後登錄: 2026-11-1

2025年全勤獎章 2024年全勤獎章 2023年全勤獎章 2022虎年全勤獎章 2021牛年全勤獎章 2020鼠年全勤獎章 2019 豬年全勤獎章 2018 狗年全勤獎章 2017 雞年全勤獎章 2016猴年全勤獎章 2015羊年全勤獎章 2014馬年全勤獎章 2013蛇年全勤獎章

11^# 跳轉到 »

發表於 2012-7-27 06:19 | 只看該作者

回復 3# lalalada

圖片是依據網頁all_print轉存.html(桌面),後由excel匯入資料所得,但資料格式會移位,但可快速取得....參考看看吧!!

1101.JPG (142.92 KB)

TOP

chen_cook

中學生 Rank: 2

帖子: 81
主題: 3
精華: 0
積分: 95
點名: 305
作業系統: xp
軟體版本: office 2003
閱讀權限: 20
性別: 男
註冊時間: 2012-2-29
最後登錄: 2026-11-1

2025年全勤獎章 2024年全勤獎章 2023年全勤獎章 2022虎年全勤獎章 2021牛年全勤獎章 2020鼠年全勤獎章 2019 豬年全勤獎章 2018 狗年全勤獎章 2017 雞年全勤獎章 2016猴年全勤獎章 2015羊年全勤獎章 2014馬年全勤獎章 2013蛇年全勤獎章

10^#

發表於 2012-7-27 06:04 | 只看該作者

如瀏覽報表過於頻繁，疑似程式抓取行為，將暫停您瀏覽並顯示訊息.....!! 簡易使用說明有提到網頁有限制...
.csv 的資料是因為","分位的關係所造成的位移..右側買賣則是無資料的....
是否有高手可將all_print轉為檔案再將它抓入EXCEL,是比較可行的作法........

TOP

lalalada

中學生 Rank: 2

帖子: 102
主題: 17
精華: 0
積分: 129
點名: 0
作業系統: windows
軟體版本: 2010
閱讀權限: 20
性別: 男
註冊時間: 2012-5-16
最後登錄: 2020-9-2

9^#

發表於 2012-7-27 01:41 | 只看該作者

本帖最後由 lalalada 於 2012-7-27 01:43 編輯

之前幾個月抓上市796家與上櫃615家的交易明細最多才花2000多秒,現在證交所月改越難抓,多出2倍的時間約快600 ...
white5168 發表於 2012-7-26 23:53

交易明細指得就是我現在要抓的東西嗎?
是說我用VBA寫上市+上櫃在今天改版之前一小時內可以搞定
其實也只寫好不到一個禮拜就改版了!!
往事如風Q_Q
PYTHON的做法怎麼做可以跟我說嗎?
抓下來之後用excel處理跟vba差不多嗎?
不過還是先以vba為主畢竟比較熟~

TOP

white5168

中學生 Rank: 2

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

8^#

發表於 2012-7-26 23:53 | 只看該作者

之前幾個月抓上市796家與上櫃615家的交易明細最多才花2000多秒,現在證交所月改越難抓,多出2倍的時間約快6000秒約1小時多
都是用python抓的,你可以考慮用python抓會更有效率,所以才會建議版主開ㄧ個python可以分享方法

TOP

lalalada

中學生 Rank: 2

帖子: 102
主題: 17
精華: 0
積分: 129
點名: 0
作業系統: windows
軟體版本: 2010
閱讀權限: 20
性別: 男
註冊時間: 2012-5-16
最後登錄: 2020-9-2

7^#

發表於 2012-7-26 22:46 | 只看該作者

改用暴力法抓檔案,不然每支股票都要這樣抓真的很累,哪天格式又改了就真的欲哭無淚

能否建議版主開以個py ...
white5168 發表於 2012-7-26 21:51

願聞其詳~?
如果有有效率的好方法我會很願意學的:P

TOP

conchih

小學生 Rank: 1

帖子: 4
主題: 1
精華: 0
積分: 5
點名: 0
作業系統: WIN 7
軟體版本: OFFICE 2007
閱讀權限: 10
性別: 男
來自: Taiwan hsinchu
註冊時間: 2011-10-5
最後登錄: 2024-2-23

6^#

發表於 2012-7-26 22:46 | 只看該作者

本帖最後由 conchih 於 2012-7-28 12:47 編輯

小弟也遇到這個問題了
請教有沒有大大可以

可以從網頁中找到sp_listcount的值
然後就可以再用下面這個來抓資料

至於.csv我想資料不正確,等到正確再來抓吧

phthon好像很好,明天再來研究研究囉
感謝各位大大

TOP

white5168

中學生 Rank: 2

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

5^#

發表於 2012-7-26 21:51 | 只看該作者

本帖最後由 white5168 於 2012-7-26 21:53 編輯

改用暴力法抓檔案,不然每支股票都要這樣抓真的很累,哪天格式又改了就真的欲哭無淚

能否建議版主開以個python版,讓一些人可以分享python抓資料的方法

TOP

mannyhsu

小學生 Rank: 1

帖子: 19
主題: 1
精華: 0
積分: 26
點名: 0
作業系統: windows7
軟體版本: office2003
閱讀權限: 10
性別: 男
註冊時間: 2012-6-16
最後登錄: 2014-9-23

論壇贊助勳章

4^#

發表於 2012-7-26 20:59 | 只看該作者

謝謝你!!
我下午也發現了這個連結然後用了open方法
URL = "http://bsr.twse.com.tw/bshtm/bsCon ...
lalalada 發表於 2012-7-26 19:39

CSV 的資料, 確實如版大所言不完整 ...

manny

TOP

lalalada

中學生 Rank: 2

帖子: 102
主題: 17
精華: 0
積分: 129
點名: 0
作業系統: windows
軟體版本: 2010
閱讀權限: 20
性別: 男
註冊時間: 2012-5-16
最後登錄: 2020-9-2

3^#

發表於 2012-7-26 19:39 | 只看該作者

本帖最後由 lalalada 於 2012-7-27 15:50 編輯

回復 lalalada
請看這裡
GBKEE 發表於 2012-7-26 17:54

回復 2# GBKEE
謝謝你!!:)
我下午也發現了這個連結然後用了open方法
URL = "http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=1101&download=csv"
Set WinHttpReq = CreateObject("Microsoft.XMLHTTP")
With WinHttpReq
.Open "OPEN", URL, False
.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
.Send
         Set oStream = CreateObject("ADODB.Stream")
         oStream.Open
         oStream.Type = 1
         oStream.Write WinHttpReq.ResponseBody
         oStream.SaveToFile ("C:\TEST\" + bookname + "\" + code + ".csv")
         oStream.Close
End With
可是發現一個致命的問題
從那個位址下載下來的csv檔資料有遺漏
包括位置沒對齊、失去作半部的賣出資料和右半部的進出資料
所以才想用查詢表雖然慢可是應該不會錯(會跟網頁上看到一樣)
目前的想法是:
1. 能解決csv檔案錯誤是最好的，又快又方便，可是感覺決定權在證交所...(偷偷問一下有可能是他們動手腳嗎@@?)
2. 利用vba取得網頁原始碼，然後搜尋頁碼的代碼
再次感謝版主的熱心幫助!!:D

TOP

GBKEE

超級版主 Rank: 8 Rank: 8

帖子: 5923
主題: 13
精華: 1
積分: 5986
點名: 0
作業系統: win10
軟體版本: Office 2010
閱讀權限: 150
性別: 男
來自: 台灣基隆
註冊時間: 2010-5-1
最後登錄: 2022-1-23

2017 雞年全勤獎章 2016猴年全勤獎章 2015羊年全勤獎章 2014馬年全勤獎章 2013蛇年全勤獎章 2012龍年全勤獎章論壇貢獻勳章熱烈參與勳章 2011兔年全勤獎章

2^#

發表於 2012-7-26 17:54 | 只看該作者

回復 1# lalalada
請看這裡 http://forum.twbts.com/redirect.php?goto=findpost&pid=41325&ptid=3386

TOP

[發問] 證交所資料自動下載

[收藏此主題] [關注此主題的新回復]

[通過 QQ、MSN 分享給朋友]