123
返回列表 上一主題 發帖

[發問] 證交所資料自動下載

chen_cook

帖子
81 
主題
2 
精華
0 
積分
95 
點名
327  
作業系統
xp 
軟體版本
office 2003 
閱讀權限
20 
性別
男 
註冊時間
2012-2-29 
最後登錄
2024-11-23 

2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章2015羊年全勤獎章2014馬年全勤獎章2013蛇年全勤獎章
11# 跳轉到 »
發表於 2012-7-27 06:19 | 只看該作者
回復 3# lalalada


    圖片是依據網頁all_print轉存.html(桌面),後由excel匯入資料所得,但資料格式會移位,但可快速取得....參考看看吧!!

1101.JPG (142.92 KB)

1101.JPG

TOP

chen_cook

帖子
81 
主題
2 
精華
0 
積分
95 
點名
327  
作業系統
xp 
軟體版本
office 2003 
閱讀權限
20 
性別
男 
註冊時間
2012-2-29 
最後登錄
2024-11-23 

2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章2015羊年全勤獎章2014馬年全勤獎章2013蛇年全勤獎章
10#
發表於 2012-7-27 06:04 | 只看該作者
如瀏覽報表過於頻繁，疑似程式抓取行為，將暫停您瀏覽並顯示訊息.....!! 簡易使用說明有提到網頁有限制...
.csv 的資料是因為","分位的關係所造成的位移..右側買賣則是無資料的....
是否有高手可將all_print轉為檔案再將它抓入EXCEL,是比較可行的作法........

TOP

lalalada

帖子
102 
主題
17 
精華
0 
積分
129 
點名
0  
作業系統
windows 
軟體版本
2010 
閱讀權限
20 
性別
男 
註冊時間
2012-5-16 
最後登錄
2020-9-2 
9#
發表於 2012-7-27 01:41 | 只看該作者
本帖最後由 lalalada 於 2012-7-27 01:43 編輯
之前幾個月抓上市796家與上櫃615家的交易明細最多才花2000多秒,現在證交所月改越難抓,多出2倍的時間約快600 ...
white5168 發表於 2012-7-26 23:53


交易明細指得就是我現在要抓的東西嗎?
是說我用VBA寫上市+上櫃在今天改版之前一小時內可以搞定
其實也只寫好不到一個禮拜就改版了!!
往事如風Q_Q
PYTHON的做法怎麼做可以跟我說嗎?
抓下來之後用excel處理跟vba差不多嗎?
不過還是先以vba為主 畢竟比較熟~

TOP

white5168

帖子
90 
主題
16 
精華
0 
積分
114 
點名
0  
作業系統
XP 
軟體版本
sp2 
閱讀權限
20 
性別
男 
註冊時間
2011-7-9 
最後登錄
2018-10-7 
8#
發表於 2012-7-26 23:53 | 只看該作者
之前幾個月抓上市796家與上櫃615家的交易明細最多才花2000多秒,現在證交所月改越難抓,多出2倍的時間約快6000秒約1小時多
都是用python抓的,你可以考慮用python抓會更有效率,所以才會建議版主開ㄧ個python可以分享方法

TOP

lalalada

帖子
102 
主題
17 
精華
0 
積分
129 
點名
0  
作業系統
windows 
軟體版本
2010 
閱讀權限
20 
性別
男 
註冊時間
2012-5-16 
最後登錄
2020-9-2 
7#
發表於 2012-7-26 22:46 | 只看該作者
改用暴力法抓檔案,不然每支股票都要這樣抓真的很累,哪天格式又改了就真的欲哭無淚

能否建議版主開以個py ...
white5168 發表於 2012-7-26 21:51


願聞其詳~?
如果有有效率的好方法我會很願意學的:P

TOP

conchih

帖子
4 
主題
1 
精華
0 
積分
5 
點名
0  
作業系統
WIN 7 
軟體版本
OFFICE 2007 
閱讀權限
10 
性別
男 
來自
Taiwan hsinchu 
註冊時間
2011-10-5 
最後登錄
2024-2-23 
6#
發表於 2012-7-26 22:46 | 只看該作者
本帖最後由 conchih 於 2012-7-28 12:47 編輯

小弟也遇到這個問題了
請教有沒有大大可以

可以從網頁中找到sp_listcount的值
然後就可以再用下面這個來抓資料


至於.csv我想資料不正確,等到正確再來抓吧

phthon好像很好,明天再來研究研究囉
感謝各位大大

TOP

white5168

帖子
90 
主題
16 
精華
0 
積分
114 
點名
0  
作業系統
XP 
軟體版本
sp2 
閱讀權限
20 
性別
男 
註冊時間
2011-7-9 
最後登錄
2018-10-7 
5#
發表於 2012-7-26 21:51 | 只看該作者
本帖最後由 white5168 於 2012-7-26 21:53 編輯

改用暴力法抓檔案,不然每支股票都要這樣抓真的很累,哪天格式又改了就真的欲哭無淚

能否建議版主開以個python版,讓一些人可以分享python抓資料的方法

TOP

mannyhsu

帖子
19 
主題
1 
精華
0 
積分
26 
點名
0  
作業系統
windows7 
軟體版本
office2003 
閱讀權限
10 
性別
男 
註冊時間
2012-6-16 
最後登錄
2014-9-23 

論壇贊助勳章
4#
發表於 2012-7-26 20:59 | 只看該作者
謝謝你!!
我下午也發現了這個連結 然後用了open方法  
URL = "http://bsr.twse.com.tw/bshtm/bsCon ...
lalalada 發表於 2012-7-26 19:39


CSV 的資料, 確實如版大所言不完整 ...
manny

TOP

lalalada

帖子
102 
主題
17 
精華
0 
積分
129 
點名
0  
作業系統
windows 
軟體版本
2010 
閱讀權限
20 
性別
男 
註冊時間
2012-5-16 
最後登錄
2020-9-2 
3#
發表於 2012-7-26 19:39 | 只看該作者
本帖最後由 lalalada 於 2012-7-27 15:50 編輯
回復  lalalada
請看這裡
GBKEE 發表於 2012-7-26 17:54


回復 2# GBKEE
謝謝你!!:)
我下午也發現了這個連結 然後用了open方法  
URL = "http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=1101&download=csv"
Set WinHttpReq = CreateObject("Microsoft.XMLHTTP")
    With WinHttpReq
    .Open "OPEN", URL, False
    .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
    .Send
           Set oStream = CreateObject("ADODB.Stream")
           oStream.Open
           oStream.Type = 1
           oStream.Write WinHttpReq.ResponseBody
           oStream.SaveToFile ("C:\TEST\" + bookname + "\" + code + ".csv")
           oStream.Close
    End With
可是發現一個致命的問題
從那個位址下載下來的csv檔資料有遺漏
包括位置沒對齊、失去作半部的賣出資料和右半部的進出資料
所以才想用查詢表 雖然慢可是應該不會錯(會跟網頁上看到一樣)
目前的想法是:
1. 能解決csv檔案錯誤是最好的，又快又方便，可是感覺決定權在證交所...(偷偷問一下有可能是他們動手腳嗎@@?)
2. 利用vba取得網頁原始碼，然後搜尋頁碼的代碼
再次感謝版主的熱心幫助!!:D

TOP

GBKEE

帖子
5923 
主題
13 
精華
1 
積分
5986 
點名
0  
作業系統
win10 
軟體版本
Office 2010 
閱讀權限
150 
性別
男 
來自
台灣基隆 
註冊時間
2010-5-1 
最後登錄
2022-1-23 

2017 雞年全勤獎章2016猴年全勤獎章2015羊年全勤獎章2014馬年全勤獎章2013蛇年全勤獎章2012龍年全勤獎章論壇貢獻勳章熱烈參與勳章2011兔年全勤獎章
2#
發表於 2012-7-26 17:54 | 只看該作者
回復 1# lalalada
請看這裡    http://forum.twbts.com/redirect.php?goto=findpost&pid=41325&ptid=3386

TOP

        靜思自在 : 能善用時間的人，必能掌握自己努力的方向。
123
返回列表 上一主題