123
返回列表 上一主題 發帖

[發問] 證交所資料自動下載

chen_cook

帖子
81 
主題
2 
精華
0 
積分
95 
點名
357  
作業系統
xp 
軟體版本
office 2003 
閱讀權限
20 
性別
男 
註冊時間
2012-2-29 
最後登錄
2024-12-23 

2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章2015羊年全勤獎章2014馬年全勤獎章2013蛇年全勤獎章
11# 跳轉到 »
發表於 2012-7-27 06:19 | 只看該作者
回復 3# lalalada


    圖片是依據網頁all_print轉存.html(桌面),後由excel匯入資料所得,但資料格式會移位,但可快速取得....參考看看吧!!

1101.JPG (142.92 KB)

1101.JPG

TOP

white5168

帖子
90 
主題
16 
精華
0 
積分
114 
點名
0  
作業系統
XP 
軟體版本
sp2 
閱讀權限
20 
性別
男 
註冊時間
2011-7-9 
最後登錄
2018-10-7 
12#
發表於 2012-7-27 08:15 | 只看該作者
交易明細指得就是我現在要抓的東西嗎?
是說我用VBA寫上市+上櫃在今天改版之前一小時內可以搞定
其實也 ...
lalalada 發表於 2012-7-27 01:41



    我所指的都是用python寫的,VBA哪有可能這麼快又穩

TOP

lalalada

帖子
102 
主題
17 
精華
0 
積分
129 
點名
0  
作業系統
windows 
軟體版本
2010 
閱讀權限
20 
性別
男 
註冊時間
2012-5-16 
最後登錄
2020-9-2 
13#
發表於 2012-7-27 09:44 | 只看該作者
本帖最後由 lalalada 於 2012-7-27 09:48 編輯
如瀏覽報表過於頻繁，疑似程式抓取行為，將暫停您瀏覽並顯示訊息.....!! 簡易使用說明有提到網頁有限制...
...
chen_cook 發表於 2012-7-27 06:04


我也看了一下csv檔
是資料缺損而不只是位置跑掉(即分隔符號中間的值是空的)
至於"如瀏覽報表過於頻繁，疑似程式抓取行為，將暫停您瀏覽並顯示訊息''
目前沒碰到過 據說如果用迴圈一頁一頁跑的話就會跳出來
不過一頁一頁跑實在太慢了...是我比較不想嘗試的方法

TOP

lalalada

帖子
102 
主題
17 
精華
0 
積分
129 
點名
0  
作業系統
windows 
軟體版本
2010 
閱讀權限
20 
性別
男 
註冊時間
2012-5-16 
最後登錄
2020-9-2 
14#
發表於 2012-7-27 09:48 | 只看該作者
本帖最後由 lalalada 於 2012-7-27 09:53 編輯

回復 11# chen_cook

Great!!
下載+匯入說不定會比用插入查詢要快
不過我不知道怎麼轉存耶...轉存的時候不會需要指定頁數嗎 All_後面的數字
另外你是用GET方法嗎?

TOP

conchih

帖子
4 
主題
1 
精華
0 
積分
5 
點名
0  
作業系統
WIN 7 
軟體版本
OFFICE 2007 
閱讀權限
10 
性別
男 
來自
Taiwan hsinchu 
註冊時間
2011-10-5 
最後登錄
2024-2-23 
15#
發表於 2012-7-27 10:36 | 只看該作者
轉存到桌面??
請教大大是如何轉存的
能否和大家分享一下呢?

TOP

mannyhsu

帖子
19 
主題
1 
精華
0 
積分
26 
點名
0  
作業系統
windows7 
軟體版本
office2003 
閱讀權限
10 
性別
男 
註冊時間
2012-6-16 
最後登錄
2014-9-23 

論壇贊助勳章
16#
發表於 2012-7-27 11:08 | 只看該作者
經過多天的測試, 如果要自動化, 就必須預先知道頁數 all_XX , 否則就必須一個一個去查他們的頁數, 再利用程式一個一個導入, 抓下來的資料只要沒有缺損, 格式的修改, 反而是容易的事。

如果用  python 可以解決上面的問題, 也請高手指點一二 ...
manny

TOP

white5168

帖子
90 
主題
16 
精華
0 
積分
114 
點名
0  
作業系統
XP 
軟體版本
sp2 
閱讀權限
20 
性別
男 
註冊時間
2011-7-9 
最後登錄
2018-10-7 
17#
發表於 2012-7-27 11:33 | 只看該作者
本帖最後由 white5168 於 2012-7-27 11:49 編輯

可以,但是python沒有以上的問題,光是抓資料就很快,可以直接用暴力法就抓到全部的資料,我晚一點再截一張圖給各位看,這是這一兩天抓資料的圖,使用python(主程式加偵錯) + batch file(控制python,防堵錯時,再一次執行的控制)+python寫入CSV檔

TOP

lalalada

帖子
102 
主題
17 
精華
0 
積分
129 
點名
0  
作業系統
windows 
軟體版本
2010 
閱讀權限
20 
性別
男 
註冊時間
2012-5-16 
最後登錄
2020-9-2 
18#
發表於 2012-7-27 11:36 | 只看該作者
回復 16# mannyhsu

一個一個去查就沒有自動化的意義了XD
我目前有想到作法
只是還不知道怎麼執行

TOP

white5168

帖子
90 
主題
16 
精華
0 
積分
114 
點名
0  
作業系統
XP 
軟體版本
sp2 
閱讀權限
20 
性別
男 
註冊時間
2011-7-9 
最後登錄
2018-10-7 
19#
發表於 2012-7-27 11:38 | 只看該作者
本帖最後由 white5168 於 2012-7-27 11:46 編輯
回復  mannyhsu

一個一個去查就沒有自動化的意義了XD
我目前有想到作法
只是還不知道怎麼執行
lalalada 發表於 2012-7-27 11:36



我們要做的是能順利的抓到完整的資料,且能在短時間獲得交易明細,如果你想在這個階段用VBA來提升你的寫程式能力,那是不智之舉,因為現在每天證交所公佈資料的時間是下午5:30,那時候一定很多人都用程式去抓,連線速慢的軟體就常常抓不到資料或是無法下載,這樣的過程各位都遇過,與其用一個很慢工具抓資料,為何不選擇可以先將資料取得後再用VBA去做分析呢?如果連資料都撈不到,怎麼談之後的事呢

TOP

mannyhsu

帖子
19 
主題
1 
精華
0 
積分
26 
點名
0  
作業系統
windows7 
軟體版本
office2003 
閱讀權限
10 
性別
男 
註冊時間
2012-6-16 
最後登錄
2014-9-23 

論壇贊助勳章
20#
發表於 2012-7-27 11:56 | 只看該作者
本帖最後由 mannyhsu 於 2012-7-27 11:58 編輯

回復 19# white5168

可否請版大好人做到底, 另開一個主題, 指點大家如何用 python 去抓資料 ~~

另外請問 python 可以搭配 Google Apps Script 及 Google Docs 嗎?
如果可以, 就可以取代目前 Excel + VBA  的作法 ...
manny

TOP

        靜思自在 : 能幹不幹，不如苦幹實幹。
123
返回列表 上一主題