證交所資料自動下載 - Excel程式區

帖子: 81
主題: 2
精華: 0
積分: 95
點名: 319
作業系統: xp
軟體版本: office 2003
閱讀權限: 20
性別: 男
註冊時間: 2012-2-29
最後登錄: 2024-11-14

2023年全勤獎章 2022虎年全勤獎章 2021牛年全勤獎章 2020鼠年全勤獎章 2019 豬年全勤獎章 2018 狗年全勤獎章 2017 雞年全勤獎章 2016猴年全勤獎章 2015羊年全勤獎章 2014馬年全勤獎章 2013蛇年全勤獎章

11^# 跳轉到 »

發表於 2012-7-27 06:19 | 只看該作者

回復 3# lalalada

圖片是依據網頁all_print轉存.html(桌面),後由excel匯入資料所得,但資料格式會移位,但可快速取得....參考看看吧!!

1101.JPG (142.92 KB)

TOP

white5168

中學生 Rank: 2

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

12^#

發表於 2012-7-27 08:15 | 只看該作者

交易明細指得就是我現在要抓的東西嗎?
是說我用VBA寫上市+上櫃在今天改版之前一小時內可以搞定
其實也 ...
lalalada 發表於 2012-7-27 01:41

我所指的都是用python寫的,VBA哪有可能這麼快又穩

TOP

lalalada

中學生 Rank: 2

帖子: 102
主題: 17
精華: 0
積分: 129
點名: 0
作業系統: windows
軟體版本: 2010
閱讀權限: 20
性別: 男
註冊時間: 2012-5-16
最後登錄: 2020-9-2

13^#

發表於 2012-7-27 09:44 | 只看該作者

本帖最後由 lalalada 於 2012-7-27 09:48 編輯

如瀏覽報表過於頻繁，疑似程式抓取行為，將暫停您瀏覽並顯示訊息.....!! 簡易使用說明有提到網頁有限制...
...
chen_cook 發表於 2012-7-27 06:04

我也看了一下csv檔
是資料缺損而不只是位置跑掉(即分隔符號中間的值是空的)
至於"如瀏覽報表過於頻繁，疑似程式抓取行為，將暫停您瀏覽並顯示訊息''
目前沒碰到過據說如果用迴圈一頁一頁跑的話就會跳出來
不過一頁一頁跑實在太慢了...是我比較不想嘗試的方法

TOP

lalalada

中學生 Rank: 2

帖子: 102
主題: 17
精華: 0
積分: 129
點名: 0
作業系統: windows
軟體版本: 2010
閱讀權限: 20
性別: 男
註冊時間: 2012-5-16
最後登錄: 2020-9-2

14^#

發表於 2012-7-27 09:48 | 只看該作者

本帖最後由 lalalada 於 2012-7-27 09:53 編輯

回復 11# chen_cook

Great!!
下載+匯入說不定會比用插入查詢要快
不過我不知道怎麼轉存耶...轉存的時候不會需要指定頁數嗎 All_後面的數字
另外你是用GET方法嗎?

TOP

conchih

小學生 Rank: 1

帖子: 4
主題: 1
精華: 0
積分: 5
點名: 0
作業系統: WIN 7
軟體版本: OFFICE 2007
閱讀權限: 10
性別: 男
來自: Taiwan hsinchu
註冊時間: 2011-10-5
最後登錄: 2024-2-23

15^#

發表於 2012-7-27 10:36 | 只看該作者

轉存到桌面??
請教大大是如何轉存的
能否和大家分享一下呢?

TOP

mannyhsu

小學生 Rank: 1

帖子: 19
主題: 1
精華: 0
積分: 26
點名: 0
作業系統: windows7
軟體版本: office2003
閱讀權限: 10
性別: 男
註冊時間: 2012-6-16
最後登錄: 2014-9-23

論壇贊助勳章

16^#

發表於 2012-7-27 11:08 | 只看該作者

經過多天的測試, 如果要自動化, 就必須預先知道頁數 all_XX , 否則就必須一個一個去查他們的頁數, 再利用程式一個一個導入, 抓下來的資料只要沒有缺損, 格式的修改, 反而是容易的事。

如果用 python 可以解決上面的問題, 也請高手指點一二 ...

manny

TOP

white5168

中學生 Rank: 2

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

17^#

發表於 2012-7-27 11:33 | 只看該作者

本帖最後由 white5168 於 2012-7-27 11:49 編輯

可以,但是python沒有以上的問題,光是抓資料就很快,可以直接用暴力法就抓到全部的資料,我晚一點再截一張圖給各位看,這是這一兩天抓資料的圖,使用python(主程式加偵錯) + batch file(控制python,防堵錯時,再一次執行的控制)+python寫入CSV檔

TOP

lalalada

中學生 Rank: 2

帖子: 102
主題: 17
精華: 0
積分: 129
點名: 0
作業系統: windows
軟體版本: 2010
閱讀權限: 20
性別: 男
註冊時間: 2012-5-16
最後登錄: 2020-9-2

18^#

發表於 2012-7-27 11:36 | 只看該作者

回復 16# mannyhsu

一個一個去查就沒有自動化的意義了XD
我目前有想到作法
只是還不知道怎麼執行

TOP

white5168

中學生 Rank: 2

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

19^#

發表於 2012-7-27 11:38 | 只看該作者

本帖最後由 white5168 於 2012-7-27 11:46 編輯

回復 mannyhsu

一個一個去查就沒有自動化的意義了XD
我目前有想到作法
只是還不知道怎麼執行
lalalada 發表於 2012-7-27 11:36

我們要做的是能順利的抓到完整的資料,且能在短時間獲得交易明細,如果你想在這個階段用VBA來提升你的寫程式能力,那是不智之舉,因為現在每天證交所公佈資料的時間是下午5:30,那時候一定很多人都用程式去抓,連線速慢的軟體就常常抓不到資料或是無法下載,這樣的過程各位都遇過,與其用一個很慢工具抓資料,為何不選擇可以先將資料取得後再用VBA去做分析呢?如果連資料都撈不到,怎麼談之後的事呢

TOP

mannyhsu

小學生 Rank: 1

帖子: 19
主題: 1
精華: 0
積分: 26
點名: 0
作業系統: windows7
軟體版本: office2003
閱讀權限: 10
性別: 男
註冊時間: 2012-6-16
最後登錄: 2014-9-23

論壇贊助勳章

20^#

發表於 2012-7-27 11:56 | 只看該作者

本帖最後由 mannyhsu 於 2012-7-27 11:58 編輯

回復 19# white5168

可否請版大好人做到底, 另開一個主題, 指點大家如何用 python 去抓資料 ~~

另外請問 python 可以搭配 Google Apps Script 及 Google Docs 嗎?
如果可以, 就可以取代目前 Excel + VBA 的作法 ...

manny

TOP

[發問] 證交所資料自動下載

[收藏此主題] [關注此主題的新回復]

[通過 QQ、MSN 分享給朋友]