返回列表 上一主題 發帖

[發問] 證交所資料自動下載

本帖最後由 white5168 於 2012-7-26 21:53 編輯

改用暴力法抓檔案,不然每支股票都要這樣抓真的很累,哪天格式又改了就真的欲哭無淚

能否建議版主開以個python版,讓一些人可以分享python抓資料的方法

TOP

之前幾個月抓上市796家與上櫃615家的交易明細最多才花2000多秒,現在證交所月改越難抓,多出2倍的時間約快6000秒約1小時多
都是用python抓的,你可以考慮用python抓會更有效率,所以才會建議版主開ㄧ個python可以分享方法

TOP

交易明細指得就是我現在要抓的東西嗎?
是說我用VBA寫上市+上櫃在今天改版之前一小時內可以搞定
其實也 ...
lalalada 發表於 2012-7-27 01:41



    我所指的都是用python寫的,VBA哪有可能這麼快又穩

TOP

本帖最後由 white5168 於 2012-7-27 11:49 編輯

可以,但是python沒有以上的問題,光是抓資料就很快,可以直接用暴力法就抓到全部的資料,我晚一點再截一張圖給各位看,這是這一兩天抓資料的圖,使用python(主程式加偵錯) + batch file(控制python,防堵錯時,再一次執行的控制)+python寫入CSV檔

TOP

本帖最後由 white5168 於 2012-7-27 11:46 編輯
回復  mannyhsu

一個一個去查就沒有自動化的意義了XD
我目前有想到作法
只是還不知道怎麼執行
lalalada 發表於 2012-7-27 11:36



我們要做的是能順利的抓到完整的資料,且能在短時間獲得交易明細,如果你想在這個階段用VBA來提升你的寫程式能力,那是不智之舉,因為現在每天證交所公佈資料的時間是下午5:30,那時候一定很多人都用程式去抓,連線速慢的軟體就常常抓不到資料或是無法下載,這樣的過程各位都遇過,與其用一個很慢工具抓資料,為何不選擇可以先將資料取得後再用VBA去做分析呢?如果連資料都撈不到,怎麼談之後的事呢

TOP

回復  white5168

可否請版大好人做到底, 另開一個主題, 指點大家如何用 python 去抓資料 ~~

另外請問 ...
mannyhsu 發表於 2012-7-27 11:56



我比較請向希望版主或站長開一個有關python的專屬討論區就像excel這樣,讓會寫python的人一起討論,大家一起集氣吧

TOP

附上一個用python抓的檔案,稍晚5:30後再附上今天用python抓明細的截圖

1101_20120726.rar (3.58 KB)

劵商明細

TOP

本帖最後由 white5168 於 2012-7-28 00:00 編輯

附上今天用PYTHON跑的圖

1.gif (996.47 KB)

開始

1.gif

2.gif (999.45 KB)

中間

2.gif

TOP

        靜思自在 : 能幹不幹,不如苦幹實幹。
返回列表 上一主題