返回列表 上一主題 發帖

[發問] 證交所資料自動下載

回復 3# lalalada


    圖片是依據網頁all_print轉存.html(桌面),後由excel匯入資料所得,但資料格式會移位,但可快速取得....參考看看吧!!

1101.JPG (142.92 KB)

1101.JPG

TOP

交易明細指得就是我現在要抓的東西嗎?
是說我用VBA寫上市+上櫃在今天改版之前一小時內可以搞定
其實也 ...
lalalada 發表於 2012-7-27 01:41



    我所指的都是用python寫的,VBA哪有可能這麼快又穩

TOP

本帖最後由 lalalada 於 2012-7-27 09:48 編輯
如瀏覽報表過於頻繁,疑似程式抓取行為,將暫停您瀏覽並顯示訊息.....!! 簡易使用說明有提到網頁有限制...
...
chen_cook 發表於 2012-7-27 06:04


我也看了一下csv檔
是資料缺損而不只是位置跑掉(即分隔符號中間的值是空的)
至於"如瀏覽報表過於頻繁,疑似程式抓取行為,將暫停您瀏覽並顯示訊息''
目前沒碰到過 據說如果用迴圈一頁一頁跑的話就會跳出來
不過一頁一頁跑實在太慢了...是我比較不想嘗試的方法

TOP

本帖最後由 lalalada 於 2012-7-27 09:53 編輯

回復 11# chen_cook

Great!!
下載+匯入說不定會比用插入查詢要快
不過我不知道怎麼轉存耶...轉存的時候不會需要指定頁數嗎 All_後面的數字
另外你是用GET方法嗎?

TOP

轉存到桌面??
請教大大是如何轉存的
能否和大家分享一下呢?

TOP

經過多天的測試, 如果要自動化, 就必須預先知道頁數 all_XX , 否則就必須一個一個去查他們的頁數, 再利用程式一個一個導入, 抓下來的資料只要沒有缺損, 格式的修改, 反而是容易的事。

如果用  python 可以解決上面的問題, 也請高手指點一二 ...
manny

TOP

本帖最後由 white5168 於 2012-7-27 11:49 編輯

可以,但是python沒有以上的問題,光是抓資料就很快,可以直接用暴力法就抓到全部的資料,我晚一點再截一張圖給各位看,這是這一兩天抓資料的圖,使用python(主程式加偵錯) + batch file(控制python,防堵錯時,再一次執行的控制)+python寫入CSV檔

TOP

回復 16# mannyhsu

一個一個去查就沒有自動化的意義了XD
我目前有想到作法
只是還不知道怎麼執行

TOP

本帖最後由 white5168 於 2012-7-27 11:46 編輯
回復  mannyhsu

一個一個去查就沒有自動化的意義了XD
我目前有想到作法
只是還不知道怎麼執行
lalalada 發表於 2012-7-27 11:36



我們要做的是能順利的抓到完整的資料,且能在短時間獲得交易明細,如果你想在這個階段用VBA來提升你的寫程式能力,那是不智之舉,因為現在每天證交所公佈資料的時間是下午5:30,那時候一定很多人都用程式去抓,連線速慢的軟體就常常抓不到資料或是無法下載,這樣的過程各位都遇過,與其用一個很慢工具抓資料,為何不選擇可以先將資料取得後再用VBA去做分析呢?如果連資料都撈不到,怎麼談之後的事呢

TOP

本帖最後由 mannyhsu 於 2012-7-27 11:58 編輯

回復 19# white5168

可否請版大好人做到底, 另開一個主題, 指點大家如何用 python 去抓資料 ~~

另外請問 python 可以搭配 Google Apps Script 及 Google Docs 嗎?
如果可以, 就可以取代目前 Excel + VBA  的作法 ...
manny

TOP

        靜思自在 : 【做人的開始】每一天都是故人的開始,每一個時刻都是自己的警惕。
返回列表 上一主題