20120507 python 抓取每日交易明細

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

2^#

發表於 2012-6-13 08:53 | 顯示全部帖子

本帖最後由 white5168 於 2012-6-13 09:01 編輯

想要抓網頁資料當然可以,但是第一步要學會看懂網頁架構,不然怎麼解析網頁,近期常常遇到有人要跟我索取python抓成交明細的source code,而且往往是不知道python的人要的最多,如果你已經具備的一定程度ptyhon的認知,基本上在給你一些key point就能了解如何抓資料了,而且速度與穩定性比VBA快又穩,我最舊也常遇到有一堆害群之馬一直在操掛證交所的伺服器,用最多的就是VBA的人,也在此呼籲不熟的人不要老是用VBA在try,不然用VBA抓資料的人真的會很辛苦,這也讓我抓資料要用python+batch方式來抓

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

3^#

發表於 2012-6-13 10:25 | 顯示全部帖子

To freeffly

請上Google 搜尋python或上為基百科查看
Python在國外早已被廣泛使用，證明其穩定和其好用之處及受歡迎的程度，美國太空總署NASA使用Python，Google使用Python，Youtube使用Python.....
在華爾街, python已被認為是金融語言之一, 而在台灣根本是很鮮少人知道的

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

4^#

發表於 2012-6-17 16:56 | 顯示全部帖子

目前沒有用在抓取股市公開觀測站網站公開資料, 如有需要另外討論

以Python寫每日上市櫃交易的資料到MySQL中
上櫃615筆共50天的交易日,總共需8~9分鐘
上市795筆共50天的交易日,總共需10~12分鐘

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

5^#

發表於 2012-6-22 09:09 | 顯示全部帖子

可以抓DDE的資料,不過可能需要安裝模組,我沒使用過,印象中要抓DDE的功能有限,可能開發的人不多吧,你可以上google自己尋找一下

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

6^#

發表於 2012-7-24 22:34 | 顯示全部帖子

證交所的網址又改了,錯失ㄧ天的資料

帖子: 90
主題: 16
精華: 0
積分: 114
點名: 0
作業系統: XP
軟體版本: sp2
閱讀權限: 20
性別: 男
註冊時間: 2011-7-9
最後登錄: 2018-10-7

7^#

發表於 2012-7-28 12:41 | 顯示全部帖子

我本來就沒認為會有機會成立新版,畢竟保守的環境要創造新事物還有是有難度
不過也證明了一件事,就是身為管理員竟然會在生氣的時候會將別人將寄給的信件內容當成文章,大剌剌的未經當事人同意就公佈在網頁裡
這樣是很要不得的行為,在各大網站裡,這樣的行為是嚴格被禁止的而且也明確規定在版規上
只是那我很納悶的是在麻辣家族裡,竟然連這樣的行為都是合法的,這樣讓人覺得管理員的官威好大, 令人產生不良的社會觀感
在PTT,藍色部落,程式設計俱樂,這樣的站發生這樣的問題時,多少都有處分我相信"麻辣家族"在網路上也佔有一息之地,應該也是會有所作為才對
不過我想在 "麻辣家族"裡發生這樣問題時,看起來是被鼓勵的,因為從昨天到現在,管理員也沒本處分或是撤換
各位會員想想看,如果哪天你們寄給"麻辣家族"的信件,被管理員這樣公開的彗,應該也不好受吧