麻辣家族討論版版 - Powered by Discuz! Board

標題: 20120507 python 抓取每日交易明細 [打印本頁]

作者: white5168 時間: 2012-5-7 23:00 標題: 20120507 python 抓取每日交易明細

如圖為20120507 python 抓取每日交易明細
想知道python能做到什麼成度嗎?
歡迎一起來討論,相互學習

作者: wayway124 時間: 2012-6-8 10:12

所以利用python 可以抓取股市公開觀測站網站公開的資料嗎??

作者: white5168 時間: 2012-6-13 08:53

本帖最後由 white5168 於 2012-6-13 09:01 編輯

想要抓網頁資料當然可以,但是第一步要學會看懂網頁架構,不然怎麼解析網頁,近期常常遇到有人要跟我索取python抓成交明細的source code,而且往往是不知道python的人要的最多,如果你已經具備的一定程度ptyhon的認知,基本上在給你一些key point就能了解如何抓資料了,而且速度與穩定性比VBA快又穩,我最舊也常遇到有一堆害群之馬一直在操掛證交所的伺服器,用最多的就是VBA的人,也在此呼籲不熟的人不要老是用VBA在try,不然用VBA抓資料的人真的會很辛苦,這也讓我抓資料要用python+batch方式來抓

作者: freeffly 時間: 2012-6-13 09:39

回復 3# white5168

python 這各程式可以做哪些動作用在哪些方面?
我不是學程式的
知道vba可以讓excel工作自動化
但是python這各語言可以做到什麼程度?

作者: white5168 時間: 2012-6-13 10:25

To freeffly

請上Google 搜尋python或上為基百科查看
Python在國外早已被廣泛使用，證明其穩定和其好用之處及受歡迎的程度，美國太空總署NASA使用Python，Google使用Python，Youtube使用Python.....
在華爾街, python已被認為是金融語言之一, 而在台灣根本是很鮮少人知道的

作者: freeffly 時間: 2012-6-14 09:53

回復 5# white5168

這各google上的確是跟你說的一樣
對於不是學程式的我而言
學習程式之前想要知道這各語言
對我而言可以幹麻
目前還沒看到我想知道的
我再找找看相關資訊好了
大部分好像都沒有一個成型的例子(或畫面)可以看

作者: mannyhsu 時間: 2012-6-16 01:39

可以分享一下, 如何利用python 可以抓取股市公開觀測站網站公開的資料嗎??

作者: white5168 時間: 2012-6-17 16:56

目前沒有用在抓取股市公開觀測站網站公開資料, 如有需要另外討論

以Python寫每日上市櫃交易的資料到MySQL中
上櫃615筆共50天的交易日,總共需8~9分鐘
上市795筆共50天的交易日,總共需10~12分鐘

作者: usana642 時間: 2012-6-22 00:06

請問可以抓取券商報價軟體的DDE格式嗎？主要想抓取美股的報價資料，問提供券商報價來源的資訊公司，有關於不常用的DDE格式，都不想理我這個散戶，所以想請教您，謝謝

作者: white5168 時間: 2012-6-22 09:09

可以抓DDE的資料,不過可能需要安裝模組,我沒使用過,印象中要抓DDE的功能有限,可能開發的人不多吧,你可以上google自己尋找一下

作者: usana642 時間: 2012-6-25 20:52

回復 10# white5168

謝謝大大的回覆,我再找找看

作者: white5168 時間: 2012-7-24 22:34

證交所的網址又改了,錯失ㄧ天的資料

作者: lalalada 時間: 2012-7-27 01:51

證交所的網址又改了,錯失ㄧ天的資料
white5168 發表於 2012-7-24 22:34

對讓我今天很煩躁!
是說用VBA光抓取資料的其實也滿快的(可以接受)
以初學者來說成果很令人滿意
好想學新語言噢~"~

作者: mannyhsu 時間: 2012-7-28 01:03

看樣子, 要申請 python 專板, 被碰了軟釘,
就請 white5168 大, 委屈一下先在"程式設計不分區"
多分享一些使用 python 的經驗,
常常分享, 一定可以吸引大家的注意,
也會有愈多的人使用,
自然未來成立專板的目的, 就容易達到 ~~

我相信 google 會用它, 一定有他的道理...

作者: white5168 時間: 2012-7-28 12:41

我本來就沒認為會有機會成立新版,畢竟保守的環境要創造新事物還有是有難度
不過也證明了一件事,就是身為管理員竟然會在生氣的時候會將別人將寄給的信件內容當成文章,大剌剌的未經當事人同意就公佈在網頁裡
這樣是很要不得的行為,在各大網站裡,這樣的行為是嚴格被禁止的而且也明確規定在版規上
只是那我很納悶的是在麻辣家族裡,竟然連這樣的行為都是合法的,這樣讓人覺得管理員的官威好大, 令人產生不良的社會觀感
在PTT,藍色部落,程式設計俱樂,這樣的站發生這樣的問題時,多少都有處分我相信"麻辣家族"在網路上也佔有一息之地,應該也是會有所作為才對
不過我想在 "麻辣家族"裡發生這樣問題時,看起來是被鼓勵的,因為從昨天到現在,管理員也沒本處分或是撤換
各位會員想想看,如果哪天你們寄給"麻辣家族"的信件,被管理員這樣公開的彗,應該也不好受吧

作者: a2305577 時間: 2012-8-8 19:12

你的用心我想大家都有看到....盡心就好
加油！不要太失望，氣餒

作者: mannyhsu 時間: 2012-8-8 23:57

最近閉關苦練, 尋求網上 python 大師的協助, 從不會寫 python, 目前已經可以用 python 抓取每日交易明細, 並轉成 CSV 檔,
執行速度快, python 真是很棒的程式語言工具。

[attach]12064[/attach]

作者: bugsfamily 時間: 2012-9-24 13:17

每日交易明細?
有程式碼可以分享嗎?
並介紹幾個教學網站好嗎?

作者: stu1517 時間: 2012-9-25 00:33

python 真的是很棒的程式數度快

作者: tincholon 時間: 2012-10-27 16:15

回復 1# white5168

用Python直接轉成、匯入、的確是省很多工功夫! 厲害呀!

作者: jeff2004tpe 時間: 2012-11-21 16:08

好像很神，改天來學學看，再來跟各位前輩請教!!

作者: die78325 時間: 2012-11-21 16:23

我對抓資料一竅不通 = =" 完全不知道從何開始下手.....
目前還在EXCEL內部處理資料打滾....甚麼時候才能夠根上大大們呢~"~!

作者: weimr 時間: 2013-8-10 14:58

....抓取的速度真不賴,看樣子學習的腳步要更快惹....

作者: heavenweaver 時間: 2014-2-25 09:52

以Python寫每日上市櫃交易的資料到MySQL中
white5168 發表於 2012-6-17 16:56

看到高手了，目前我正準備著手進行相同的事，還在爬文學習中。
只是心裡有時還放不下Access及VBA而已。

作者: million2billion 時間: 2014-3-10 22:31

回復 17# mannyhsu

大大! 我看錯了嗎!!!?
只有一半的資料, 另一半是空白的ㄝ~

作者: 土尼 時間: 2014-4-15 16:20

vba可以讓excel工作自動化,那可以抓取股票CSV歷史紀錄嗎?

作者: honne 時間: 2014-4-26 14:12

最近看到python這個程式語言，好像國內真的不太有人使用，除了買書外不知從那些方面著手比較好?

作者: carloslin0316 時間: 2018-1-2 19:25

回復 9# usana642

=EWinner|RQ!AAPL.154.Price
=EWinner|RQ!AAPL.154.ChangePercent

歡迎光臨麻辣家族討論版版 (http://forum.twbts.com/)