python上市櫃三大法人買賣超日報資料下載 - 程式設計不分區

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

41^# 跳轉到 »

發表於 2016-9-12 19:30 | 顯示全部帖子

回復 100# zyzzyva
假設不存成 csv，而一一顯示又會是如何處哩，
直截使用 res，好像無動作。(愈來愈喜愛 Python 了)
謝謝囉！

TOP

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

42^#

發表於 2016-9-12 22:56 | 顯示全部帖子

回復 103# koshi0413
謝謝你！
我好好地來研究一下。BS(res.text) 我修改成 BS(res.text, 'lxml')
最後之 print( ... ) (因我的版本是 3.5) 我再想想看有沒有更佳的表達處理。
請教 soup.select('table')[1] 為何是 [1]？ soup.select('tr')[3:] 的 [3:] 指的又是？
Python 我算是幼兒生，還得向你們請益了。謝謝囉！

TOP

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

43^#

發表於 2016-9-13 08:25 | 顯示全部帖子

本帖最後由 c_c_lai 於 2016-9-13 08:42 編輯

回復 106# zyzzyva
回復 109# lpk187
回復 107# koshi0413
zyzzyva 大大，感激不盡！
還是老問題， with open('output.csv', 'w', new='', encoding='utf-8') as f: 的
new 真的需要改成 with open('output.csv', 'w', "new"='', encoding='utf-8') as f:
"new" ( 打不出來) 才行。
koshi0413 大大，
我發現這兒使用 pandas 顯示結果雖稍稍耗時，但成果是很漂亮。(很值得參考應用)
#在ipython，dfs[1]就可以取出主要的資料
#dfs[1]
#dfs #類似 103樓的結果 (差異點：一個是使用 pandas，另一是應用 BeautifulSoup 處理)
lpk187 大大，
#109樓之解題結果與 100樓的解答類似，雖第一欄加入了 Counter，但過程使用較多的套件。
我發現使用 requests.post(url, headers=headers, data=payload, stream=True) 不需像 pandas
需菱形加入 deta.columns = ['] 等動作。在 tbl=pd.read_html(res.text) 時，它不會自動帶入嗎？

看了三位的不同佳作，才深深覺得我對 Python 之認識初淺，實在太感謝三位能從不同的角度來探討
共同主題，如此學習者才能深切體會、領受，再次謝謝，這亦是我為何喜愛這個論壇的原因。

TOP

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

44^#

發表於 2016-9-13 09:10 | 顯示全部帖子

回復 108# koshi0413
原本也有考慮使用 for 來處哩，但問題出在 print() 執行完後都會送出 Feed。
for ta in soup.select('tr')[3:]:
for ct in [0,1,2,3,4,5,6,7,8,9,10,11,12,13,14]:
print ta.select("td")[ct].text
但結果為：

TOP

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

45^#

發表於 2016-9-13 09:22 | 顯示全部帖子

本帖最後由 c_c_lai 於 2016-9-13 09:31 編輯

回復 111# koshi0413
一般應用面來說， sql 資料是可以直接拉資料至 EXCEL 的，再用 EXCEL 來畫製統計圖表。
有些人會將每日每分、甚至每秒的股市紀錄存入至資料庫 (DataBase) ，
如 MS SQL、 Access、 MySQL、 Oracle"、 PostgreSQL 等。
然後再去篩選處理，無論你是使用何種程式語言工具。
這方面你可以向准提部林、GBKEE、Hsieh 、 ... 等多位版主前輩請益的。

TOP

c_c_lai