12
返回列表 上一主題 發帖

[原創] python上市櫃三大法人買賣超日報資料下載

lpk187

帖子
552 
主題
6 
精華
0 
積分
576 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2026-9-10 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
1# 跳轉到 »
發表於 2016-8-31 09:03 | 顯示全部帖子
本帖最後由 lpk187 於 2016-8-31 09:05 編輯

回復 21# c_c_lai

jupyter和IDLE執行有點不同，jupyter是一段一段執行的，
執行某段必須繼承上一次的執行，否則會錯誤
而執行的結果，則是在某段的下面，Shift Enter 是對的

   

TOP

lpk187

帖子
552 
主題
6 
精華
0 
積分
576 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2026-9-10 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
2#
發表於 2016-8-31 09:08 | 顯示全部帖子
推薦使用 Anaconda 的 Python 版本, 因為這個版本幫你把許多套件 (尤其是科學計算、資料分析相關的) 都裝好了。

    https://www.continuum.io/downloads

TOP

lpk187

帖子
552 
主題
6 
精華
0 
積分
576 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2026-9-10 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
3#
發表於 2016-9-7 18:11 | 顯示全部帖子
回復 38# c_c_lai


    soup = BeautifulSoup(res.text,"html.parser")

TOP

lpk187

帖子
552 
主題
6 
精華
0 
積分
576 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2026-9-10 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
4#
發表於 2016-9-7 23:26 | 顯示全部帖子
回復 41# c_c_lai

    表格可以用 pandas 去抓詳細的指令可參照 http://pandas.pydata.org/pandas- ... tml#io-excel-writer
  1. import pandas as pd
  2. import io
  3. url = 'http://www.taifex.com.tw/chinese/3/7_12_3.asp'
  4. dfs = pd.read_html(url, index_col=0)
  5. data=dfs[3][0:][1:]
  6. data.to_excel('test.xlsx')
複製代碼
不過抓回來的表格有點錯亂，我也是剛開始學，別介意！
大家互相研究！   :$

TOP

lpk187

帖子
552 
主題
6 
精華
0 
積分
576 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2026-9-10 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
5#
發表於 2016-9-8 00:05 | 顯示全部帖子
回復 41# c_c_lai

html比較多問題， 當你有html5lib / LXML解析器的問題
你可以下載它
pip install html5lib
easy_install lxml

TOP

lpk187

帖子
552 
主題
6 
精華
0 
積分
576 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2026-9-10 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
6#
發表於 2016-9-8 09:13 | 顯示全部帖子
本帖最後由 lpk187 於 2016-9-8 09:16 編輯

回復 47# c_c_lai

安裝模塊最好在DOS中安裝 ，其實在安裝Python時大多已寫入環境變數，但是最好還是在其版本下的Scripts資料夾安裝比較好
例如Anaconda3版本下：先進入cmd 進入DOS 後打入cd  C:\Anaconda3\Scripts    <<==依你實際資料夾為準
安裝前，先升級pip  語法："pip install --upgrade pip"
pandas：pip install pandas
安裝pandas的同時它好像也會幫你安裝

html5lib也是pip：pip install html5lib ，若已經有安裝了，那就升級它 pip install -U html5lib -U是升級的意思 U 必須大寫

至於 lxml 大多已經安裝，但舊版本容易出錯，所以要先反安裝  conda remove lxml
lxml 用pip不好安裝，所以我是用 easy_install 安裝的  easy_install lxml

其他版本也是一樣需要到其目錄(Scripts)安裝比較妥當

TOP

lpk187

帖子
552 
主題
6 
精華
0 
積分
576 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2026-9-10 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
7#
發表於 2016-9-8 10:53 | 顯示全部帖子
回復 49# c_c_lai


    是的一樣進入到python3.5資料夾的Scripts資料夾進行 安裝  
若是在其他的資料夾或根目錄下安裝，比較會錯亂，其因是安裝多個版本的開係！
有時pip不能下載安裝可以嘗試其他安裝方法 例如用 easy_install 安裝或者參考 其模塊的官網說明

TOP

lpk187

帖子
552 
主題
6 
精華
0 
積分
576 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2026-9-10 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
8#
發表於 2016-9-8 11:06 | 顯示全部帖子
回復 50# c_c_lai


    所產生的檔案會在這個所儲存程式碼下的資料夾出現
以jupyter 來說一般都在"文件"資料中

TOP

lpk187

帖子
552 
主題
6 
精華
0 
積分
576 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2026-9-10 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
9#
發表於 2016-9-12 09:18 | 顯示全部帖子
回復 84# c_c_lai

我和你一樣也只是初學Python ，對於Python也尚在研究之中，
昨天看到你和zyzzyva大大研究這篇倒也是引發我很大的興趣！
其實我對 pandas 認識也不深，也僅是剛好看到 pandas 可以製作表格 參考網址
其他的可不太懂的， HTML 代碼。對我來說，可是處在完全不懂啊！唉！
對Beautiful Soup 4，呃！也是看得花花的 ，參考網址
一起加油吧！

TOP

lpk187

帖子
552 
主題
6 
精華
0 
積分
576 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2026-9-10 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
10#
發表於 2016-9-12 23:44 | 顯示全部帖子
本帖最後由 lpk187 於 2016-9-12 23:46 編輯

回復 103# koshi0413

看來熱衷於python 的同好在這討論區，也蠻多人的
python 的io可以輸出很多格式，csv .xlsx甚至sql都行

當C大開始討論這網址 http://www.twse.com.tw/ch/trading/exchange/MI_MARGN/MI_MARGN.php
就在想，表格還是交給表格專家 pandas 來處理，於是借了你大部份代碼來做看看，效果還不錯
  1. import requests
  2. from bs4 import BeautifulSoup
  3. import pandas as pd
  4. import io

  6. url = 'http://www.twse.com.tw/ch/trading/exchange/MI_MARGN/MI_MARGN.php'
  7. headers = {"User-Agent":"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36"}
  8. url1 = "http://www.twse.com.tw/ch/trading/exchange/MI_MARGN/MI_MARGN.php"
  9. payload = {"download":'',
  10.             "qdate":'105/09/10',
  11.             "selectType":"ALL"}
  12. res = requests.post(url1, headers=headers, data=payload)
  13. tbl=pd.read_html(res.text)

  15. deta=tbl[1]
  16. deta.columns = ['股票代號','股票名稱','買進','賣出','現金償還','前日餘額','今日餘額','限額','買進','賣出','現券償還','前日餘額','今日餘額','限額','資券互抵','註記']
  17. deta.to_csv('test1.csv')
複製代碼

TOP

        靜思自在 : 口說一句好話，如口出蓮花；口說一句壞話如口吐毒蛇。
12
返回列表 上一主題