python上市櫃三大法人買賣超日報資料下載 - 程式設計不分區

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

1^# 跳轉到 »

發表於 2016-8-31 09:03 | 顯示全部帖子

本帖最後由 lpk187 於 2016-8-31 09:05 編輯

回復 21# c_c_lai

jupyter和IDLE執行有點不同，jupyter是一段一段執行的，
執行某段必須繼承上一次的執行，否則會錯誤
而執行的結果，則是在某段的下面，Shift Enter 是對的

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

2^#

發表於 2016-8-31 09:08 | 顯示全部帖子

推薦使用 Anaconda 的 Python 版本, 因為這個版本幫你把許多套件 (尤其是科學計算、資料分析相關的) 都裝好了。

https://www.continuum.io/downloads

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

3^#

發表於 2016-9-7 18:11 | 顯示全部帖子

回復 38# c_c_lai

soup = BeautifulSoup(res.text,"html.parser")

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

4^#

發表於 2016-9-7 23:26 | 顯示全部帖子

回復 41# c_c_lai

表格可以用 pandas 去抓詳細的指令可參照 http://pandas.pydata.org/pandas- ... tml#io-excel-writer

import pandas as pd
import io
url = 'http://www.taifex.com.tw/chinese/3/7_12_3.asp'
dfs = pd.read_html(url, index_col=0)
data=dfs[3][0:][1:]
data.to_excel('test.xlsx')

複製代碼

不過抓回來的表格有點錯亂，我也是剛開始學，別介意！
大家互相研究！ :$

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

5^#

發表於 2016-9-8 00:05 | 顯示全部帖子

回復 41# c_c_lai

html比較多問題，當你有html5lib / LXML解析器的問題
你可以下載它
pip install html5lib
easy_install lxml

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

6^#

發表於 2016-9-8 09:13 | 顯示全部帖子

本帖最後由 lpk187 於 2016-9-8 09:16 編輯

回復 47# c_c_lai

安裝模塊最好在DOS中安裝，其實在安裝Python時大多已寫入環境變數，但是最好還是在其版本下的Scripts資料夾安裝比較好
例如Anaconda3版本下：先進入cmd 進入DOS 後打入cd  C:\Anaconda3\Scripts <<==依你實際資料夾為準
安裝前，先升級pip  語法："pip install --upgrade pip"
pandas：pip install pandas
安裝pandas的同時它好像也會幫你安裝

html5lib也是pip：pip install html5lib ，若已經有安裝了，那就升級它 pip install -U html5lib -U是升級的意思 U 必須大寫

至於 lxml 大多已經安裝，但舊版本容易出錯，所以要先反安裝  conda remove lxml
lxml 用pip不好安裝，所以我是用 easy_install 安裝的  easy_install lxml

其他版本也是一樣需要到其目錄(Scripts)安裝比較妥當

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

7^#

發表於 2016-9-8 10:53 | 顯示全部帖子

回復 49# c_c_lai

是的一樣進入到python3.5資料夾的Scripts資料夾進行安裝
若是在其他的資料夾或根目錄下安裝，比較會錯亂，其因是安裝多個版本的開係！
有時pip不能下載安裝可以嘗試其他安裝方法例如用 easy_install 安裝或者參考其模塊的官網說明

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

8^#

發表於 2016-9-8 11:06 | 顯示全部帖子

回復 50# c_c_lai

所產生的檔案會在這個所儲存程式碼下的資料夾出現
以jupyter 來說一般都在"文件"資料中

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

9^#

發表於 2016-9-12 09:18 | 顯示全部帖子

回復 84# c_c_lai

我和你一樣也只是初學Python ，對於Python也尚在研究之中，
昨天看到你和zyzzyva大大研究這篇倒也是引發我很大的興趣！
其實我對 pandas 認識也不深，也僅是剛好看到 pandas 可以製作表格參考網址
其他的可不太懂的， HTML 代碼。對我來說，可是處在完全不懂啊！唉！
對Beautiful Soup 4，呃！也是看得花花的，參考網址
一起加油吧！

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

10^#

發表於 2016-9-12 23:44 | 顯示全部帖子

本帖最後由 lpk187 於 2016-9-12 23:46 編輯

回復 103# koshi0413

看來熱衷於python 的同好在這討論區，也蠻多人的
python 的io可以輸出很多格式，csv .xlsx甚至sql都行

當C大開始討論這網址 http://www.twse.com.tw/ch/trading/exchange/MI_MARGN/MI_MARGN.php
就在想，表格還是交給表格專家 pandas 來處理，於是借了你大部份代碼來做看看，效果還不錯

import requests
from bs4 import BeautifulSoup
import pandas as pd
import io
url = 'http://www.twse.com.tw/ch/trading/exchange/MI_MARGN/MI_MARGN.php'
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36"}
url1 = "http://www.twse.com.tw/ch/trading/exchange/MI_MARGN/MI_MARGN.php"
payload = {"download":'',
"qdate":'105/09/10',
"selectType":"ALL"}
res = requests.post(url1, headers=headers, data=payload)
tbl=pd.read_html(res.text)
deta=tbl[1]
deta.columns = ['股票代號','股票名稱','買進','賣出','現金償還','前日餘額','今日餘額','限額','買進','賣出','現券償還','前日餘額','今日餘額','限額','資券互抵','註記']
deta.to_csv('test1.csv')

複製代碼

TOP

[原創] python上市櫃三大法人買賣超日報資料下載

[收藏此主題] [關注此主題的新回復]

[通過 QQ、MSN 分享給朋友]