python上市櫃三大法人買賣超日報資料下載 - 程式設計不分區

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

41^# 跳轉到 »

發表於 2016-9-7 18:35 | 只看該作者

本帖最後由 c_c_lai 於 2016-9-7 18:47 編輯

回復 39# lpk187
回復 40# zyzzyva
謝謝你！
請問 3714 代表筆數嗎？
如果要顯示 Get 後的網頁內容那該如何表達？

TOP

zyzzyva

中學生 Rank: 2

帖子: 109
主題: 1
精華: 0
積分: 116
點名: 0
作業系統: win7
軟體版本: 2007
閱讀權限: 20
註冊時間: 2016-8-4
最後登錄: 2018-10-22

論壇榮譽勳章論壇贊助勳章

42^#

發表於 2016-9-7 21:19 | 只看該作者

本帖最後由 zyzzyva 於 2016-9-7 21:21 編輯

回復 41# c_c_lai
3714是今天外資的期貨多空交易淨口數，就是圖裡紅圈的地方。一般我是會直接寫到csv檔裡，這樣ts或mc就可以直接讀取。

如果要顯示抓取回來的完整網頁，只需要

import requests
url = 'http://www.taifex.com.tw/chinese/3/7_12_3.asp'
res = requests.get(url)
print(res.text)

複製代碼

BeautifulSoup那邊只是在做html碼的剖析，方便我們找到要的資料。

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

43^#

發表於 2016-9-7 23:26 | 只看該作者

回復 41# c_c_lai

表格可以用 pandas 去抓詳細的指令可參照 http://pandas.pydata.org/pandas- ... tml#io-excel-writer

import pandas as pd
import io
url = 'http://www.taifex.com.tw/chinese/3/7_12_3.asp'
dfs = pd.read_html(url, index_col=0)
data=dfs[3][0:][1:]
data.to_excel('test.xlsx')

複製代碼

不過抓回來的表格有點錯亂，我也是剛開始學，別介意！
大家互相研究！ :$

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

44^#

發表於 2016-9-8 00:05 | 只看該作者

回復 41# c_c_lai

html比較多問題，當你有html5lib / LXML解析器的問題
你可以下載它
pip install html5lib
easy_install lxml

TOP

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

45^#

發表於 2016-9-8 06:59 | 只看該作者

本帖最後由 c_c_lai 於 2016-9-8 07:08 編輯

回復 43# lpk187
謝謝你！
這是不是指 Pandas 套件尚未安裝？
請問下載Pandas套件後，要如何加入Pandas 套件？
感覺上比 Excel VBA 還複雜呦。

TOP

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

46^#

發表於 2016-9-8 07:07 | 只看該作者

回復 42# zyzzyva
謝謝你！
執行完後出來的是網頁原始碼，
如國我想要的是如你上圖的結果值，
那又該如何處理？
我是在想了解 Python 它是如何來完成？

TOP

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

47^#

發表於 2016-9-8 07:20 | 只看該作者

回復 c_c_lai

html比較多問題，當你有html5lib / LXML解析器的問題
你可以下載它
pip install html ...
lpk187 發表於 2016-9-8 00:05

不好意思 html5lib / LXML 要如何才能下載到？
下載後我是在安裝的 Python 3.5 的環境下執行 pip install ？
但是目前我不識在該DOS 環境下執行程式，而是透過 Anaconda 的
Jupyter 環境下執行程式下，那又應該要如何運作？
不好意思一口氣提出這麼多的疑問，因無人教導自學的，
所以尚請多多包涵。再次向你說聲謝謝囉！

TOP

lpk187

高中生 Rank: 3 Rank: 3

帖子: 552
主題: 3
精華: 0
積分: 578
點名: 0
作業系統: win7
軟體版本: office 2010
閱讀權限: 50
性別: 男
註冊時間: 2015-2-8
最後登錄: 2024-7-9

2016猴年全勤獎章 2015羊年全勤獎章熱烈參與勳章

48^#

發表於 2016-9-8 09:13 | 只看該作者

本帖最後由 lpk187 於 2016-9-8 09:16 編輯

回復 47# c_c_lai

安裝模塊最好在DOS中安裝，其實在安裝Python時大多已寫入環境變數，但是最好還是在其版本下的Scripts資料夾安裝比較好
例如Anaconda3版本下：先進入cmd 進入DOS 後打入cd  C:\Anaconda3\Scripts <<==依你實際資料夾為準
安裝前，先升級pip  語法："pip install --upgrade pip"
pandas：pip install pandas
安裝pandas的同時它好像也會幫你安裝

html5lib也是pip：pip install html5lib ，若已經有安裝了，那就升級它 pip install -U html5lib -U是升級的意思 U 必須大寫

至於 lxml 大多已經安裝，但舊版本容易出錯，所以要先反安裝  conda remove lxml
lxml 用pip不好安裝，所以我是用 easy_install 安裝的  easy_install lxml

其他版本也是一樣需要到其目錄(Scripts)安裝比較妥當

TOP

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

49^#

發表於 2016-9-8 09:33 | 只看該作者

回復 48# lpk187
非常感謝，我來學著試試安裝看看，
我看了 Anaconda 的說明都沒提及，所以至今還是幼兒初級生，
慚愧慚愧！
那麼 Python 3.5 的環境下是否依需如同 Anaconda Script 一樣
需要執行 Pip 的套件來安裝升級？

TOP

c_c_lai

博士班 Rank: 6 Rank: 6

帖子: 2035
主題: 24
精華: 0
積分: 2031
點名: 0
作業系統: Win7
軟體版本: Office2010
閱讀權限: 100
性別: 男
註冊時間: 2012-3-22
最後登錄: 2024-2-1

50^#

發表於 2016-9-8 10:03 | 只看該作者

回復 48# lpk187
修正套件後，執行之畫面如下，看起來是 OK，
但卻沒看見 Test.xlsx 檔案？它會產生在哪裡？
這樣的畫面顯示是屬正確嗎？
謝謝你的指導！

TOP

[原創] python上市櫃三大法人買賣超日報資料下載

[收藏此主題] [關注此主題的新回復]

[通過 QQ、MSN 分享給朋友]