返回列表 上一主題 發帖

[原創] python上市櫃三大法人買賣超日報資料下載

本帖最後由 c_c_lai 於 2016-9-7 18:47 編輯

回復 39# lpk187
回復 40# zyzzyva
謝謝你!
請問 3714 代表筆數嗎?
如果要顯示 Get 後的網頁內容那該如何表達?
F.png
2016-9-7 18:35

TOP

本帖最後由 zyzzyva 於 2016-9-7 21:21 編輯

回復 41# c_c_lai
3714是今天外資的期貨多空交易淨口數,就是圖裡紅圈的地方。一般我是會直接寫到csv檔裡,這樣ts或mc就可以直接讀取。
Screenshot_2.png
2016-9-7 21:15

如果要顯示抓取回來的完整網頁,只需要
  1. import requests

  2. url = 'http://www.taifex.com.tw/chinese/3/7_12_3.asp'

  3. res = requests.get(url)

  4. print(res.text)
複製代碼
BeautifulSoup那邊只是在做html碼的剖析,方便我們找到要的資料。

TOP

回復 41# c_c_lai

    表格可以用 pandas 去抓詳細的指令可參照 http://pandas.pydata.org/pandas- ... tml#io-excel-writer
  1. import pandas as pd
  2. import io
  3. url = 'http://www.taifex.com.tw/chinese/3/7_12_3.asp'
  4. dfs = pd.read_html(url, index_col=0)
  5. data=dfs[3][0:][1:]
  6. data.to_excel('test.xlsx')
複製代碼
不過抓回來的表格有點錯亂,我也是剛開始學,別介意!
大家互相研究!   :$

TOP

回復 41# c_c_lai

html比較多問題, 當你有html5lib / LXML解析器的問題
你可以下載它
pip install html5lib
easy_install lxml

TOP

本帖最後由 c_c_lai 於 2016-9-8 07:08 編輯

回復 43# lpk187
謝謝你!
這是不是指 Pandas 套件尚未安裝?
請問下載Pandas套件後, 要如何加入Pandas 套件?
感覺上比 Excel VBA 還複雜呦。
未命名.png
2016-9-8 06:59

TOP

回復 42# zyzzyva
謝謝你!
執行完後出來的是網頁原始碼,
如國我想要的是如你上圖的結果值,
那又該如何處理?
我是在想了解 Python 它是如何來完成?
未命名.png
2016-9-8 07:07

TOP

回復  c_c_lai

html比較多問題, 當你有html5lib / LXML解析器的問題
你可以下載它
pip install html ...
lpk187 發表於 2016-9-8 00:05

不好意思 html5lib / LXML 要如何才能下載到?
下載後我是在安裝的 Python 3.5 的環境下 執行 pip install ?
但是目前我不識在該DOS 環境下執行程式,而是透過 Anaconda 的
Jupyter 環境下執行程式下,那又應該要如何運作?
不好意思一口氣提出這麼多的疑問,因無人教導自學的,
所以尚請多多包涵。再次向你說聲謝謝囉!

TOP

本帖最後由 lpk187 於 2016-9-8 09:16 編輯

回復 47# c_c_lai

安裝模塊最好在DOS中安裝 ,其實在安裝Python時大多已寫入環境變數,但是最好還是在其版本下的Scripts資料夾安裝比較好
例如Anaconda3版本下:先進入cmd 進入DOS 後打入cd  C:\Anaconda3\Scripts    <<==依你實際資料夾為準
安裝前,先升級pip  語法:"pip install --upgrade pip"
pandas:pip install pandas
安裝pandas的同時它好像也會幫你安裝

html5lib也是pip:pip install html5lib ,若已經有安裝了,那就升級它 pip install -U html5lib -U是升級的意思 U 必須大寫

至於 lxml 大多已經安裝,但舊版本容易出錯,所以要先反安裝  conda remove lxml
lxml 用pip不好安裝,所以我是用 easy_install 安裝的  easy_install lxml

其他版本也是一樣需要到其目錄(Scripts)安裝比較妥當

TOP

回復 48# lpk187
非常感謝,我來學著試試安裝看看,
我看了 Anaconda 的說明都沒提及,所以至今還是幼兒初級生,
慚愧慚愧!
那麼 Python 3.5 的環境下是否依需如同  Anaconda Script 一樣
需要執行 Pip 的套件來安裝升級?

TOP

回復 48# lpk187
修正套件後,執行之畫面如下,看起來是 OK,
但卻沒看見 Test.xlsx 檔案?它會產生在哪裡?
這樣的畫面顯示是屬正確嗎?
謝謝你的指導!
新增派工.png
2016-9-8 10:04

TOP

        靜思自在 : 不要小看自己,因為人有無限的可能。
返回列表 上一主題