1 ...9101112131415161718
返回列表 上一主題 發帖

[原創] python上市櫃三大法人買賣超日報資料下載

lpk187

帖子
552 
主題
3 
精華
0 
積分
578 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2024-7-9 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
44# 跳轉到 »
發表於 2016-9-8 00:05 | 只看該作者
回復 41# c_c_lai

html比較多問題， 當你有html5lib / LXML解析器的問題
你可以下載它
pip install html5lib
easy_install lxml

TOP

lpk187

帖子
552 
主題
3 
精華
0 
積分
578 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2024-7-9 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
43#
發表於 2016-9-7 23:26 | 只看該作者
回復 41# c_c_lai

    表格可以用 pandas 去抓詳細的指令可參照 http://pandas.pydata.org/pandas- ... tml#io-excel-writer
  1. import pandas as pd
  2. import io
  3. url = 'http://www.taifex.com.tw/chinese/3/7_12_3.asp'
  4. dfs = pd.read_html(url, index_col=0)
  5. data=dfs[3][0:][1:]
  6. data.to_excel('test.xlsx')
複製代碼
不過抓回來的表格有點錯亂，我也是剛開始學，別介意！
大家互相研究！   :$

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
42#
發表於 2016-9-7 21:19 | 只看該作者
本帖最後由 zyzzyva 於 2016-9-7 21:21 編輯

回復 41# c_c_lai
3714是今天外資的期貨多空交易淨口數，就是圖裡紅圈的地方。一般我是會直接寫到csv檔裡，這樣ts或mc就可以直接讀取。

如果要顯示抓取回來的完整網頁，只需要
  1. import requests

  3. url = 'http://www.taifex.com.tw/chinese/3/7_12_3.asp'

  5. res = requests.get(url)

  7. print(res.text)
複製代碼
BeautifulSoup那邊只是在做html碼的剖析，方便我們找到要的資料。

TOP

c_c_lai

帖子
2035 
主題
24 
精華
0 
積分
2031 
點名
0  
作業系統
Win7 
軟體版本
Office2010 
閱讀權限
100 
性別
男 
註冊時間
2012-3-22 
最後登錄
2024-2-1 
41#
發表於 2016-9-7 18:35 | 只看該作者
本帖最後由 c_c_lai 於 2016-9-7 18:47 編輯

回復 39# lpk187
回復 40# zyzzyva
謝謝你！
請問 3714 代表筆數嗎？
如果要顯示 Get 後的網頁內容那該如何表達？

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
40#
發表於 2016-9-7 18:15 | 只看該作者
回復 38# c_c_lai
那個訊息不影響執行，如果不想看到警告訊息只要像L大說的指定parser就可以了。把soup那段改成
soup = BeautifulSoup(res.text, "html. parser")

TOP

lpk187

帖子
552 
主題
3 
精華
0 
積分
578 
點名
0  
作業系統
win7 
軟體版本
office 2010 
閱讀權限
50 
性別
男 
註冊時間
2015-2-8 
最後登錄
2024-7-9 

2016猴年全勤獎章2015羊年全勤獎章熱烈參與勳章
39#
發表於 2016-9-7 18:11 | 只看該作者
回復 38# c_c_lai


    soup = BeautifulSoup(res.text,"html.parser")

TOP

c_c_lai

帖子
2035 
主題
24 
精華
0 
積分
2031 
點名
0  
作業系統
Win7 
軟體版本
Office2010 
閱讀權限
100 
性別
男 
註冊時間
2012-3-22 
最後登錄
2024-2-1 
38#
發表於 2016-9-7 15:10 | 只看該作者
回復 37# zyzzyva

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
37#
發表於 2016-9-7 12:35 | 只看該作者
回復 36# c_c_lai
其實我也都只是做簡單的應用，一個簡單的例子(抓取期貨外資交易口數以做為交易策略的參考)：
網址：http://www.taifex.com.tw/chinese/3/7_12_3.asp
假設目標是抓取圖中紅圈的數字：
固定的起手式大概就像這樣(bs4要另外安裝，還有一個也很好用的是lxml)：
  1. import requests
  2. from bs4 import BeautifulSoup

  4. url = 'http://www.taifex.com.tw/chinese/3/7_12_3.asp'

  6. res = requests.get(url)

  8. soup = BeautifulSoup(res.text)

  10. tbl = soup.select('.table_f td')

  12. print(tbl[33].text)
複製代碼
因為使用了requests和bs4，只要簡短的幾行程式碼就可以達到我們的需求。

TOP

c_c_lai

帖子
2035 
主題
24 
精華
0 
積分
2031 
點名
0  
作業系統
Win7 
軟體版本
Office2010 
閱讀權限
100 
性別
男 
註冊時間
2012-3-22 
最後登錄
2024-2-1 
36#
發表於 2016-9-7 12:01 | 只看該作者
回復 35# zyzzyva
其實學習任何程式語言均有一通病，
在學習過程中大家都了解各個語法的使用，
但要將它們兜在一起應用於實務面時，卻往往又是另一回事。
有些人因而怯步不前，甚至棄之離去。
觀察其原因多因無實用的範例教學引導，充分之資訊提供。
好比我學習 Excel VBA 一開始我只是憑藉著有其它程式語言背景
撰寫基礎，進而從各位大大的提問中一步一步地探討、應用的。
如果大大能提列一些實用範例、需要套件，應留意事項等，
幫助大家提升領域那也是功德一件啊！

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
35#
發表於 2016-9-7 10:49 | 只看該作者
回復 34# moco5360
應該要看你的需求：看你要下載的是什麼樣的資料，做什麼樣的整理，(刪除重複資料不太懂，是指如果重複下載要把多的刪掉還是原來的資料就有重複？)
vba抓資料我不太熟，沒辦法做比較，不過python在下載資料來說，我自己用起來是覺得還滿順手的。
如果資料量不多，就用python把資料抓下來，再用excel處理，如果資料多的話，可能還是要放到資料庫裡比較好。

TOP

        靜思自在 : 人事的艱難與琢磨，就是一種考驗。
1 ...9101112131415161718
返回列表 上一主題