[原創] python上市櫃三大法人買賣超日報資料下載

zyzzyva

可用來下載上市櫃三大法人買賣超日報資料。與py檔同一路徑下的path.ini可設定csv存放位置，注意路徑要包括最後一個"\"，如：C:\user\desktop\test\。
附上執行檔

1. import requests
   
2. import time
   
3. import os
   
4. 
   
5. mydate = time.strftime("%Y/%m/%d")
   
6. year = str(int(mydate[0:4])-1911)
   
7. mydate2 = mydate.replace(mydate[0:4],year)
   
8. 
   
9. setting = os.getcwd() + "\\" + "path.ini"
   
10. 
    
11. if os.path.exists(setting):
    
12.     with open(setting, 'r') as r:
    
13.         path = r.read()
    
14.     if not os.path.exists(path):
    
15.         os.makedirs(path)
    
16. else:
    
17.     path = ""
    
18. 
    
19. headers = {"User-Agent":"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36"}
    
20. 
    
21. 
    
22. url1 = "http://www.twse.com.tw/ch/trading/fund/T86/T86.php"
    
23. payload1 = {"download": "csv",
    
24.             "qdate": mydate2,
    
25.             "select2": "ALLBUT0999",
    
26.             "sorting": "by_issue"}
    
27. 
    
28. res1 = requests.post(url1, headers=headers, data=payload1, stream=True)
    
29. 
    
30. fName1 = path + mydate.replace("/","") + ".csv"
    
31. 
    
32. with open(fName1, 'wb') as f1:
    
33.     for chunk in res1.iter_content(1024):
    
34.         f1.write(chunk)
    
35. 
    
36. 
    
37. url3 = "http://www.tpex.org.tw/web/stock/3insti/daily_trade/\
    
38. 3itrade_hedge_download.php?l=zh-tw&se=EW&t=D&d=" + mydate2 + "&s=0,asc,0"
    
39. 
    
40. res3 = requests.get(url3, headers=headers, stream=True)
    
41. 
    
42. fName3 = path + "BIGD_" + mydate2.replace("/","") + ".csv"
    
43. 
    
44. with open(fName3, 'wb') as f3:
    
45.     for chunk in res3.iter_content(1024):
    
46.         f3.write(chunk)
    
47. 
    
48. 
    
49. url2 = "http://www.twse.com.tw/ch/trading/exchange/MI_INDEX/MI_INDEX.php"
    
50. payload2 = {"download": "csv",
    
51.             "qdate": mydate2,
    
52.             "selectType": "ALLBUT0999"}
    
53. 
    
54. res2 = requests.post(url2, headers=headers, data=payload2,stream=True)
    
55. 
    
56. fName2= path + "A11" + mydate.replace("/","") + ".csv"
    
57. 
    
58. with open(fName2, 'wb') as f2:
    
59.     for chunk in res2.iter_content(1024):
    
60.         f2.write(chunk)
    
61.         
    
62. 
    
63. url4 = "http://www.tpex.org.tw/web/stock/aftertrading/otc_quotes_no1430/\
    
64. stk_wn1430_download.php?l=zh-tw&d=" + mydate2 + "&se=EW&s=0,asc,0"
    
65. 
    
66. res4 = requests.post(url4, headers=headers, data=payload2,stream=True)
    
67. 
    
68. fName4 = path + "SQUOTE_EW_" + mydate2.replace("/","") + ".csv"
    
69. 
    
70. with open(fName4, 'wb') as f4:
    
71.     for chunk in res4.iter_content(1024):
    
72.         f4.write(chunk)

複製代碼

VBALearner

回復 1# zyzzyva

等一下!!!乾~~~這太猛了吧O___Q 居然過了一段時間...還有人再研究我的主題，有關如何下載的內容......只能說感動T___T
小弟我原本想再丟一個開發到一半的籌碼資料整理檔，內附選股表單功能與進場績效紀錄功能，和Z大共襄盛舉重啟這個主題並分享其所學，但礙於上傳限制(1MB)，只好作罷，以文字交流之(嘆~)
Z大高手!!! 小弟我最近剛好也開始想學最近很火紅的Python，只不過還在摸索階段，畢竟市面上有關Py的書不多，不像VBA這種算是熱門又簡單的書籍...Z大真是勾起我對Pyhton程式的莫大興趣>w<!!! 可以請教您，幾個問題嗎? 第一，這個執行檔是全部都用Python寫的嗎?!! 您貼上來的程式碼是用Python寫的嗎? 還是Py與VBA兩者結合呢?!(看起來不像有參雜VBA語法...我幾乎看不懂xD，您於文初雖然有簡單說明，但小弟我還是甭琢磨了，先一旁玩沙去~) 。第二，您是如何學習Py的xD? 是自學、上課、還是有類似的論壇呢?  期望能站在Z大的肩膀上學習邁進OwO!!!

zyzzyva

回復 2# VBALearner
您過獎了。這個是python的code，如果沒有安裝python，可以下載執行檔，再在vba裡用shell的方式執行。
抓網路資料方面python還滿好用的，網路上資源很多，我也是為了抓資料東學一點西學一點，拿別人的東西修修改改。找時間再補上註解，應該會比較清楚。

clianghot546

版大
您的檔案下載後，執行getTwseOtc.exe後沒有反應，可以再說明清楚一點嗎?
謝謝

c_c_lai

回復 3# zyzzyva
檢查目錄內之檔案內容如圖示：

下載 (26.24 KB)

2016-8-18 16:01

clianghot546

回復 5# c_c_lai

再重新下載解壓縮後可正常執行
TKS
研究PYTHON中~~

zyzzyva

回復 5# c_c_lai

應該是因為我沒有處理時間(下載的日期是直接取當日的日期)，如果是資料還沒出來的時候執行下載就會出現問題。
請在傍晚的時間再試試看。

c_c_lai

回復 7# zyzzyva
剛剛我試了一下，OK 了。
請教一下我有下載 Python35 但是還需要怎樣的模組
條件下，才能完整執行你附上的 .py 檔呢？
Python 是有練習過，但無實務作業經驗，
還請多多指教！

zyzzyva

回復 1# zyzzyva
補上註解。

1. #匯入模組(requests需另外安裝，也可使用urllib2)
   
2. import requests
   
3. import time
   
4. import os
   
5. 
   
6. #取得當前日期
   
7. mydate = time.strftime("%Y/%m/%d")
   
8. 
   
9. #將西元年轉為民國年
   
10. year = str(int(mydate[0:4])-1911)
    
11. 
    
12. #將民國年取代日期中之西元年
    
13. mydate2 = mydate.replace(mydate[0:4],year)
    
14. 
    
15. #os.getcwd()取得當前路徑
    
16. setting = os.getcwd() + "\\" + "path.ini"
    
17. 
    
18. #檢查path.ini是否存在，若有則將csv存檔之路徑讀入
    
19. if os.path.exists(setting):
    
20.     with open(setting, 'r') as r:
    
21.         path = r.read()
    
22.     #若csv存檔之資料夾不存在則建立資料夾
    
23.     if not os.path.exists(path):
    
24.         os.makedirs(path)
    
25. 
    
26. #若path.ini不存在則將path設為空字串
    
27. else:
    
28.     path = ""
    
29. 
    
30. #設定header
    
31. headers = {"User-Agent":"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36"}
    
32. 
    
33. #設定url
    
34. url1 = "http://www.twse.com.tw/ch/trading/fund/T86/T86.php"
    
35. 
    
36. #設定post查詢之資料
    
37. payload1 = {"download": "csv",
    
38.             "qdate": mydate2,
    
39.             "select2": "ALLBUT0999",
    
40.             "sorting": "by_issue"}
    
41. 
    
42. #發出request並將網站回覆之資料存入res1變數中
    
43. res1 = requests.post(url1, headers=headers, data=payload1, stream=True)
    
44. 
    
45. #設定csv檔案之路徑與檔名
    
46. fName1 = path + mydate.replace("/","") + ".csv"
    
47. 
    
48. #將res1的資料寫入csv中
    
49. with open(fName1, 'wb') as f1:
    
50.     for chunk in res1.iter_content(1024):
    
51.         f1.write(chunk)

複製代碼

zyzzyva

回復 8# c_c_lai
只要安裝requests就可以了。