返回列表 上一主題 發帖

python 融資融券彙總 (全部)"資料

python 融資融券彙總 (全部)"資料

還不會製作執行檔!其內容僅供參考之
  1. #-*- coding:utf-8 -*-

  2. '''
  3. 本程序由 Python 3.52 寫成,為作者參考麻辣家族討論區 "python上市櫃三大法人買賣超日報資料下載" 討論內容練習
  4. 其內容大部份參考 zyzzyva大大、c_c_lai 大大 、koshi0413 之討論內容,感謝!
  5. 本程序會自動生成 Access 的 twsedata.mdb資料庫,及建立各所需之資料表,但只能下載"融資融券彙總 (全部)"資料
  6. ㄟ!沒有信用交易統計資料 ,只建立其資料表
  7. 本程序需要 pip 安裝 requests 、BeautifulSoup4、pypyodbc
  8. 以及需下載 pywin32 : https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
  9. 使用方法:只在 input 時 ,輸入開始擷取日期及結束擷取日期即可,第一次執行時,會建構資料庫,而後只增加資料,
  10. 每日資料擷取到儲存至資料庫的時間約 21秒(依作者電腦執行計時 )
  11. 本程序僅供參考,不負責更新內容,不負責除錯(因為我也是新手,除錯對我來說太#%%$...),搞壞使用者電腦,也不關作者的事!!
  12. 作者:麻辣家族討論區 lpk187
  13. 完成日期:2016/9/22
  14. '''

  15. import requests
  16. from bs4 import BeautifulSoup
  17. import random
  18. import os
  19. import win32com.client
  20. import pypyodbc
  21. import datetime
  22. import time

  23. # 隨機更改 headers
  24. def head_random():
  25.       for i in range(10):
  26.             hs = ['Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',
  27.                    'Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; en-us) AppleWebKit/528.18 (KHTML, like Gecko) Version/4.0 Mobile/7A341 Safari/528.16',
  28.                    'Mozilla/5.0 (Linux; U; Android 4.1.2; zh-tw; GT-I9300 Build/JZO54K) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30',
  29.                    'Mozilla/5.0 (iPad; U; CPU OS 3_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B334b Safari/531.21.10'
  30.                    'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)']
  31.             hes = {"User-Agent":random.choice(hs)}
  32.       return hes

  33. # 集台證所融資融券餘額全部資料
  34. def read_network_data(date,from_number):
  35.       url = 'http://www.twse.com.tw/ch/trading/exchange/MI_MARGN/MI_MARGN.php'
  36.       head =head_random()
  37.       payload = {"download":'',
  38.                  "qdate":date,
  39.                  "selectType":"ALL"}
  40.       res = requests.post(url, headers=head, data=payload)
  41.       soup=BeautifulSoup(res.text, "lxml")
  42.       tab = soup.select('tbody')[from_number] # 2個表格之2
  43.       regs=[] # 初始陣列
  44.    
  45.       for i in range(len(tab.select('tr')[0].select('td'))): # 定義2維陣列維度
  46.             regs.append([])

  47.       for tr in tab.select('tr'): #擷取表格資料
  48.             for i in range(len(tab.select('tr')[0].select('td'))):
  49.                   regs[i].append(tr.select('td')[i].text)
  50.       return regs

  51. def conn_db():
  52.       Conn = win32com.client.Dispatch("ADODB.Connection")
  53.       strMDB ='Provider=Microsoft.ACE.OLEDB.12.0; Data Source=' + os.getcwd() + '\\twsedata.mdb;'
  54.       Conn.ConnectionString = strMDB
  55.       Conn.Open()
  56.       return Conn

  57. def check_db_exists(regs):
  58.       if not os.path.exists('twsedata.mdb'):
  59.             pypyodbc.win_create_mdb( os.getcwd() + '\\twsedata.mdb')
  60.             Conn=conn_db()
  61.             sql = "CREATE TABLE 股票(股票代號  char(10) PRIMARY KEY,股票名稱  char(20));"
  62.             Conn.Execute(sql)
  63.             sql = "CREATE TABLE  融資融券信用交易統計(日期  datetime,項目  char(20),買進 INTEGER,買出 INTEGER,現金(券)償還 INTEGER,前日餘額 INTEGER,今日餘額 INTEGER);"
  64.             Conn.Execute(sql)
  65.       n = 0
  66.       Conn=conn_db()
  67.       for i in regs[0]:
  68.             try:
  69.                   Conn.Execute('select * from ' + i); # table does not exist
  70.             except Exception as e:
  71.                   sql="CREATE TABLE " + i + "(日期  datetime,"
  72.                   sql= sql + "資買進  INTEGER,"
  73.                   sql= sql + "資賣出 INTEGER,"
  74.                   sql= sql + "資現金償還 INTEGER,"
  75.                   sql= sql + "資前日餘額 INTEGER,"
  76.                   sql= sql + "資今日餘額 INTEGER,"
  77.                   sql= sql + "資限額 INTEGER,"
  78.                   sql= sql + "券買進  INTEGER,"
  79.                   sql= sql + "券賣出 INTEGER,"
  80.                   sql= sql + "券現金償還 INTEGER,"
  81.                   sql= sql + "券前日餘額 INTEGER,"
  82.                   sql= sql + "券今日餘額 INTEGER,"
  83.                   sql= sql + "券限額 INTEGER,"
  84.                   sql= sql + "資券互抵 INTEGER,"
  85.                   sql= sql + "註記 char(5));"
  86.                   Conn.Execute(sql)
  87.                   rs = win32com.client.Dispatch('ADODB.RecordSet')
  88.                   rs.ActiveConnection = Conn
  89.                   rs.Open('select * from 股票', Conn, 3, 3)
  90.                   rs.AddNew()
  91.                   rs.Fields.Item(0).Value = regs[0][n]
  92.                   rs.Fields.Item(1).Value = regs[1][n]
  93.                   rs.Update()
  94.             n += 1

  95. def add_data(regs,date):
  96.       Conn=conn_db()
  97.       for i in range(len(regs[0])):
  98.             rs = win32com.client.Dispatch('ADODB.RecordSet')
  99.             rs.ActiveConnection = Conn
  100.             sql='select * from ' + regs[0][i]
  101.             rs.Open(sql, Conn, 3, 3)
  102.             for j in range(2,len(regs)):
  103.                   if j==2:
  104.                         rs1 = win32com.client.Dispatch('ADODB.RecordSet')
  105.                         rs1.ActiveConnection = Conn
  106.                         sql="SELECT * FROM " + regs[0][i] + " WHERE 日期 = #" + date + "#;"
  107.                         rs1.Open(sql,Conn,3,3)
  108.                         if rs1.EOF:
  109.                               rs.AddNew()
  110.                               rs.Fields.Item(0).Value = date
  111.                               rs.Fields.Item(j-1).Value = regs[j][i]
  112.                               rs1.Close()
  113.                         else:
  114.                               rs1.Close()
  115.                               break
  116.                   rs.Fields.Item(j-1).Value = regs[j][i]
  117.             rs.Update()

  118. # 以下為程式的啟始點:
  119. StartDate=input('請輸入開始擷取日期(西元日期如:2016/1/1):')
  120. EndDate=input('請輸入結束擷取日期(西元日期如:2016/1/31):')
  121. #處理日期還真的很麻煩
  122. ts=time.time()
  123. StartDate = time.strptime(StartDate, "%Y/%m/%d")
  124. EndDate =time.strptime(EndDate, "%Y/%m/%d")
  125. StartDate = datetime.date(StartDate[0], StartDate[1], StartDate[2])
  126. EndDate =  datetime.date(EndDate[0], EndDate[1], EndDate[2])
  127. RangeDate = datetime.timedelta(days = 1)
  128. while StartDate <= EndDate:
  129.       yy,mm,dd=str(StartDate).split('-')
  130.       dat=datetime.datetime(int(yy), int(mm), int(dd))
  131.       dd=dat.strftime('%Y/%m/%d')
  132.       year=str(int(dd[0:4])-1911)
  133.       date=dd.replace(dd[0:4], year)
  134.       print('目前執行網路擷取',date ,'日的資料,請稍後...')
  135.       re=read_network_data(date,1)
  136.       if re[0][0]=='查無資料':
  137.             print(date,'日,可能為休市日,查無資料。')
  138.             StartDate = StartDate + RangeDate
  139.             continue
  140.       print('檢查是否有新股票加入,請稍後...')
  141.       check_db_exists(regs=re)
  142.       print('將資料寫入資料庫中,請稍後...')
  143.       add_data(regs=re,date=dd)
  144.       StartDate = StartDate + RangeDate
  145.       te = time.time()
  146.       print('截至目前,時間已耗費:', int(te - ts),'秒')

  147. print('執行完畢!')
複製代碼

回復 1# lpk187
太棒了!
先來試試看,謝謝囉!

TOP

回復 1# lpk187
請問 pypyodbc 如何下再安裝?
我安裝了 Anaconda 內附的 pyodbc 結果還是一樣。
A0B.png
2016-9-22 21:13

TOP

本帖最後由 lpk187 於 2016-9-22 22:04 編輯

回復 3# c_c_lai


    pypyodbc 和pyodbc是不同的,要下載pypyodbc 還是要在CMD 中下載
pip install pypyodbc


a.png
2016-9-22 21:59


pypyodbc 其用法我也不會,不過當時只看到一句指令就可以產生資料庫,所以我就下載了
其語法為    pypyodbc.win_create_mdb( os.getcwd() + '\\twsedata.mdb')

TOP

以下是我執行的過程:
a1.png
2016-9-22 22:33


a2.png
2016-9-22 22:33


a3.png
2016-9-22 22:33


a4.png
2016-9-22 22:33

TOP

本帖最後由 koshi0413 於 2016-9-23 00:00 編輯

厲害,小弟學習先,有問題在發問~

對了,先提問一下  acc 的資料查詢速度  跟  sqlite3 比較一下,何者快呢?

小弟是程式新手,所以什麼都不懂,會亂發問,請見諒嘿~~

TOP

回復 6# koshi0413


    查詢速度,應該和資料庫本身有很大的關係!Access本身,就只是個人電腦所使用的小小資料庫,
當然要處理像股市資訊的話,我不會推薦用Access ,雖然微軟號稱可達極限為2G,雖然我沒試過達到2G極限值的速度,
不過依我想大概算它10%好了,其速度大約就會有明顯的差異了。
還有各方模塊,都有其優勢,當我正在學習python時,有某個模塊的某函數比另外模塊的函數強時,我會用這個模塊,
當然,這只是指我目前正在學習階段的想法,(因為還不是很瞭解其函數用法)

TOP

回復 4# lpk187
Thanks a lot!
A0B.png
2016-9-23 07:59

TOP

回復 1# lpk187
哇,最近也想研究一下資料庫,剛好L大就發了這篇,3Q~

TOP

回復 5# lpk187
昨天測了一下, 從 2016/1/1 ~ 2016/9/22,
結果發現每筆資料只寫入到 2016/8/29。
這是正確嗎?
A0B.png
2016-9-24 10:29

A0D.png
2016-9-24 10:29

這實在是很棒的實用範例,再次謝謝你的分享!

TOP

        靜思自在 : 對父母要知恩,感恩、報恩。
返回列表 上一主題