ªð¦^¦Cªí ¤W¤@¥DÃD µo©«

python ¿Ä¸ê¿Ä¨é·JÁ` (¥þ³¡)"¸ê®Æ

¦^´_ 20# lpk187
«D±`·PÁ§Aªº¤À¨É¡A¤º®e«Ü´Î¡C
§Ú¦A¨Ó¦Û²ß¤@¤U¡C

TOP

¥»©«³Ì«á¥Ñ c_c_lai ©ó 2016-9-28 07:05 ½s¿è

¦^´_ 1# lpk187
½Ð°Ý¤j¤j¡G
rs.Open('select * from ªÑ²¼', Conn, 3, 3)
¥¦ªº·N²[¬°¦ó¡H
rs.Fields.Item(0).Value = regs[0][n]
rs.Fields.Item(1).Value = regs[1][n]
¤S¬°¦ó·N¡H
³Ìªñ»ä­·¤Ñ«K©âÂI®É¶¡¼¶¬ã¡AÁÂÁ§A¡I

TOP

¥»©«³Ì«á¥Ñ lpk187 ©ó 2016-9-28 11:07 ½s¿è

¦^´_ 22# c_c_lai


   ³o¬O§Úºô¸ô§ä¨ìªº¸ê®Æ ¡Aµ¹§A°Ñ¦Ò
http://www.asjh.tn.edu.tw/xuploa ... hap02/recordset.htm
Python»yªk©MVBA®t¤£¦h

¦Órs.Fields.Item(0).Value = regs[0][n]

rs.Fields.Item(0).Value ==> Fields:        ¬d¸ßµ²ªG¤¤Äæ¦ìª«¥óªº¶°¦X, (¤]´N¬O¤@­Ó¼È¦sªº§Ç¦C) ¡AItem(0)§Ç¦C¤¤²Ä¤@­Ó¶µ¥Ø(¤]¥i¥H¥Î¸ê®Æªíªº¶µ¥Ø¦WºÙ¡G¨Ò¦p¡GItem('ªÑ²¼¥N¸¹'))
regs[0][n] ¡G¬°ª¦¦^ªºªí®æªº°}¦C
¦b³o¤§«e¦³¥y rs.AddNew()  ¤]´N¬O·s¼W¤@¦C ¡A©Ò¥Hrs.Fields ´N¹³¬O¤@­Ó¤@ºû°}¦C¡A¬JµM¬O¤@ºû°}¦C¡A©Ò¥H¥¦ÁÙ¥u¬O¤@­Ó¼È¦sª«¥ó ©Ò¥H³Ì«á¡AÁÙ­nrs.Update()¤~·|¦s¤J¸ê®Æ®wªº¸ê®Æªí¤¤

TOP

¦^´_ 23# lpk187
Python ¦n¹³µLªk¤@¦æ¤@¦æ Debug¡H
©Ò¥H¤~·|¦³³o»ò¦hªº°ÝÃD¡A¤£¦n·N«ä¡I
ÁÂÁ§Aªº«ü¾É¡I

TOP

¦^´_ 24# c_c_lai
pycharm¸òvisual studio¦³³v¦æ°õ¦æªº¥\¯à¡A¥i¥H¸Õ¸Õ¬Ý¡C

TOP

¦^´_ 24# c_c_lai

²ßºD¤FVBAªº°Ï°ìÅܼƵøµ¡¡A¥H¤Î³v¨B°õ¦æ¨Ó°£¿ù¡A­è¨Ï¥Îpython ¯uªº«Ü¤£²ßºD¡A
¦³®É¡A¤ñ¦p»¡Åã¥Ü100¦æ¥X¿ù¡Aµ²ªG¬O¬Y¤@¦æªºÅܼƤº®e¼g¿ù¡A¯uªº«Ü¤£®e©ö°£¿ù
´N¦p zyzzyva ¤j¤j»¡ªº¡A¤]¥i¥H¥Îvisual studio¨Ó¼g¡A¦Ó¥B¥\¯à¤]ÆZ¦hªº

TOP

¥»©«³Ì«á¥Ñ c_c_lai ©ó 2016-9-28 17:29 ½s¿è

¦^´_ 26# lpk187
¦^´_ 25# zyzzyva
A0B.png
2016-9-28 17:27

¯u¶Ë¸£µ¬¡I

TOP

¦^´_ 19# c_c_lai

³o¦¸¬O¥HSQLite3 ¸ê®Æ®w¼g¦¨ªº¡A¨ä¥Îªk¡A©M ADODB¦³¨Ç³\ªº®t²§¡A¦]SQLite3¡A¬Opython ¤º«Ø¨ç¼Æ¡A©Ò¥H¤£¥Î¥t¸Ë
¨ä¤¤¦b¸ê®ÆÂ^¨ú¤è­±¡A¦]Â^¨ú¤U¨Óªº¸ê®Æ¡A¦³ªÅ¥Õ ¥H¤Î ¤d¤À¦ì²Å¸¹ "," ­Y¤£³B²z³o¨Ç¡Apython ·|²£¥Í³\¦h¿ù»~¡A³o¨Ç°ÝÃD¤]¤w³B²z
  1. #-*- coding:utf-8 -*-



  2. import requests
  3. from bs4 import BeautifulSoup
  4. import random
  5. import os
  6. import sqlite3
  7. import datetime
  8. import time

  9. # ÀH¾÷§ó§ï headers
  10. def head_random():
  11.       for i in range(10):
  12.             hs = ['Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',
  13.                    'Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; en-us) AppleWebKit/528.18 (KHTML, like Gecko) Version/4.0 Mobile/7A341 Safari/528.16',
  14.                    'Mozilla/5.0 (Linux; U; Android 4.1.2; zh-tw; GT-I9300 Build/JZO54K) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30',
  15.                    'Mozilla/5.0 (iPad; U; CPU OS 3_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B334b Safari/531.21.10'
  16.                    'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)']
  17.             hes = {"User-Agent":random.choice(hs)}
  18.       return hes

  19. # ¶°¥xÃҩҿĸê¿Ä¨é¾lÃB¥þ³¡¸ê®Æ
  20. def read_network_data(date,from_number):
  21.       url = 'http://www.twse.com.tw/ch/trading/exchange/MI_MARGN/MI_MARGN.php'
  22.       head =head_random()
  23.       payload = {"download":'',
  24.                  "qdate":date,
  25.                  "selectType":"ALL"}
  26.       res = requests.post(url, headers=head, data=payload)
  27.       soup=BeautifulSoup(res.text, "lxml")
  28.       tab = soup.select('tbody')[from_number] # 2­Óªí®æ¤§2
  29.       regs=[] # ªì©l°}¦C
  30.    
  31.       for i in range(len(tab.select('tr')[0].select('td'))): # ©w¸q2ºû°}¦Cºû«×
  32.             regs.append([])
  33.       n=0
  34.       for tr in tab.select('tr'): #Â^¨úªí®æ¸ê®Æ
  35.             for i in range(len(tab.select('tr')[0].select('td'))):
  36.                   if n==0 or n==1 or n==15:      #§â¤å¦r¦ê¤¤ªºªÅ¥Õ¤å¦r¥h°£±¼
  37.                         strs=tr.select('td')[i].text
  38.                         strs=str(strs.replace(' ',''))
  39.                         regs[i].append(strs)
  40.                   else:    # §â¼Æ¦r¤¤ªº¤d¤À²Å¸¹ "," ¥h°£±¼
  41.                         ints=tr.select('td')[i].text
  42.                         ints=str(ints.replace(',',''))
  43.                         regs[i].append(ints)
  44.                   n +=1
  45.             n=0
  46.       return regs


  47. def check_db_exists(regs):
  48.       if not os.path.exists('twsedata.db'):   # Àˬdtwsedata.db¬O§_¦s¦b(©M¦¹µ{¦¡½X¬Û¦Pªº¸ê®Æ§¨)
  49.             conn = sqlite3.connect('twsedata.db')  # ¦pªG¨S¦³¡A´N«Ø¥ß¤@­ÓªÅ¥Õ¸ê®Æ®w¡A(sqlite3.connect) ¤]¬O³sµ²»y¥y¡A¦³¸ê®Æ®w´N³sµ²¡A¨S¦³´N«Ø¥ß
  50.             sql = "CREATE TABLE ªÑ²¼(ªÑ²¼¥N¸¹  char(10) PRIMARY KEY,ªÑ²¼¦WºÙ  char(20));"
  51.             conn.execute(sql) #¦b·s¸ê®Æ®w«Ø¥ßªÅ¥Õ¸ê®Æªí (ªÑ²¼)
  52.             sql = "CREATE TABLE  ¿Ä¸ê¿Ä¨é«H¥Î¥æ©ö²Î­p( \
  53.                                                         ¤é´Á  datetime, \
  54.                                                         ¶µ¥Ø  char(20), \
  55.                                                         ¶R¶i INTEGER, \
  56.                                                         ¶R¥X INTEGER, \
  57.                                                         ²{ª÷¡]¨é¡^ÀvÁÙ INTEGER, \
  58.                                                         «e¤é¾lÃB INTEGER, \
  59.                                                         ¤µ¤é¾lÃB INTEGER);"
  60.             conn.execute(sql) #¦b·s¸ê®Æ«Ø¥ß ªÅ¥Õ¸ê®Æªí(¿Ä¸ê¿Ä¨é«H¥Î¥æ©ö²Î­p)
  61.             conn.commit() # Àx¦s
  62.             conn.close() #Ãö³¬
  63.             
  64.       n=0
  65.       conn = sqlite3.connect('twsedata.db') # conn©M¤W¤@­Ó if ..¤¤ªº conn¬O¤£¤@¼Ëªº ¡A¤W¤@­Ó¬O¨S¦³¸ê®Æ®w®É¤~§@¥Î¡A¬°§½³¡ÅܼƦӦ¹³B¡A«h¬°¥H¤U¨Ï¥Îªº¥þ§½ÅܼÆ
  66.       for i in regs[0]:  #¥Hª¦¦^¨Óªº¸ê®Æ°}¦Cªº²Ä¤@¦C¬°°j°é
  67.             try:      #¥ý¹Á¸Õ¬d¸ß i Åܼƪº¸ê®Æªí¬O§_¦s¦b¡A­Y¬O¤£¦s¦b·|µo¥X Exception ªº¿ù»~°T®§
  68.                   c = conn.cursor()
  69.                   sql = "select * from [" + i + "]"
  70.                   c.execute(sql) # table does not exist
  71.                   c.close()
  72.             except Exception as e:  #·ítry µo¥X¿ù»~°T®§(¤]´N¬OŪ¤£¨ì  i ¸ê®Æªí)¡A¦¹®É«Ø¥ß¤@­Ó i ¸ê®Æªí
  73.                   c = conn.cursor()
  74.                   sql="CREATE TABLE [" + i + "](¤é´Á  DATETIME PRIMARY KEY, \
  75.                                                                               ¸ê¶R¶i  INTEGER, \
  76.                                                                               ¸ê½æ¥X INTEGER, \
  77.                                                                               ¸ê²{ª÷ÀvÁÙ INTEGER, \
  78.                                                                               ¸ê«e¤é¾lÃB INTEGER, \
  79.                                                                               ¸ê¤µ¤é¾lÃB INTEGER, \
  80.                                                                               ¸ê­­ÃB INTEGER, \
  81.                                                                               ¨é¶R¶i  INTEGER, \
  82.                                                                               ¨é½æ¥X INTEGER, \
  83.                                                                               ¨é²{ª÷ÀvÁÙ INTEGER, \
  84.                                                                               ¨é«e¤é¾lÃB INTEGER, \
  85.                                                                               ¨é¤µ¤é¾lÃB INTEGER, \
  86.                                                                               ¨é­­ÃB INTEGER, \
  87.                                                                               ¸ê¨é¤¬©è INTEGER, \
  88.                                                                               µù°O char(5));"
  89.                   c.execute(sql) #«Ø¥ß i ¸ê®Æªí
  90.                   sql="INSERT INTO ªÑ²¼(ªÑ²¼¥N¸¹, ªÑ²¼¦WºÙ) \
  91.                   VALUES ('" + regs[0][n] + "','" + regs[1][n] + "');"
  92.                   c.execute(sql)  # ¦bªÑ²¼¸ê®Æªí¤¤¼g¤JªÑ²¼¥N¸¹¡BªÑ²¼¦WºÙ
  93.                   c.close() # Ãö³¬ c ª«¥ó
  94.             n += 1
  95.       conn.commit()
  96.       conn.close()
  97. def add_data(regs,date):
  98.       conn = sqlite3.connect('twsedata.db')
  99.       for i in range(len(regs[0])):
  100.             try: #Àˬd¬Y¤é´Á¬O§_¦s¦b©ó¸ê®Æªí¤¤¡A·í¬Y¤é´Á¦s¦b®É¡A¸õÂ÷³o¦¸ªº´`Àô¡A³o¸Ì«üªº¶È¬O³o¦¸¡A¤£¬O¸õÂ÷ for
  101.                   c = conn.cursor()
  102.                   sql="SELECT * FROM [" + regs[0][i] + "] WHERE ¤é´Á = '" + date + "';"
  103.                   c.execute(sql)
  104.                   c.close()
  105.             except Exception as e: #·í¤é´Á¤£¦s¦b®É¡A¼g¤J¸ê®Æ¨ì¸ê®Æªí¤¤
  106.                   c = conn.cursor()
  107.                   # ¤é´Á®æ¦¡¡A¦bsqlite3¤¤¡A¬O¥H¤å¦r«¬ºA¦s¤J¡AÁöµM¦³´£¨ÑDATETIME¡A¦ý«D¥H¤é´Á«¬ºA¦s¤J¡A¤é«á´£¥X¡A¶â¡I»Ý¦A°Ñ¾\sqlite3ªº¤é´Á³B²z
  108.                   
  109.                   sql="INSERT INTO [" + regs[0][i] + "](¤é´Á,¸ê¶R¶i,¸ê½æ¥X,¸ê²{ª÷ÀvÁÙ,¸ê«e¤é¾lÃB, \
  110.                                                                                          ¸ê¤µ¤é¾lÃB,¸ê­­ÃB,¨é¶R¶i,¨é½æ¥X,¨é²{ª÷ÀvÁÙ, \
  111.                                                                                          ¨é«e¤é¾lÃB,¨é¤µ¤é¾lÃB,¨é­­ÃB,¸ê¨é¤¬©è,µù°O) \
  112.                                                                        VALUES('" + date + "'," + regs[2][i] + "," + regs[3][i] + ", \
  113.                                                                                           " + regs[4][i] + ",  " + regs[5][i] + "," + regs[6][i] + ", \
  114.                                                                                           " + regs[7][i] + "," + regs[8][i] + ",  " + regs[9][i] + ", \
  115.                                                                                           " + regs[10][i] + "," + regs[11][i] + "," + regs[12][i] + ", \
  116.                                                                                           " + regs[13][i] + "," + regs[14][i]+ ",'" + regs[15][i] + "') ;"
  117.                   c.execute(sql)
  118.                   c.close()
  119.             else:
  120.                    break
  121.       conn.commit()
  122.       conn.close()

  123. # ¥H¤U¬°µ{¦¡ªº±Ò©lÂI¡G
  124. StartDate=input('½Ð¿é¤J¶}©lÂ^¨ú¤é´Á(¦è¤¸¤é´Á¦p¡G2016/1/1)¡G')
  125. EndDate=input('½Ð¿é¤Jµ²§ôÂ^¨ú¤é´Á(¦è¤¸¤é´Á¦p¡G2016/1/31)¡G')
  126. #³B²z¤é´ÁÁÙ¯uªº«Ü³Â·Ð
  127. ts=time.time()
  128. StartDate = time.strptime(StartDate, "%Y/%m/%d")
  129. EndDate =time.strptime(EndDate, "%Y/%m/%d")
  130. StartDate = datetime.date(StartDate[0], StartDate[1], StartDate[2])
  131. EndDate =  datetime.date(EndDate[0], EndDate[1], EndDate[2])
  132. RangeDate = datetime.timedelta(days = 1)
  133. while StartDate <= EndDate:
  134.       yy,mm,dd=str(StartDate).split('-')
  135.       dat=datetime.datetime(int(yy), int(mm), int(dd))
  136.       dd=dat.strftime('%Y/%m/%d')
  137.       year=str(int(dd[0:4])-1911)
  138.       date=dd.replace(dd[0:4], year)
  139.       print('¥Ø«e°õ¦æºô¸ôÂ^¨ú',date ,'¤éªº¸ê®Æ¡A½Ðµy«á...')
  140.       re=read_network_data(date,1)
  141.       if re[0][0]=='¬dµL¸ê®Æ':
  142.             print(date,'¤é¡A¥i¯à¬°¥ð¥«¤é¡A¬dµL¸ê®Æ¡C')
  143.             StartDate = StartDate + RangeDate
  144.             continue
  145.       print('Àˬd¬O§_¦³·sªÑ²¼¥[¤J¡A½Ðµy«á...')
  146.       check_db_exists(regs=re)
  147.       print('±N¸ê®Æ¼g¤J¸ê®Æ®w¤¤¡A½Ðµy«á...')
  148.       add_data(regs=re,date=dd)
  149.       StartDate = StartDate + RangeDate
  150.       te = time.time()
  151.       print('ºI¦Ü¥Ø«e¡A®É¶¡¤w¯Ó¶O¡G', int(te - ts),'¬í')

  152. print('°õ¦æ§¹²¦¡I')
½Æ»s¥N½X

TOP

¦^´_ 28# lpk187
´ú¸Õ«áµ²ªG¡A¦pµe­±¡G
A0B.png
2016-9-29 07:42

§Ú¤]¹ï§ï¥Î Sqlite 3 ¸ê®Æ®w·P¨ì¿³½ì¡A
§Ú¦A¨Ó¦n¦n¬ã¨s¤@µf¡AÁÂÁ§A¡I

TOP

¦^´_ 28# lpk187
¸gÀˬd¸ê®Æ®w¸Ìªº¸ê®Æ¿ý¬°¹s¡C
A0D.png
2016-9-29 07:56

TOP

        ÀR«ä¦Û¦b : µoµÊ®ð¬Oµu¼ÈªºµoºÆ¡C
ªð¦^¦Cªí ¤W¤@¥DÃD