123456
返回列表 上一主題 發帖

[原創] python上市櫃三大法人買賣超日報資料下載

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
21# 跳轉到 »
發表於 2016-9-10 21:55 | 顯示全部帖子
前幾天c大回覆的時候有貼了vba的code，讓我想到如果找一些在excel版的問題用python試做看看，也許有興趣的朋友可以相互參照。
抓資料很多問題想起來不困難，但像我都只做簡單的應用，經驗有限，真要做比較完整的資料爬取，撞牆的細節問題想必非常多。
最近比較有時間，剛好趁這個機會練習一下。歡迎版上的朋友一起研究討論，如果有其他使用python的前輩，也請不吝給我一些提點跟建議。
一開始我想就從這篇開始http://forum.twbts.com/thread-18259-1-2.html。
GBKEE版大已經用vba提供了很好的解決方案，但若是想換個口味還是可以用python試試看把資料爬取下來。

網址網址：http://church.oursweb.net/slocation.php?w=1&c=TW&a=&t=&p=
Screenshot_1.png
2016-9-10 21:08

網頁看起來沒有什麼奇奇怪怪的javascript，如果只是要抓圖片中的簡易資料，那只要：
  1. #準備工具
  2. import requests
  3. from bs4 import BeautifulSoup

  5. #建立一個session
  6. s = requests.session()

  8. for i in range(11,14):
  9.     #網址變動的只有最後一個數字，共286頁，用range(1,287)就可以把所有數字跑過一次
  10.     #測試時請不要跑太多頁，用(1,3)、(11,14)、(280,283)之類的就好
  11.     url = 'http://church.oursweb.net/slocation.php?w=1&c=TW&a=&t=&p=' + str(i)
  12.     res = s.get(url)
  13.     #若收到的res文字為亂碼就加個encoding
  14.     res.encoding = 'utf-8'
  15.     soup = BeautifulSoup(res.text, 'lxml')
  16.         
  17.     #取得資料，我們要的資料都存在這兩種tr裡   
  18.     data = soup.find_all('tr',['tb__a', 'tb__b'])

  20.     #將資料印出
  21.     for d in data:
  22.         print(d.text)
  23.         
  24.     i += 1
複製代碼
那如果要收集詳細資料呢？那就要取得每頁裡的各個教會的連結，一個一個進去爬取。

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
22#
發表於 2016-9-11 08:04 | 顯示全部帖子
本帖最後由 zyzzyva 於 2016-9-11 08:06 編輯

回復 62# c_c_lai
石沉大海...因為真的沒有資料XD
不知道為啥程式碼貼上的時候論壇系統會修改，下面這段
data = soup.find_all('tr',['tb__a', 'tb__b'])，應該是
Screenshot_2.png
2016-9-11 08:05

修改一下應該就正常了。

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
23#
發表於 2016-9-11 08:42 | 顯示全部帖子
本帖最後由 zyzzyva 於 2016-9-11 08:45 編輯

到這邊離GBKEE版大爬到的詳細資料還有相當距離。
我們的下一步應該是要取得頁面中各教會的連結：
  1. import requests
  2. from bs4 import BeautifulSoup

  4. s = requests.session()

  6. for i in range(11,13):
  7.     url = 'http://church.oursweb.net/slocation.php?w=1&c=TW&a=&t=&p=' + str(i)
  8.     res = s.get(url)
  9.     res.encoding = 'utf-8'
  10.     soup = BeautifulSoup(res.text, 'lxml')

  12. #--------下面改成這樣以取出頁面中各教會的連結
  13.     for d in soup.select('a[href^="church.php?pkey"]'):
  14.             myUrl = 'http://church.oursweb.net/' + d.get('href')
  15.             print(myUrl)    #先把連結印出來測試一下
  16.             #get_detail(myUrl,s) 之後用個function處理頁面中的資料
  17.     i += 1
複製代碼
再來就是要弄個function，看了一下網頁，這裡應該是比較麻煩的地方。

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
24#
發表於 2016-9-11 08:43 | 顯示全部帖子
回復 64# c_c_lai
這個我會做比較完整的，目標是像GBKEE版大抓下來的各教會的詳細資料。

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
25#
發表於 2016-9-11 10:38 | 顯示全部帖子
本帖最後由 zyzzyva 於 2016-9-11 10:41 編輯

因為最後希望能輸出到csv(準備使用csv module的dictwriter，以key:value的方式寫入)，所以要先把資料處理好。
試著直接把資料印出來
Screenshot_1.png
2016-9-11 10:02

好像還可以。那試著把資料放到list裡看看
Screenshot_2.png
2016-9-11 10:03

還真是醜，應該是因為全部的資料都在同一個td裡，中間又有空白、換行，實在不知道從何處理起。
Screenshot_3.png
2016-9-11 10:13

換個方式先把字串取出來，順便把空白去掉，看起來好多了，是我能夠處理的資料了。
(這樣要多一個list，感覺有點繞路，應該有更好的處理方式，不過暫時沒想出來，先能work再說)
因為最後希望得到的是[ {dic1},{dic2},{'建檔 ID'：'811223', '分類'：'教育訓練' ,...}, {dic4}....]的格式，所以還有一些問題：
1、'回報資料錯誤 ' 不是我們要的，
2、'電郵'、'網址'等有中斷，實際資料跑到list的下一個元素去了。(其實還有宗派、母會，每個教會的資料有些許不同)
先準備幾個資料：一個空的字典(dictionary)、2個空的串列(list)，這個要在function外面。
myDict = {}
myList = []
tmpList = []
  1. def get_detail(url, s):
  2.     print(url)
  3.     res = s.get(url)
  4.     res.encoding = 'utf-8'
  5.     soup = BeautifulSoup(res.text, 'lxml')
  6.     detail = soup.find_all('td', 'church_detail')
  7.     for ddd in detail[0].stripped_strings:
  8.         if '回報資料錯誤 >' in ddd:
  9.         #如果字串是 '回報資料錯誤 >'，不動作，直接進入下一次迴圈
  10.             continue         
  11.         else:
  12.             tmpList.append(ddd)  #其他的都放進tmpList裡

  14.     for i, s in enumerate(tmpList):
  15.         if s == "":
  16.          #如果是空字串，不動作，直接進入下一次迴圈
  17.             continue         
  18.         elif any(x in s for x in ['電郵', '網址', '宗派', '母會']):
  19.          #如果是'電郵', '網址', '宗派', '母會'其中之一，將其去除'：'後做為key值，tmpList的下一個元素做為value，新增至myDict
  20.             myDict[s.replace('：', '')] = tmpList[i+1]   
  21.         else:                                                                        
  22.             try:
  23.                 myDict[s.split('：')[0]] = s.split('：')[1]
  24.           #其他的以'：'分割，前部做為key值，後部做為value，新增至myDict  
  25.             except:
  26.           #如果有例外，跳過不處理
  27.                 pass
  28.           #將myDict整個放到myList裡                                               
  29.     myList.append(myDict)
複製代碼
這樣get_detail應該就差不多完成了，下午有空再來測試一下。

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
26#
發表於 2016-9-11 10:44 | 顯示全部帖子
加了註解變得有點亂，附一個純code的。
  1. def get_detail(url, s):
  2.     print(url)
  3.     res = s.get(url)
  4.     res.encoding = 'utf-8'
  5.     soup = BeautifulSoup(res.text, 'lxml')
  6.     detail = soup.find_all('td', 'church_detail')
  7.     for ddd in detail[0].stripped_strings:
  8.         if '回報資料錯誤 >' in ddd:
  9.             continue
  10.         else:
  11.             tmpList.append(ddd)

  13.     for i, s in enumerate(tmpList):
  14.         if s == "":
  15.             continue
  16.         elif any(x in s for x in ['電郵', '網址', '宗派', '母會']):
  17.             myDict[s.replace('：', '')] = tmpList[i+1]
  18.         else:
  19.             try:
  20.                 myDict[s.split('：')[0]] = s.split('：')[1]
  21.             except:
  22.                 pass
  23.     myList.append(myDict)
複製代碼

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
27#
發表於 2016-9-11 17:36 | 顯示全部帖子
回復 70# c_c_lai
Screenshot_4.png
2016-9-11 17:31

tmpList沒有定義。
要記得在function外面加上：
myDict = {}
myList = []
tmpList = []
然後那個print(myUrl)可以註解掉。

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
28#
發表於 2016-9-11 17:59 | 顯示全部帖子
回復 73# c_c_lai
跟get_detail放的位子也有關係(call function的時候python就會去找，如果還沒定義就會有問題)。
改了一個bug(之前會址沒處理到)，加上輸出的部份。
目前的code我整理了一下，您用這個再測試看看。
  1. import requests
  2. from bs4 import BeautifulSoup
  3. import csv


  6. def get_detail(url, s):
  7.     print(url)
  8.     res = s.get(url)
  9.     res.encoding = 'utf-8'
  10.     soup = BeautifulSoup(res.text, 'lxml')
  11.     detail = soup.find_all('td', 'church_detail')
  12.     for ddd in detail[0].stripped_strings:
  13.         if '回報資料錯誤 >' in ddd:
  14.             continue
  15.         else:
  16.             tmpList.append(ddd)

  18.     for i, s in enumerate(tmpList):
  19.         if s == "":
  20.             continue
  21.         elif any(x in s for x in ['電郵', '網址', '宗派', '母會']):
  22.             myDict[s.replace('：', '')] = tmpList[i+1]
  23.         elif '會址' in s:
  24.             myDict[s.split('：')[0]] = (s.split('：')[1] + tmpList[i+1])
  25.         else:
  26.             try:
  27.                 myDict[s.split('：')[0]] = s.split('：')[1]
  28.             except:
  29.                 pass
  30.     myList.append(myDict)


  33. myDict = {}
  34. myList = []
  35. tmpList = []
  36. s = requests.session()

  38. for i in range(1, 2):
  39.     url = 'http://church.oursweb.net/slocation.php?w=1&c=TW&a=&t=&p=' + str(i)
  40.     res = s.get(url)
  41.     res.encoding = 'utf-8'
  42.     soup = BeautifulSoup(res.text, 'lxml')

  44.     for d in soup.select('a[href^="church.php?pkey"]'):
  45.         myUrl = 'http://church.oursweb.net/' + d.get('href')
  46.         get_detail(myUrl,s)
  47.         myDict = {}

  49.     i += 1

  51. with open('gospel2.csv', 'a', new='', encoding='utf-8') as f:
  52.         fieldnames = ['建檔 ID', '中文名稱', '英文名稱', '分類', '宗派', '母會', '網址', '國別區域', '設立時間', '負責人', '電話', '傳真', '電郵', '會址', '通訊處']
  53.         w = csv.DictWriter(f, fieldnames)
  54.         w.writeheader()
  55.         w.writerows(myList)
複製代碼

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
29#
發表於 2016-9-11 18:24 | 顯示全部帖子
回復 75# c_c_lai
跟早上一樣的問題，不知道是bug還是有特殊原因，論壇不能輸入「線」的英文。
Screenshot_1.png
2016-9-11 18:23

這邊改一下應該就可以了。

TOP

zyzzyva

帖子
109 
主題
1 
精華
0 
積分
116 
點名
0  
作業系統
win7 
軟體版本
2007 
閱讀權限
20 
註冊時間
2016-8-4 
最後登錄
2018-10-22 

論壇榮譽勳章論壇贊助勳章
30#
發表於 2016-9-11 18:44 | 顯示全部帖子
本帖最後由 zyzzyva 於 2016-9-11 18:45 編輯

回復 77# c_c_lai
這樣應該是有work了，用excel開看看，如果是亂碼要用筆記本開起來存檔一下再重開。

TOP

        靜思自在 : 慈悲沒有敵人，智慧不起煩惱。
123456
返回列表 上一主題