1234567
返回列表 上一主題 發帖

[發問] 用Selenium 抓上市行情即時資料 ???

t8899

帖子
760 
主題
250 
精華
0 
積分
1023 
點名
0  
作業系統
windows 11 
軟體版本
OFFICE2021 
閱讀權限
50 
性別
男 
註冊時間
2011-5-30 
最後登錄
2024-11-28 
31# 跳轉到 »
發表於 2022-10-24 06:10 | 只看該作者
回復  quickfixer


    超過119支後面的股票就沒資料,但程式可以跑完
第167支,網頁出錯沒資料,所以程 ...
quickfixer 發表於 2022-10-23 20:52

singo1232001兄 用 Selenium 最新修改940都可以正常跑完 ???

TOP

t8899

帖子
760 
主題
250 
精華
0 
積分
1023 
點名
0  
作業系統
windows 11 
軟體版本
OFFICE2021 
閱讀權限
50 
性別
男 
註冊時間
2011-5-30 
最後登錄
2024-11-28 
32#
發表於 2022-10-24 09:55 | 只看該作者
回復  quickfixer


    大改
可能有很多bug 需要測試
singo1232001 發表於 2022-10-23 22:53


抱歉，30樓的文作廢 (系統不給編輯刪除)
我剛又測試，應該是完美無缺了，感謝您熱心教導

TOP

singo1232001
　暱稱: 熱狗慶

中學生Rank: 2

帖子
354 
主題
5 
精華
0 
積分
387 
點名
0  
作業系統
windows7 
軟體版本
vba,vb,excel2007 
閱讀權限
20 
性別
男 
註冊時間
2017-1-8 
最後登錄
2024-8-2 

論壇榮譽勳章論壇贊助勳章
33#
發表於 2022-10-24 12:45 | 只看該作者
本帖最後由 singo1232001 於 2022-10-24 12:59 編輯

回復 32# t8899


加入了自動更新selenium chromedriver的功能

    https://drive.google.com/drive/folders/1usKHGwtAZ1oJENT-DYzwrZH90HOo_6TV?usp=sharing
    (舊版的chromedrive.exe  測試更新會卡住狀況) 檔案過大 丟到雲端


另外 盤中高峰期 它們api 可能會會出現 卡超過15~20秒的情況
也可能是短期間 快速查詢(940/140 = 7次) 造成api異常
可能會被暫時ban IP 建議不要940全跑 或者 短期間跑太多次

seleniumdownload v7.zip (83.39 KB)

TOP

singo1232001
　暱稱: 熱狗慶

中學生Rank: 2

帖子
354 
主題
5 
精華
0 
積分
387 
點名
0  
作業系統
windows7 
軟體版本
vba,vb,excel2007 
閱讀權限
20 
性別
男 
註冊時間
2017-1-8 
最後登錄
2024-8-2 

論壇榮譽勳章論壇贊助勳章
34#
發表於 2022-10-24 13:08 | 只看該作者
回復 33# singo1232001

seleniumdownload v8.zip (277.67 KB)

TOP

singo1232001
　暱稱: 熱狗慶

中學生Rank: 2

帖子
354 
主題
5 
精華
0 
積分
387 
點名
0  
作業系統
windows7 
軟體版本
vba,vb,excel2007 
閱讀權限
20 
性別
男 
註冊時間
2017-1-8 
最後登錄
2024-8-2 

論壇榮譽勳章論壇贊助勳章
35#
發表於 2022-10-24 14:50 | 只看該作者
回復 34# singo1232001


    再優化一下

seleniumdownload v9.zip (304.84 KB)

TOP

t8899

帖子
760 
主題
250 
精華
0 
積分
1023 
點名
0  
作業系統
windows 11 
軟體版本
OFFICE2021 
閱讀權限
50 
性別
男 
註冊時間
2011-5-30 
最後登錄
2024-11-28 
36#
發表於 2022-10-24 19:09 | 只看該作者
回復  singo1232001


    再優化一下
singo1232001 發表於 2022-10-24 14:50

辛苦了，感謝

TOP

quickfixer

帖子
154 
主題
1 
精華
0 
積分
200 
點名
31  
作業系統
windwos 7 
軟體版本
64bit 
閱讀權限
20 
註冊時間
2017-5-29 
最後登錄
2024-11-28 
37#
發表於 2022-10-25 02:35 | 只看該作者
本帖最後由 quickfixer 於 2022-10-25 02:43 編輯

回復 31# t8899


    xmlhttp,940支版,我是用120一組,140用在xml偶爾會失敗
twbts(v2).zip (146.85 KB)
可是有缺點,2327、1316,這2支全空白的
xmlhttp不會回傳資料(如下圖),msgarray直接空白,連股號都沒有
所以跟Selenium比起來會少2支,一樣查詢太快會擋ip,測試時被擋好幾次
我是覺的啦,要一直抓即時資料,改用股票軟體的dde會比較好

TOP

t8899

帖子
760 
主題
250 
精華
0 
積分
1023 
點名
0  
作業系統
windows 11 
軟體版本
OFFICE2021 
閱讀權限
50 
性別
男 
註冊時間
2011-5-30 
最後登錄
2024-11-28 
38#
發表於 2022-10-25 05:47 | 只看該作者
回復  t8899


    xmlhttp,940支版,我是用120一組,140用在xml偶爾會失敗

可是有缺點,2327、1316,這 ...
quickfixer 發表於 2022-10-25 02:35

2327、1316 這兩隻我查了一下，昨天是沒成交的，所以算正常
一次只能連167 隻，這個就沒辦法，網站的限制，一次連續連太多次會被鎖ip，這點我會注意，謝謝

TOP

singo1232001
　暱稱: 熱狗慶

中學生Rank: 2

帖子
354 
主題
5 
精華
0 
積分
387 
點名
0  
作業系統
windows7 
軟體版本
vba,vb,excel2007 
閱讀權限
20 
性別
男 
註冊時間
2017-1-8 
最後登錄
2024-8-2 

論壇榮譽勳章論壇贊助勳章
39#
發表於 2022-10-25 17:47 | 只看該作者
回復 38# t8899


    這網站api好像有2種限制

1種是次數限制  我用兩支股票 手動複製網址 大概連續秒查30次(不到一分鐘) 就被踢
1種是數量限制  940隻(6~7次) 可能要40秒才能做一次  懷疑是 一分鐘限制查8次 或者 一分鐘內 限制不能超過1000隻 (會累計扣掉剩餘用量)

TOP

t8899

帖子
760 
主題
250 
精華
0 
積分
1023 
點名
0  
作業系統
windows 11 
軟體版本
OFFICE2021 
閱讀權限
50 
性別
男 
註冊時間
2011-5-30 
最後登錄
2024-11-28 
40#
發表於 2022-10-25 19:15 | 只看該作者
本帖最後由 t8899 於 2022-10-25 19:30 編輯
回復  t8899


    這網站api好像有2種限制

1種是次數限制  我用兩支股票 手動複製網址 大概連續秒查 ...
singo1232001 發表於 2022-10-25 17:47

我發現這網站並沒有5秒更新一次，多少秒不太確定，應該不會低於30秒，所以設10秒抓一次，啟動後抓第2次，儲存格的值是不會動的
如何得知?
我是用台積電測，因為這種熱門股每秒都在搓合成交(從證商app的個股走勢明細可看出)，看抓下來的v總量的值有沒有增加，就知道了
一次只能查166隻?這是quickfixer兄測的
還有詢問證交所 ===>盤中即時行情裡的成交價幾乎都是 "-"這個符號 ? 他的回答如下圖

TOP

        靜思自在 : 有願放在心裡，沒有身體力行，正如耕田不播種，皆是空過因緣。
1234567
返回列表 上一主題