返回列表 上一主題 發帖

[發問] 用Selenium 抓上市行情即時資料 ???

回復  quickfixer


    超過119支後面的股票就沒資料,但程式可以跑完
第167支,網頁出錯沒資料,所以程 ...
quickfixer 發表於 2022-10-23 20:52

singo1232001兄 用 Selenium 最新修改940都可以正常跑完 ???

TOP

回復  quickfixer


    大改
可能有很多bug 需要測試
singo1232001 發表於 2022-10-23 22:53


抱歉,30樓的文作廢 (系統不給編輯刪除)
我剛又測試,應該是完美無缺了,感謝您熱心教導

TOP

本帖最後由 singo1232001 於 2022-10-24 12:59 編輯

回復 32# t8899


加入了自動更新selenium chromedriver的功能

    https://drive.google.com/drive/folders/1usKHGwtAZ1oJENT-DYzwrZH90HOo_6TV?usp=sharing
    (舊版的chromedrive.exe  測試更新會卡住狀況) 檔案過大 丟到雲端


另外 盤中高峰期 它們api 可能會會出現 卡超過15~20秒的情況
也可能是短期間 快速查詢(940/140 = 7次) 造成api異常
可能會被暫時ban IP 建議不要940全跑 或者 短期間跑太多次

seleniumdownload v7.zip (83.39 KB)

TOP

回復 33# singo1232001

seleniumdownload v8.zip (277.67 KB)

TOP

回復 34# singo1232001


    再優化一下

seleniumdownload v9.zip (304.84 KB)

TOP

回復  singo1232001


    再優化一下
singo1232001 發表於 2022-10-24 14:50

辛苦了,感謝

TOP

本帖最後由 quickfixer 於 2022-10-25 02:43 編輯

回復 31# t8899


    xmlhttp,940支版,我是用120一組,140用在xml偶爾會失敗
twbts(v2).zip (146.85 KB)
可是有缺點,2327、1316,這2支全空白的
xmlhttp不會回傳資料(如下圖),msgarray直接空白,連股號都沒有
所以跟Selenium比起來會少2支,一樣查詢太快會擋ip,測試時被擋好幾次
我是覺的啦,要一直抓即時資料,改用股票軟體的dde會比較好

TOP

回復  t8899


    xmlhttp,940支版,我是用120一組,140用在xml偶爾會失敗

可是有缺點,2327、1316,這 ...
quickfixer 發表於 2022-10-25 02:35

2327、1316 這兩隻我查了一下,昨天是沒成交的,所以算正常
一次只能連167 隻,這個就沒辦法,網站的限制,一次連續連太多次會被鎖ip,這點我會注意,謝謝

TOP

回復 38# t8899


    這網站api好像有2種限制

1種是次數限制  我用兩支股票 手動複製網址 大概連續秒查30次(不到一分鐘) 就被踢
1種是數量限制  940隻(6~7次) 可能要40秒才能做一次  懷疑是 一分鐘限制查8次 或者 一分鐘內 限制不能超過1000隻 (會累計扣掉剩餘用量)

TOP

本帖最後由 t8899 於 2022-10-25 19:30 編輯
回復  t8899


    這網站api好像有2種限制

1種是次數限制  我用兩支股票 手動複製網址 大概連續秒查 ...
singo1232001 發表於 2022-10-25 17:47

我發現這網站並沒有5秒更新一次,多少秒不太確定,應該不會低於30秒,所以設10秒抓一次,啟動後抓第2次,儲存格的值是不會動的
如何得知?
我是用台積電測,因為這種熱門股每秒都在搓合成交(從證商app的個股走勢明細可看出),看抓下來的v總量的值有沒有增加,就知道了
一次只能查166隻?這是quickfixer兄測的
還有詢問證交所 ===>盤中即時行情裡的成交價幾乎都是 "-"這個符號 ? 他的回答如下圖

TOP

        靜思自在 : 君子為目標,小人為目的。
返回列表 上一主題