返回列表 上一主題 發帖

[發問] 網頁資料很長，如何有效率地知道已完整進來

Scott090

帖子
533 
主題
58 
精華
0 
積分
613 
點名
260  
作業系統
win 10 
軟體版本
[] 
閱讀權限
50 
性別
男 
註冊時間
2013-3-19 
最後登錄
2026-10-31 

2025年全勤獎章2024年全勤獎章2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章論壇榮譽勳章論壇贊助勳章2015羊年全勤獎章熱烈參與勳章
1# 跳轉到 » 倒序看帖
打印
tT
發表於 2017-11-12 16:59 | 顯示全部帖子

[發問] 網頁資料很長，如何有效率地知道已完整進來

本帖最後由 Scott090 於 2017-11-12 17:01 編輯

'捲動網頁
'''' i 值太小，網頁資料會來不及進來；太大會浪費時間
''''   有何方法可以知道資料已進來齊全而停止；或其他方式取代本方法?
            i = 0
            While i < 50
                .Document.Parentwindow.scrollby 0, 10000 'Move,Scroll IE window down to bottom
                i = i + 1
            Wend

請問那一位前輩幫忙? 先謝謝

以下的例子是資料的長短多寡取決於日期期間的長短，如何做會比較有效率?
  1. '使用 ie,Application 物件
  2. '從 finance.Yahoo.com取得歷史資料
  3. '
  4. Sub getHistoricalData()
  5.         Dim Code
  6.         Code = "AAPL"
  7.         Const mysteryNum = 2209190400#
  8.         Dim ie, DATAar, A$, yyDate
  9.         Dim URL As String
  10.         Dim StartDate, EndDate, timer, tt As Date
  11.         Dim Table As Object, oDoc As Object
  12.         Dim i%, j%, k%
  13.         
  14.         StartDate = "1999/1/2"            '開始日期
  15.         EndDate = Date                          '結束日期，預設為今天

  17.       '轉換為秒鐘數字
  18.     StartDate = DateValue(StartDate) * 86400 - mysteryNum
  19.     EndDate = DateValue(EndDate) * 86400 - mysteryNum
  20.    
  21.    Set ie = CreateObject("InternetExplorer.Application")
  22.         
  23.     With ie
  24.             Application.StatusBar = "打開網頁，等待資料備齊 ....."
  25.             URL = "https://finance.yahoo.com/quote/" & Code & "/history?period1=" & StartDate & "&period2=" & EndDate & "&interval=1d&filter=history&frequency=1d"
  26.             .Visible = True ' False                '顯示 IE否?
  27.             .navigate URL
  28.             Application.Wait Time + #12:00:04 AM#                   '等候網頁4秒鐘
  29.             tt = Time + #12:00:05 AM#
  30.             Do While (.busy Or .readyState <> 4) And Time < tt
  31.                 DoEvents
  32.             Loop
  33.             
  34.             '捲動網頁
  35. '''' i 值太小，網頁資料會來不及進來；太大會浪費時間
  36. ''''   有何方法可以知道資料已進來齊全而停止；或其他方式取代本方法?
  37.             i = 0
  38.             While i < 50
  39.                 .Document.Parentwindow.scrollby 0, 10000 'Move,Scroll IE window down to bottom
  40.                 i = i + 1
  41.             Wend
  42.                         
  43.             Application.StatusBar = "取網頁資料中 .... "
  44.             Set oDoc = .Document.getElementsByTagName("TABLE")(1)
  45.             
  46.             ActiveSheet.Cells.Clear
  47.             ReDim DATAar(oDoc.Rows.Length - 1, 7)
  48.             
  49.             For i = 0 To oDoc.Rows.Length - 2
  50.                     For j = 0 To 6
  51.                           On Error Resume Next
  52.                           DATAar(i + 1, j + 1) = oDoc.Rows(i).Cells(j).innertext
  53.                           If j = 0 And i <> 0 Then
  54.                           
  55.                           ''''    yyDate = CDate("Oct 01, 2017")
  56.                                 A = DATAar(i + 1, j + 1)
  57.                                 A = Mid(A, 2, 3) & " " & Mid(A, 8, 2) & ", " & Right(A, 4)
  58.                                 yyDate = CDate(A)
  59.                                 DATAar(i + 1, j + 1) = yyDate
  60.                                 
  61.                           End If
  62.                     Next
  63.             Next
  64.             Application.StatusBar = "資料移到Excel 工作表 ....."
  65.             ActiveSheet.Cells(1, 1).Resize(UBound(DATAar), 7).Value = DATAar
  66.             Columns("A:A").NumberFormatLocal = "yyyy/mm/dd"
  67.             Columns("G:G").NumberFormatLocal = "#,##0_)"
  68.             .Quit
  69.     End With
  70.     Application.StatusBar = "資料下載完成 ....... "
  71.     Application.Wait Time + #12:00:02 AM#
  72.     Application.StatusBar = False
  73.    
  74. End Sub
複製代碼
收藏 分享

Scott090

帖子
533 
主題
58 
精華
0 
積分
613 
點名
260  
作業系統
win 10 
軟體版本
[] 
閱讀權限
50 
性別
男 
註冊時間
2013-3-19 
最後登錄
2026-10-31 

2025年全勤獎章2024年全勤獎章2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章論壇榮譽勳章論壇贊助勳章2015羊年全勤獎章熱烈參與勳章
2#
發表於 2017-11-13 15:57 | 顯示全部帖子
本帖最後由 Scott090 於 2017-11-13 16:01 編輯

回復 2# GBKEE


  謝謝  GBKEE 大的指導
為觀察網頁行為特性將兩種方法做一比較，執行結果如下表：
設定欲取資料期間；開始 1999/1/2， 結束期間 2017/9/12       


其中方法二並未完整的取得資料；
方法一則視 scrollby 的參數而定，設小了取資料不完整，設大了資料可以完整取得但有空轉的時間
謝謝
  1. Sub Ex_網頁底部()
  2.     Dim E As Object, R As Long, C As Long, i%
  3.     Dim timer As Date
  4.     'period1 = 1483286400     '2017/1/2
  5.     'period1 = 1451664000    '2016/1/2
  6.     'period1 = 915206400      '1999/1/2
  7.     'period2 = 1505174400     '2017/9/12

  9.     With CreateObject("InternetExplorer.Application")
  10.         .Visible = True
  11.         .Navigate "https://finance.yahoo.com/quote/AAPL/history?period1=915206400&period2=1505174400&interval=1d&filter=history&frequency=1d"
  12.         Do While .Busy Or .readyState <> 4: DoEvents: Loop
  13.         Set E = .document.ALL.TAGS("TR")
  14.        i = 0
  15.        timer = Time
  16.         Do
  17.             i = i + 1
  18.            With .document
  19. '方法一：
  20. '                .Parentwindow.scrollBy 0, 500  '改變 y 點數做試驗
  21. '                With .DocumentElement
  22. '                    R = R + .clientheight
  23. '                    Debug.Print "捲動次數：" & i, "R:" & R, "SH: " & .scrollHeight ', "CH: " & .clientheight
  24. '                    If R - .clientheight > .scrollHeight Then Exit Do
  25. '                End With
  26. '==============================================================
  27. '方法二：
  28.                   .Parentwindow.scrollBy 0, .DocumentElement.scrollHeight
  29.                   R = R + .DocumentElement.scrollHeight
  30.                   Debug.Print "捲動次數：" & i, "R:" & R, "SH: " & .DocumentElement.scrollHeight
  31.                   If R - .DocumentElement.scrollHeight > .DocumentElement.scrollHeight Then Exit Do
  32. ''''==============================================================
  33.                   
  34.             End With
  35.             DoEvents
  36.         Loop
  37.         
  38.         Debug.Print "時程： " & (Time - timer) * 86400
  39.         
  40.         ActiveSheet.Cells.Clear
  41.         For R = 1 To E.Length - 1
  42.             For C = 0 To E(R).Cells.Length - 1
  43.                 Cells(R, C + 1) = E(R).Cells(C).INNERTEXT
  44.             Next
  45.         Next
  46.         .Quit        '關閉網頁
  47.     End With
  48.     MsgBox "Ok"
  49. End Sub
複製代碼

TOP

Scott090

帖子
533 
主題
58 
精華
0 
積分
613 
點名
260  
作業系統
win 10 
軟體版本
[] 
閱讀權限
50 
性別
男 
註冊時間
2013-3-19 
最後登錄
2026-10-31 

2025年全勤獎章2024年全勤獎章2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章論壇榮譽勳章論壇贊助勳章2015羊年全勤獎章熱烈參與勳章
3#
發表於 2017-11-14 21:41 | 顯示全部帖子
回復 4# GBKEE


    GBKEE大：
謝謝進一步的解答與教導 及提供的參考的網址
將繼續地瞭解與研究

感恩

TOP

Scott090

帖子
533 
主題
58 
精華
0 
積分
613 
點名
260  
作業系統
win 10 
軟體版本
[] 
閱讀權限
50 
性別
男 
註冊時間
2013-3-19 
最後登錄
2026-10-31 

2025年全勤獎章2024年全勤獎章2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章論壇榮譽勳章論壇贊助勳章2015羊年全勤獎章熱烈參與勳章
4#
發表於 2017-11-16 18:13 | 顯示全部帖子
回復 4# GBKEE

從參考的網址內的各個變數，  
scrollHeight,  scrolltop,  offsetheight, clientHeight, body.clientheight .....
沒找出確實的 滾動數字相互之間的穩定關係，造成 激發滾動迴圈的不穩定性 及 取得的資料不一定 是底部最後一筆；
而，欲取得的資料格式是可以既知，所以改用 "是否最後一筆資料" 來決定滾動迴圈

把程式碼修飾如下：
增加 日期 變數 Dim startDate as date,  A

startdate = #1999/1/2#

'跳出迴圈條件 If .scrolltop + .clientHeight = .scrollHeight Then exit do 改成
A = E(E.Length - 2).Cells(0).INNERTEXT
If CDate(Mid(A, 2, 3) & " " & Mid(A, 8, 2) & ", " & Right(A, 4)) - startDate < 5 Then Exit Do

測試結果是穩定的

TOP

Scott090

帖子
533 
主題
58 
精華
0 
積分
613 
點名
260  
作業系統
win 10 
軟體版本
[] 
閱讀權限
50 
性別
男 
註冊時間
2013-3-19 
最後登錄
2026-10-31 

2025年全勤獎章2024年全勤獎章2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章論壇榮譽勳章論壇贊助勳章2015羊年全勤獎章熱烈參與勳章
5#
發表於 2017-11-20 07:27 | 顯示全部帖子
回復 7# GBKEE


    GBKEE 大大：
謝謝你的總結

TOP

Scott090

帖子
533 
主題
58 
精華
0 
積分
613 
點名
260  
作業系統
win 10 
軟體版本
[] 
閱讀權限
50 
性別
男 
註冊時間
2013-3-19 
最後登錄
2026-10-31 

2025年全勤獎章2024年全勤獎章2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章論壇榮譽勳章論壇贊助勳章2015羊年全勤獎章熱烈參與勳章
6#
發表於 2017-11-20 07:31 | 顯示全部帖子
回復 8# quickfixer


   
我在01文書處理區有看到只要1.8秒的程式碼


請把網址貼出來，讓大家參考
謝謝

TOP

Scott090

帖子
533 
主題
58 
精華
0 
積分
613 
點名
260  
作業系統
win 10 
軟體版本
[] 
閱讀權限
50 
性別
男 
註冊時間
2013-3-19 
最後登錄
2026-10-31 

2025年全勤獎章2024年全勤獎章2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章論壇榮譽勳章論壇贊助勳章2015羊年全勤獎章熱烈參與勳章
7#
發表於 2017-11-20 21:23 | 顯示全部帖子
回復 11# quickfixer


參考網址：   https://www.mobile01.com/topicdetail.php?f=511&t=4737630&p=28
這個是直接下載 .csv 檔
謝謝提供的信息

TOP

Scott090

帖子
533 
主題
58 
精華
0 
積分
613 
點名
260  
作業系統
win 10 
軟體版本
[] 
閱讀權限
50 
性別
男 
註冊時間
2013-3-19 
最後登錄
2026-10-31 

2025年全勤獎章2024年全勤獎章2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章論壇榮譽勳章論壇贊助勳章2015羊年全勤獎章熱烈參與勳章
8#
發表於 2017-11-28 07:40 | 顯示全部帖子
回復 13# quickfixer


    這個麻辣家族論壇也有使用 xmlhttp 供參考的例子，
    搜索一下就有了

TOP

Scott090

帖子
533 
主題
58 
精華
0 
積分
613 
點名
260  
作業系統
win 10 
軟體版本
[] 
閱讀權限
50 
性別
男 
註冊時間
2013-3-19 
最後登錄
2026-10-31 

2025年全勤獎章2024年全勤獎章2023年全勤獎章2022虎年全勤獎章2021牛年全勤獎章2020鼠年全勤獎章2019 豬年全勤獎章2018 狗年全勤獎章2017 雞年全勤獎章2016猴年全勤獎章論壇榮譽勳章論壇贊助勳章2015羊年全勤獎章熱烈參與勳章
9#
發表於 2018-2-2 08:39 | 顯示全部帖子
回復 15# quickfixer


    謝謝提供的信息
去年有去瀏覽過

TOP

        靜思自在 : 是非當教育，讚美作警惕。
返回列表 上一主題