12
返回列表 上一主題 發帖

請問如何抓取javascript的*.csv檔案？

torrent

帖子
9 
主題
2 
精華
0 
積分
11 
點名
0  
作業系統
Windows 7 
軟體版本
2010 
閱讀權限
10 
註冊時間
2013-6-7 
最後登錄
2014-1-25 
1# 跳轉到 » 倒序看帖
打印
tT
發表於 2013-12-27 11:01 | 只看該作者

請問如何抓取javascript的*.csv檔案？

想請教一下，我要用批次抓取網頁中的*csv檔，然後把裡面的資料放入excel的表格中，但網頁中的檔案連結是用javascript藏起來，案例如下：

http://prtr.epa.gov.tw/resultEMS.aspx?emsno=A36A0770&tab=Panel5

我打算存放的excel檔已經有管制編號列表，然後就根據這個列表去抓取需要的資料，不過在抓*csv這個地方就卡住了。

謝謝

收藏 分享

stillfish00

帖子
1018 
主題
15 
精華
0 
積分
1058 
點名
0  
作業系統
win7 32bit 
軟體版本
Office 2016 64-bit 
閱讀權限
50 
性別
男 
來自
桃園 
註冊時間
2012-5-9 
最後登錄
2022-9-28 
2#
發表於 2013-12-27 20:23 | 只看該作者
回復 1# torrent
系統忙碌中，請稍後再次查詢。

系統壞了嗎，手動都不能下載。。。

TOP

torrent

帖子
9 
主題
2 
精華
0 
積分
11 
點名
0  
作業系統
Windows 7 
軟體版本
2010 
閱讀權限
10 
註冊時間
2013-6-7 
最後登錄
2014-1-25 
3#
發表於 2013-12-28 01:51 | 只看該作者
好像是耶，我前幾天試還正常。

TOP

GBKEE

帖子
5923 
主題
13 
精華
1 
積分
5986 
點名
0  
作業系統
win10 
軟體版本
Office 2010 
閱讀權限
150 
性別
男 
來自
台灣基隆 
註冊時間
2010-5-1 
最後登錄
2022-1-23 

2017 雞年全勤獎章2016猴年全勤獎章2015羊年全勤獎章2014馬年全勤獎章2013蛇年全勤獎章2012龍年全勤獎章論壇貢獻勳章熱烈參與勳章2011兔年全勤獎章
4#
發表於 2014-1-1 13:38 | 只看該作者
回復 3# torrent



試試看
  1. Option Explicit
  2. Sub Ex()
  3.     Dim Sh As Worksheet, Rng As Range
  4.     Application.ScreenUpdating = False
  5.     Application.DisplayAlerts = False
  6.     Set Rng = Sheets("Sheet1").Range("A2")
  7.     On Error Resume Next
  8.     Set Sh = Sheets.Add
  9.     With Sh.QueryTables.Add("URL;http://prtr.epa.gov.tw/resultEMS.aspx?emsno=" & Rng & "&tab=Panel5", Sh.[A1])
  10.         .WebSelectionType = xlSpecifiedTables
  11.         .WebFormatting = xlWebFormattingNone
  12.         .WebTables = """GridView5"""
  13.         .WebPreFormattedTextToColumns = True
  14.         .WebConsecutiveDelimitersAsOne = True
  15.         .WebSingleBlockTextImport = False
  16.         .WebDisableDateRecognition = False
  17.         .WebDisableRedirections = False
  18.         .Refresh BackgroundQuery:=False
  19.     End With
  20.     Do While Rng <> ""
  21.         With Sh.QueryTables(1)
  22.             Rng.Offset(, 1).Range("A1:I1").Value = IIf(Err.Number = 0, Sh.QueryTables(1).ResultRange.Rows(2).Value, "")
  23.             Err.Clear
  24.             Set Rng = Rng.Offset(1)
  25.             .Connection = "URL;http://prtr.epa.gov.tw/resultEMS.aspx?emsno=" & Rng & "&tab=Panel5"
  26.             .Refresh BackgroundQuery:=False
  27.         End With
  28.     Loop
  29.     Sh.Delete
  30.     Application.DisplayAlerts = True
  31.     Application.ScreenUpdating = True
  32. End Sub
複製代碼
感恩的心......(在麻辣家族討論區.用心學習會有進步的)
但資源無限,後援有限,  一天1元的贊助,人人有能力.

TOP

torrent

帖子
9 
主題
2 
精華
0 
積分
11 
點名
0  
作業系統
Windows 7 
軟體版本
2010 
閱讀權限
10 
註冊時間
2013-6-7 
最後登錄
2014-1-25 
5#
發表於 2014-1-2 12:24 | 只看該作者
太感謝了！

我發現有些表格是多於一筆資料的，所以一個管制編號的資料有可能會有一筆、兩筆甚至10筆，例如這裡：

http://prtr.epa.gov.tw/resultEMS.aspx?emsno=E4901607&tab=Panel5

我爬了一下文並google，本來想用ResultRange.Rows.Count這個指令來算table的列數後，先以Range().EntireRow.insert插入所需要的列數，然後再以ResultRange.Rows(i)加入數據，但怎麼試都是空白，不知道大大有沒有好的辦法？

謝謝

TOP

GBKEE

帖子
5923 
主題
13 
精華
1 
積分
5986 
點名
0  
作業系統
win10 
軟體版本
Office 2010 
閱讀權限
150 
性別
男 
來自
台灣基隆 
註冊時間
2010-5-1 
最後登錄
2022-1-23 

2017 雞年全勤獎章2016猴年全勤獎章2015羊年全勤獎章2014馬年全勤獎章2013蛇年全勤獎章2012龍年全勤獎章論壇貢獻勳章熱烈參與勳章2011兔年全勤獎章
6#
發表於 2014-1-2 14:08 | 只看該作者
本帖最後由 GBKEE 於 2014-1-5 06:52 編輯

回復 5# torrent
試試看
  1. Option Explicit
  2. Sub Ex()
  3.     Dim Sh As Worksheet, Rng As Range, Q As Variant
  4.     Application.ScreenUpdating = False
  5.     Set Rng = Sheets("Sheet1").Range("A2")  '管制編號
  6.     On Error GoTo ER
  7.     With Sheets("管制內容")
  8.         Set Sh = Sheets(.Name)
  9.         .UsedRange = ""
  10.     End With
  11.     On Error Resume Next
  12.     With Sh.QueryTables.Add("URL;http://prtr.epa.gov.tw/resultEMS.aspx?emsno=" & Rng & "&tab=Panel5", Sh.[AA1])
  13.         .WebSelectionType = xlSpecifiedTables
  14.         .WebFormatting = xlWebFormattingNone
  15.         .WebTables = """GridView5"""
  16.         .WebPreFormattedTextToColumns = True
  17.         .WebConsecutiveDelimitersAsOne = True
  18.         .WebSingleBlockTextImport = False
  19.         .WebDisableDateRecognition = False
  20.         .WebDisableRedirections = False
  21.         .Refresh BackgroundQuery:=False
  22.     End With
  23.     Set Q = Sh.QueryTables(1)
  24.     Do While Rng <> ""
  25.         If Err = 0 And Application.Count(Q.ResultRange) > 0 Then
  26.             With Sh.Cells(Sh.Rows.Count, 2).End(xlUp)
  27.                 .Offset(1, -1) = Rng
  28.                 If .Row = 1 Then
  29.                     .Offset(, -1) = "管制編號"
  30.                     Q.ResultRange.Copy .Cells
  31.                 Else
  32.                     Q.ResultRange.Rows("2:" & Q.ResultRange.Rows.Count).Copy .Offset(1)
  33.                 End If
  34.             End With
  35.         End If
  36.         Err.Clear
  37.         Set Rng = Rng.Offset(1)
  38.         Q.Connection = "URL;http://prtr.epa.gov.tw/resultEMS.aspx?emsno=" & Rng & "&tab=Panel5"
  39.         Q.Refresh BackgroundQuery:=False
  40.     Loop
  41.     Q.ResultRange = ""
  42.     With Sh
  43.         .Columns.AutoFit
  44.         For Each Q In .Names
  45.            Q.Delete
  46.         Next
  47.         For Each Q In .QueryTables
  48.            Q.Delete
  49.         Next
  50.     End With   
  51.    Application.ScreenUpdating = True
  52.    Exit Sub
  53. ER:
  54.     If Err.Number = 9 Then
  55.         Sheets.Add.Name = "管制內容"
  56.         Resume
  57.     End If
  58. End Sub
複製代碼
感恩的心......(在麻辣家族討論區.用心學習會有進步的)
但資源無限,後援有限,  一天1元的贊助,人人有能力.

TOP

torrent

帖子
9 
主題
2 
精華
0 
積分
11 
點名
0  
作業系統
Windows 7 
軟體版本
2010 
閱讀權限
10 
註冊時間
2013-6-7 
最後登錄
2014-1-25 
7#
發表於 2014-1-4 22:47 | 只看該作者
太感激了，我這幾天修正了一些裡面的程式碼，讓它也可以抓別的資源。非常感謝！

順便問一下，這裡不抓csv而是抓網頁的table，是因為csv中文進來是亂碼而又無解的原因嗎？

TOP

GBKEE

帖子
5923 
主題
13 
精華
1 
積分
5986 
點名
0  
作業系統
win10 
軟體版本
Office 2010 
閱讀權限
150 
性別
男 
來自
台灣基隆 
註冊時間
2010-5-1 
最後登錄
2022-1-23 

2017 雞年全勤獎章2016猴年全勤獎章2015羊年全勤獎章2014馬年全勤獎章2013蛇年全勤獎章2012龍年全勤獎章論壇貢獻勳章熱烈參與勳章2011兔年全勤獎章
8#
發表於 2014-1-5 06:54 | 只看該作者
回復 7# torrent
這網頁csv不是無法下載嗎!,
感恩的心......(在麻辣家族討論區.用心學習會有進步的)
但資源無限,後援有限,  一天1元的贊助,人人有能力.

TOP

torrent

帖子
9 
主題
2 
精華
0 
積分
11 
點名
0  
作業系統
Windows 7 
軟體版本
2010 
閱讀權限
10 
註冊時間
2013-6-7 
最後登錄
2014-1-25 
9#
發表於 2014-1-5 13:28 | 只看該作者
不好意思，我是因為後來要到環保署另一個opendata網站抓csv的時候發現抓進工作表都會變成亂碼，所以才聯想到。

http://opendata.epa.gov.tw/Data/Contents/EMS/

這個網站和之前那個第一樓的網站應該是通的，但這裡csv就直接提供所有單位的管制編號，但一次提供1000筆，所以總共7萬多筆要下載71次csv檔案。

雖然我只是要最重要的管制編號，但其它都亂碼還是覺得很怪，以下是我的code，我還是初學者，用最簡單的do/loop來處理迴圈，跑到一半就卡住了，不知道出了什麼事情，多謝！
  1. Sub csv()

  3.     Dim i As Integer, k As Integer, emsUrl As String
  4.    
  5.     Set i = 0
  6.    
  7.     Set k = 1000
  8.    
  9.     emsUrl = "http://opendata.epa.gov.tw/ws/Data/EMS/?$orderby=RegistrationNo&$skip=" & i & "&$top=" & k & "&format=csv"
  10.    
  11.     With ActiveSheet.QueryTables.Add(Connection:="URL;" & emsUrl, Destination:=Range("A2"))
  12.    
  13.         .BackgroundQuery = True
  14.         .RefreshStyle = xlOverwriteCells
  15.         .RefreshPeriod = 0
  16.         .AdjustColumnWidth = False
  17.         .WebSelectionType = xlSpecifiedTables
  18.         .WebFormatting = xlWebFormattingNone
  19.          
  20.     End With
  21.    
  22. End Sub
複製代碼

TOP

torrent

帖子
9 
主題
2 
精華
0 
積分
11 
點名
0  
作業系統
Windows 7 
軟體版本
2010 
閱讀權限
10 
註冊時間
2013-6-7 
最後登錄
2014-1-25 
10#
發表於 2014-1-5 13:36 | 只看該作者
抱歉，剛剛貼錯code了，但已經不能編輯：
  1. Sub csv()

  3.     Dim i As Integer, k As Integer, emsUrl As String, Rng As Range
  4.    
  5.     i = 1
  6.    
  7.     k = 1000

  9.     Do Until k = 71000

  11.     Set Rng = Sheets("Sheet1").Range("A" & i & "")

  13.     emsUrl = "http://opendata.epa.gov.tw/ws/Data/EMS/?$orderby=RegistrationNo&$skip=" & i & "&$top=" & k & "&format=csv"
  14.    
  15.     With ActiveSheet.QueryTables.Add(Connection:="URL;" & emsUrl, Destination:=Rng)
  16.    
  17.         .BackgroundQuery = True
  18.         .RefreshStyle = xlOverwriteCells
  19.         .RefreshPeriod = 0
  20.         .AdjustColumnWidth = False
  21.         .WebSelectionType = xlSpecifiedTables
  22.         .WebFormatting = xlWebFormattingNone
  23.          
  24.     End With
  25.    
  26.     i = i + 1000

  28.     k = k + 1000

  30.     Loop

  32. End Sub
複製代碼

TOP

        靜思自在 : 自己害自己，莫過於亂發脾氣。
12
返回列表 上一主題