小弟我最近剛接觸excel的巨集功能,並嘗試使用VBA寫些東西來抓取goodinfo上的一些資訊,之前明明還好好的可以用,但後來就出現第6筆以後的資料抓取不到的情形,直接去網站發現連不進去,斷線重連(換ip)後,又可以連上,小弟推測應該是IP被鎖了...
有爬了snare版大先前的回覆,首先我先試了延時的辦法,但每筆資料間隔延時至10秒還是被鎖了,有點不太懂goodinfo網站的阻擋機制,因此想試試另一個換IP的辦法,不過和版主所使用的WinHttp.WinHttpRequest.5.1物件不同,我是使用MSXML2.XMLHTTP.3.0,查了一下應該也支援換IP,語法如下:
'.setProxy 2, "http=myProxyServer:8080", ""
'.setProxyCredentials "user", "password"
然後有少數人好像會再多加一行.setRequestHeader "Content-Type", "xxxxxxxx"
小弟非電腦本科出身,對於相關的電腦術語看得是一個頭兩個大,看了一堆指令用法的解釋有看沒有懂,所以想來版上請教一下各位前輩...有以下幾個問題:
1. 第一行第一個引號中,有的人會填"http=myProxyServer:8080",但有的只填"proxy:8080",不知道是否有差異..
2. 第一行最後的引號是要就這樣留白? 還是要填什麼東西?? 我看好多人連引號也沒加..
3. 第二行的user和password是要填入自家上網用的使用者名稱和密碼嗎??
4. setRequestHeader那行的作用不知道是什麼,兩個引號裡其實也不知道要填什麼,查了好像是要分別填入DOMString Header和DOMString value,看不懂的名詞越來越多了啊XDDD
不好意思,問題有點多... 因為什麼都不懂XD
或者是說換IP的方式誠如snare版大所言太麻煩,還是用延時的方式好~ 但我完全參不透goodinfo的擋ip機制啊.. 有前輩知道的嗎??
1. 建議您貼上部分程式碼,這樣,版主或其他高手閱讀起來比較便利。
2. 關於.setRequestHeader,以下是版主其他樓層的說明,或可供您參考。
.setRequestHeader "Content-Type", "XXX"←這個要用F12開發者工具查(或Fiddler抓包工具)
.setRequestHeader "Referer", URL←網站會檢查referer,要特別再加上這一行
.setRequestHeader "User-Agent", "XXX"←會檢查是不是程式下載的網站,加上這一行
即時更新的網站,以下這3行可避免抓到暫存資料↓
.setRequestHeader "Cache-Control", "no-cache"
.setRequestHeader "Pragma", "no-cache"
.setRequestHeader "If-Modified-Since", "Sat, 1 Jan 2000 00:00:00 GMT"←時間是隨便設定的,習慣上設比較遠一點,避免查詢時不小心查到相同的時間
.send←網頁載入
3. 上面這些參數,主要視網站的設計而添加,比方twse觀測站,只要3行就可以搞定。
URL="XXX"
.Open "POST", URL, False
.send
很抱歉,我的水平只能回答到這裡,剩下其他的問題,可能就要其他人幫忙了。
另想請教版主,因臺灣證券交易所網頁改版,無法用123F範例下載,
需改用winhttp下載json集合字串、或csv檔...
想請教這兩種方式,可以分別參考那一樓的程式碼,比較適用,謝謝
[點擊下載]
Dylan67 wrote:
Leo78815同學...(恕刪)
謝謝Dylan67前輩的神速回覆!
好的,我貼一些我的程式碼上來~
Range("G2:L100").ClearContents
R = Range("A2").End(xlDown).Row
For k = 2 To R
Set HttpReq = CreateObject("MSXML2.XMLHTTP.3.0")
HttpReq.Open "GET", "https://goodinfo.tw/StockInfo/StockFinDetail.asp?RPT_CAT=XX_M_YEAR&STOCK_ID=" & Cells(k, 1), False
HttpReq.send
s = HttpReq.responseText
... (這邊主要就是資料抓下來後一些貼上剪輯的動作,怕文章太混亂就省略了~ 應該不太影響)
...
...
Next k
這是原本的程式碼,主要就是會依據輸入的欄位順序一筆筆資料抓下去,其實常關注的也就大概15支左右,但現在最多只能抓6筆讓我很困擾,所以想為它加上延時或換IP的功能...
然後前輩提到的.setRequestHeader用法,我又去查了一下~
.setRequestHeader "Cache-Control", "no-cache"
.setRequestHeader "Pragma", "no-cache"
.setRequestHeader "If-Modified-Since", "Sat, 1 Jan 2000 00:00:00 GMT"
這三行似乎是針對會即時更新最新資料的網站,不過goodinfo的東西我直接抓好像都還是可以抓到我想要的東西,網站資料更新時也會抓到更新後的資料(不知道是不是因為我只是抓季報這種久久更新一次的東西..),只是抓太多會被擋的問題,所以這好像暫時用不到..
.setRequestHeader "Content-Type", "XXX"
這行似乎與網站資料編碼型式有關,目前我抓下來的資料都正常可用,沒有亂碼,所以應該也暫時用不到...
.setRequestHeader "Referer", URL
這行好像是說有的網站會檢查訪客從哪裡來,所以要給它一個參照的網址...
這我有點不懂... 是要給什麼網址啊....
.setRequestHeader "Referer", http://www.google.com
比方說,是像這樣嗎? 隨便給一個?
.setRequestHeader "User-Agent", "XXX"
這行好像是可以模擬瀏覽器抓資料,好像有點用??
.setRequestHeader "User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
比方說模擬火狐的像這樣??
呃... 可能有很多描述錯誤的地方,再麻煩各位前輩不吝指正! 謝謝!
Dylan67 wrote:
因臺灣證券交易所網頁改版,無法用123F範例下載,
需改用winhttp下載json集合字串、或csv檔...
想請教這兩種方式,可以分別參考那一樓的程式碼,比較適用,謝謝
我在833樓回答過您了
現在改版後的網頁回傳的.responsetext
不是表格、不是json、不是csv,沒有分行
是一行文字,您沒看錯,真的只有一行
只在每行用空格當換行識別用
跟3年前寫123樓範例時,格式差很多
如果真的要用123樓的方式下載,要另外寫整理、排版用程式
建議下載後再開啟比較方便
'123樓,修正後範例(不含整理、排版)
Sub get_twse_csv()
Dim Xmlhttp As Object, HTMLsourcecode As Object, Url As String, Day_String As String
Set Clipboard = CreateObject("new:{1C3B4210-F441-11CE-B9EA-00AA006B1A69}")
Set HTMLsourcecode = CreateObject("htmlfile")
Set Xmlhttp = CreateObject("msxml2.xmlhttp")
Sheets("工作表1").Cells.Clear
Application.ScreenUpdating = False
Day_String = InputBox("日期(7碼數字)", , Format(Date, "yyyymmdd") - 19110000) + 19110000
Url = "https://www.twse.com.tw/fund/T86?response=csv&date=" & Day_String & "&selectType=ALLBUT0999"
With Xmlhttp
.Open "GET", Url, False
.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
.setRequestHeader "User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
.send
HTMLsourcecode.body.innertext = convertraw(.ResponseBody)
If Len(HTMLsourcecode.body.innerhtml) = 0 Then
Cells(1, 1) = "很抱歉,沒有符合條件的資料!"
Exit Sub
End If
'==================
'整理用程式碼放這裡
Cells(1, 1) = HTMLsourcecode.body.innertext 'debug
MsgBox HTMLsourcecode.body.innerhtml, , "debug"
'==================
End With
Application.ScreenUpdating = True
Set HTMLsourcecode = Nothing
Set Xmlhttp = Nothing
End Sub
Function convertraw(rawdata)
Dim rawstr
Set rawstr = CreateObject("adodb.stream")
With rawstr
.Type = 1
.Mode = 3
.Open
.Write rawdata
.Position = 0
.Type = 2
.Charset = "big5"
convertraw = .ReadText
.Close
End With
Set rawstr = Nothing
End Function
leo78815 wrote:
1. 第一行第一個引號中,有的人會填"http=myProxyServer:8080",但有的只填"proxy:8080",不知道是否有差異..
2. 第一行最後的引號是要就這樣留白? 還是要填什麼東西?? 我看好多人連引號也沒加..
3. 第二行的user和password是要填入自家上網用的使用者名稱和密碼嗎??
4. setRequestHeader那行的作用不知道是什麼,兩個引號裡其實也不知道要填什麼,查了好像是要分別填入DOMString Header和DOMString value,看不懂的名詞越來越多了啊XDDD
1、
通常都是這樣寫(xxx.xxx.xxx可以是網址、ip)
XMLHTTP.setProxy 2, "xxx.xxx.xxx:80"
少部份因為通訊協定的關係
XMLHTTP.setProxy 2, "http=xxx.xxx.xxx:80"
也有這種寫法(微軟的說明)
https://docs.microsoft.com/en-us/previous-versions/windows/desktop/ms763680(v=vs.85)
2、看需求決定要不要加
(微軟的說明)
https://docs.microsoft.com/en-us/previous-versions/windows/desktop/ms760236(v=vs.85)
3、
proxyserver的帳號、密碼
付費的才有,但那種通常是vpn
4、
和Dylan67的說明差不多,視網站需求決定參數
想了解更多請 google "setRequestHeader"
leo78815 wrote:
或者是說換IP的方式誠如snare版大所言太麻煩,還是用延時的方式好~ 但我完全參不透goodinfo的擋ip機制啊.. 有前輩知道的嗎??
是的換ip太麻煩、proxy server免費的有風險,也許資料會被側錄
以前可以用proxy.hinet.net,但hinet把proxy停掉了
goodinfo,手動快速查詢10幾次(可連續按f5試試),就會被擋了
您只能
一、延遲更長的時間
二、改用ie慢慢抓,例如:842樓範例
三、另找有提供相同資料的網站
leo78815 wrote:
Goodinfo資料種類挺齊的,很久遠以前的紀錄也都有留下
廣度和深度兼具,目前想不到其他資料豐富度相當的網站可替代
那就配合access資料庫存檔,慢慢抓
leo78815 wrote:
不然延時太久Excel一直在那跑跑停停閃啊閃的,電腦做其他工作會被干擾..
其實程式有寫好的話,excel最小化,等它跑,根本沒感覺
但要注意延遲不是在程式碼中用迴圈
需用排程才行
詳細請 google "application.ontime 排程"
或
參考其它樓的範例
leo78815 wrote:
想請問使用IE載有什麼特別的好處嗎??
ie
優:程式碼簡單、看的見就抓的到
缺:慢
xml
優:很快
缺:程式碼偏難、有時資料還需另寫程式碼整理
snare wrote:
那就配合access資料庫存檔,慢慢抓
access資料庫啊... 又是一個要學的新東西,哈哈
snare wrote:
其實程式有寫好的話,excel最小化,等它跑,根本沒感覺
但要注意延遲不是在程式碼中用迴圈
需用排程才行
詳細請 google "application.ontime 排程"
或
參考其它樓的範例
不瞞您說,我寫程式只是自己上網拼拼湊湊看些前輩寫的範例拼出來的
沒有紮實的正規訓練基礎,所以很多基本的也不太懂
優化就更不用說了... 我都是try & error
只求能跑得出結果來就行,不行就再改
不像高手瞭解很多指令用法,會知道怎麼寫比較簡潔
我之前的確是把延遲加在迴圈裡,跑的時候是有點卡頓
有關於排程這個新想法(對我來說啦),我有空的時候來研究看看~
到時候有問題再來向版主求救XD
謝謝版主提供資訊!
snare wrote:
ie
優:程式碼簡單、看的見就抓的到
缺:慢
xml
優:很快
缺:程式碼偏難、有時資料還需另寫程式碼整理
瞭解~ 不過我整理資料的程式碼已經寫好了
就... 懶得再改,哈哈




























































































