台灣最大程式設計社群網站
線上人數
1254
 
會員總數:246037
討論主題:189624
歡迎您免費加入會員
討論區列表 >> PHP >> 如何擷取 執行完後的網頁(爬蟲)
[]  
[我要回覆]
1
回應主題 加入我的關注話題 檢舉此篇討論 將提問者加入個人黑名單
如何擷取 執行完後的網頁(爬蟲)
價值 : 5 QP  點閱數:260 回應數:6
樓主

町風
初學者
229 213
1974 203
發送站內信

我用curl擷取網頁資料,但只能是網頁原始檔,而不是像瀏覽器解析完後(如js)的網頁,有辦法擷取像瀏覽器解析後的網頁嗎?
搜尋相關Tags的文章: [ 爬蟲 ] ,
本篇文章發表於2020-06-02 13:58
1樓
回應

迷路
捐贈 VP 給 迷路 檢舉此回應
不了解你的意思
解析後的網頁?是要直接顯示該網頁嗎?
那就用iframe?
本篇文章回覆於2020-06-03 09:40
== 簽名檔 ==
--未登入的會員無法查看對方簽名檔--
2樓
作者回應

町風
檢舉此回應
就是用curl所讀到的網頁是類似vue.js塞值
想要爬到的是塞完值後的內容
本篇文章回覆於2020-06-03 11:50
== 簽名檔 ==
--未登入的會員無法查看對方簽名檔--
3樓
回應

迷路
捐贈 VP 給 迷路 檢舉此回應
如果要擷取的目標頁是同網域的網頁,或至少是你能寫js的頁面
或許、可能、Maybe還有方法可想
如果是外部頁面,基本上我不知道有簡單直接的方式可以達成
真的要做,我能想到的就是在PHP中完成瀏覽器對網頁原始碼的編譯功能
除非有寫好的函式庫可以直接引用,不然工程浩大到完全不敢想像
本篇文章回覆於2020-06-04 09:23
== 簽名檔 ==
--未登入的會員無法查看對方簽名檔--
4樓
作者回應

町風
檢舉此回應
所以是外部網頁用iframe嵌入進來,用js抓是不可行的囉
本篇文章回覆於2020-06-04 17:55
== 簽名檔 ==
--未登入的會員無法查看對方簽名檔--
5樓
回應

迷路
捐贈 VP 給 迷路 檢舉此回應
js在跨網域的情況下有安全性的限制
除非你能直接在外部網頁加上對應的js語法
不然是不可能,或是說這樣的行為在目前被視為安全風險
會被瀏覽器和防毒軟體一起妨礙
本篇文章回覆於2020-06-05 09:24
== 簽名檔 ==
--未登入的會員無法查看對方簽名檔--
6樓
回應

浩瀚星空
捐贈 VP 給 浩瀚星空 檢舉此回應
基本來說用curl很難,可以說是不可能做到。

只能用生成檔的方式來處理居多,工程非常的大。
原理是用一個可動作的類瀏覽器之類的來取得運行完成的頁面。
說很簡單,實際做起來並不太容易。
本篇文章回覆於2020-06-11 13:54
== 簽名檔 ==
--未登入的會員無法查看對方簽名檔--
   
1

回覆
如要回應,請先登入.