注冊 | 登陸
您的位置:阿里西西 > 編程技術 > PHP教程 > 詳細內容

PHP通過偽造和模擬客戶端COOKIE登陸來采集抓取遠程網址

  稿源:本站整理   2018-09-14   點擊:   撤稿糾錯
平時開發中經常會遇到抓取某個頁面內容, 但是有時候某些頁面需要登陸才能訪問, 最常見的就是論壇, 這時候我們需要來使用curl模擬登陸。

以下討論的是和偽造 模擬 客戶端 COOKIE 登陸 采集 抓取 遠程網址 相關的PHP通過偽造和模擬客戶端COOKIE登陸來采集抓取遠程網址頁面內容的方法教程文章,內容是本站精心挑選整理的教程,希望對廣大的網友給到幫助,下面是詳細內容:

php模擬登陸

  平時開發中經常會遇到抓取某個頁面內容, 但是有時候某些頁面需要登陸才能訪問, 最常見的就是論壇, 這時候我們需要來使用curl模擬登陸。 大致思路:需要先請求提取 cookies 并保存,然后利用保存下來的這個cookies再次發送請求來獲取頁面內容,下面我們直接上代碼

  1. <?php 
  2. /** 
  3.  * @Brief PHP讀取Curl模擬登陸, 獲取cookie, 帶cookie進行請求 
  4.  * @Date: 2016/10/20
  5.  * @Time: 9:41 
  6.  */ 
  7. //設置cookie保存位置 
  8. $cookieFile = dirname(__FILE__).'cookie.curl.tmp'
  9. //第一步:獲取cookie 
  10. $url = 'http://www.aseoe.com'
  11. $data = array
  12.     'username'  => 'aseoe'
  13.     'password'  => 'aseoe'
  14. ); 
  15. //curl初始化 
  16. $ch = curl_init(); 
  17. curl_setopt($ch, CURLOPT_URL, $url); 
  18. //設置為post請求 
  19. curl_setopt($ch, CURLOPT_POST, true); 
  20. //設置附帶返回header信息為空 
  21. curl_setopt($ch, CURLOPT_HEADER, 0); 
  22. //post數據 
  23. curl_setopt($ch, CURLOPT_POSTFIELDS, $data); 
  24. //cookie保存文件位置 
  25. curl_setopt($ch, CURLOPT_COOKIEJAR, $cookieFile); 
  26. //設置數據返回作為變量儲存,而不是直接輸出 
  27. curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
  28. //執行請求 
  29. $ret = curl_exec($ch); 
  30. //關閉連接 
  31. curl_close($ch); 
  32. //第二步:附帶cookie請求需要登陸的頁面 
  33. $url = 'http://www.aseoe.com'
  34. //curl初始化 
  35. $ch = curl_init(); 
  36. curl_setopt($ch, CURLOPT_URL, $url); 
  37. //設置為post請求 
  38. curl_setopt($ch, CURLOPT_POST, true); 
  39. //設置附帶返回header信息為空 
  40. curl_setopt($ch, CURLOPT_HEADER, 0); 
  41. //設置cookie信息文件位置, 注意與第二步中的獲取不同,這里是讀取 
  42. curl_setopt($ch, CURLOPT_COOKIEFILE, $cookieFile); 
  43. //設置數據返回作為變量儲存,而不是直接輸出 
  44. curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
  45. //執行請求 
  46. $ret = curl_exec($ch); 
  47. //關閉連接 
  48. curl_close($ch); 
  49. //打印抓取內容 
  50. var_dump($ret); 

  這樣我們就抓取到了需要登陸才能訪問頁面的內容, 注意上面的地址只是一個示例,需要換成你想要抓取頁面的地址。

 平時開發中經常會遇到抓取某個頁面內容, 但是有時候某些頁面需要登陸才能訪問, 最常見的就是論壇, 這時候我們需要來使用curl模擬登陸。 大致思路:需要先請求提取 cookies 并保存,然后利用保存下來


End. 教程到這里講完了,閱讀是否有所收獲呢?本站還提供有偽造 模擬 客戶端 COOKIE 登陸 采集 抓取 遠程網址 相關的內容,歡迎繼續閱讀。

相關閱讀

相關排行總榜

ASP教程

PHP教程

.NET教程

ASP采集功能WinHttp.WinHttpRequest.5.1的
AspJpeg圖片處理組件屬性的詳細中文使用說
通過ASP生成html純靜態頁面的簡單示例
ASP開發中一個把GB2312轉UTF-8編碼的函數
推薦幾個ASP開發中常用的fso操作文件圖片
ASP讀取操作生成excel文件的實例代碼教程
使用ASP進行網站開發防范ASP木馬的10條建
通過ASP調用MSSQL數據庫視圖和存儲過程的
通過aspupload上傳組件實現的ASP實現遠程
ASP調用MSSQL存儲過程進行分頁的兩種方式
PHP解決HTTP和HTTPS跨域共享session的方法
php程序判斷來訪客戶端是手機端還是電腦P
用PHP來獲取當前頁面所有url參數信息的教
配置好環境后,進行php代碼調試的方法總結
教您使用php代碼實現上傳圖片或文件到服務
PHP開發中推薦十款最出色的安全開發工具庫
PHP基礎學習之數組介紹
淺談JSP與ASP.PHP的各種平臺應用比較
php制作一個萬年歷查詢的實例代碼教程
制作簡單安全的php驗證碼類代碼實例
ASP.NET環境配置中幾種身份驗證方式及權限
記錄一次對ASP.NET網站漏洞的入侵和防范教
Asp.net在mvc環境下實現上傳頭像加剪裁功
對 ASP.NET 異步編程的一點理解與分析
ASP.NET讀取與操作Session的代碼案例教程
ASP.NET將大文件數據分成較小的部分進行分
講解.Net組件程序設計之異步調用
AS腳本與Asp.net通過UrlRequest進行前端交
一組常用的.NET命名空間中文解釋
asp.net解決url地址欄傳遞中文參數出現亂
彩票25选5开奖结果