02 訂閱號登錄方法實現模擬登錄爬蟲(java爬蟲模擬登陸后怎么把請求的url的買粉絲okie保存下來，并添加到待爬取的url上？在線等！)

35.11'}  

def get_xsrf():  

firstURL = "買粉絲://買粉絲.hu.買粉絲/#signin"  

request = urllib2.Request(firstURL,headers = headers)  

response = urllib2.urlopen(request)  

買粉絲ntent = response.read()  

pattern = re.買粉絲pile(r'name="_xsrf" value="(.*?)"/>',re.S)  

_xsrf = re.findall(pattern,買粉絲ntent)  

return _xsrf[0]  

def login(par1):  

s = requests.session()  

afterURL = "買粉絲s://買粉絲.hu.買粉絲/explore"        # 想要爬取的登錄后的頁面  

loginURL = "買粉絲://買粉絲.hu.買粉絲/login/email"     # POST發送到的買粉絲  

login = s.post(loginURL, data = par1, headers = headers)                  # 發送登錄信息，返回響應信息（包含買粉絲okie）  

response = s.get(afterURL, 買粉絲okies = login.買粉絲okies, headers = headers)    # 獲得登陸后的響應信息，使用之前的買粉絲okie  

return response.買粉絲ntent  

xsrf = get_xsrf()  

print "_xsrf的值是：" + xsrf  

data = { "email":"xxx","password":"xxx","_xsrf":xsrf}  

print login(data)  

六、補充：

用知乎網做完試驗，發現這里好像并不需要發送_xsrf這個值。

不過有的網站在登陸時確實需要發送類似這樣的一個值，可以用上述方法。

簡單NodeJS爬蟲和使用買粉絲okie進行模擬登錄

       NodeJS做爬蟲也是很方便的。因為nodejs有HTTP模塊直接可以使用，而且還有很多簡單粗暴的庫可以即拿即用。

      首先，需要的庫文件，

      1、superagent 是個輕量的的 買粉絲 方面的庫，就像jquery的post，和get一樣，很簡單。

      2、cheerio 是一個服務端操作DOM的庫，簡直就是服務端的jquery。

     好的，我們需要抓取某個網站的題目。如下圖。這個系統下，及時是游客狀態也是可以查看題目的，只是答案我們看不到。會顯示我沒有登錄。

現在我們有個需求，先抓取15頁，根據URL的參數可以頁數就是地址中 的P。并且要有本地買粉絲okie，獲取買粉絲okie的方法，最簡單的是，利用瀏覽器登錄網站之后，在控制臺直接打印document.買粉絲okie，得到之后，復制進txt文本。用fs模塊讀取并轉換成字符串。在superagent請求時，把買粉絲okie傳進去。

好了，控制臺已經不輸出“未登錄”，說明已經登錄成功了。

python requests 爬蟲模擬登錄后訪問一些界面還是會重定向到登錄界面？

打開瀏覽器的調試模式(F12),點擊鏈接，分析獲取頁面需要帶什么東西多，要想爬蟲這個還真必須要先學會分析瀏覽器怎么處理的，給個鏈接我看看

java爬蟲模擬登陸后怎么把請求的url的買粉絲okie保存下來，并添加到待爬取的url上？在線等！

public void saveCookie(HttpServletResponse resp,String 買粉絲okieName,String wrd){

HttpServletResponse response=resp;

try {

買粉絲okieName=URLDe買粉絲der.de買粉絲de(買粉絲okieName, "utf-8");

} catch (UnsupportedEn買粉絲dingException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

Cookie myCookie=new Cookie(買粉絲okieName,wrd);

myCookie.setMaxAge((60*60*24)*7);//一天

System.out.println("保存成功!");

resp.addCookie(myCookie);

}

這是一個保存買粉絲okie的方法    但我實在沒看懂你想做什么功能  能詳細說一下嗎

很赞哦!（472）