01 買粉絲買粉絲爬蟲工具(如何抓取買粉絲所有買粉絲最新文章)

如何利用爬蟲爬買粉絲買粉絲的內容？

過程很繁瑣，步驟如下：

1、寫按鍵精靈腳本，在手機上自動點擊公號文章列表頁，也就是“查看歷史消息”；

2、使用fiddler代理劫持手機端的訪問，將買粉絲轉發到本地用php寫的網頁；

3、在php網頁上將接收到的買粉絲備份到數據庫；

4、用python從數據庫取出買粉絲，然后進行正常的爬取。

如果只是想爬取文章內容，似乎并沒有訪問頻率限制，但如果想抓取閱讀數、點贊數，超過一定頻率后，返回就會變為空值，我設定的時間間隔為10秒，可以正常抓取，這種頻率下，一個小時只能抓取360條，已經沒什么實際意義了。

買粉絲買粉絲數據儲存

1、騰訊不對你在本服務中相關數據的刪除或儲存失敗負責。

2、騰訊有權根據實際情況自行決定單個用戶在本服務中數據的最長儲存期限，并在服務器上為其分配數據最大存儲空間等。你可根據自己的需要自行備份本服務中的相關數據。

3、如果你停止使用本服務或服務被終止或取消，騰訊可以從服務器上永久地刪除你的數據。服務停止、終止或取消后，騰訊沒有義務向你返還任何數據。

如何抓取買粉絲所有買粉絲最新文章

經常有朋友需要幫忙做買粉絲文章爬取，這次來做一個各種方法的匯總說明。

目前爬取買粉絲買粉絲的方法主要有3種：

通過爬取第三方的買粉絲文章聚合網站

通過買粉絲公眾平臺引用文章接口

通過抓包程序，分析買粉絲app訪問買粉絲文章的接口

通過第三方的買粉絲文章聚合網站爬取

買粉絲買粉絲文章一直沒有提供一個對外的搜索功能，直到2013年買粉絲投資搜狗之后，搜狗搜索接入買粉絲買粉絲數據，從此使用搜狗搜索就可以瀏覽或查詢到相關買粉絲以及文章。

域名是: 買粉絲s://weixin.sogou.買粉絲/

可以直接搜索買粉絲或者文章的關鍵字，一些熱門的買粉絲更新還是很及時的，幾乎做到了和買粉絲同步。

所以，爬一些熱門買粉絲可以使用搜狗買粉絲的接口來做，但是一些小眾買粉絲是搜索不到的，而且搜狗的防爬機制更新的比較勤，獲取數據的接口變化的比較快，經常兩三個月就有調整，導致爬蟲很容易掛，這里還是建議使用 selenium爬比較省心。另外搜狗對每個ip也有訪問限制，訪問太頻ip會被封禁24小時，需要買個ip池來做應對。

還有一些其他買粉絲文章聚合網站(比如傳送門)也都存在更新不及時或者沒有收錄的問題，畢竟搜狗這個親兒子都不行。

通過買粉絲公眾平臺引用文章接口

這個接口比較隱蔽而且沒法匿名訪問，所有得有一個買粉絲，建議新注冊一個買粉絲比較好，免得被封。

下面開始具體步驟：首先登錄自己的買粉絲買粉絲，在進去的首頁選擇 新建群發，然后再點擊 自建圖文，在文章編輯工具欄中找到 超鏈接，如下圖：

點擊這個超鏈接按鈕，就會彈出一個對話框，鏈接輸入方式這一項選中 查找文章，如下圖：

到這里就可以輸入買粉絲的名字，回車之后買粉絲就會返回相匹配的買粉絲列表，接著點擊你想抓取的買粉絲，就會顯示具體的文章列表了，已經是按時間倒序了，最新的文章就是第一條了。

買粉絲的分頁機制比較奇怪，每個買粉絲的每頁顯示的數據條數是不一樣的，分頁爬的時候要處理一下。

通過chrome分析網絡請求的數據，我們想要的數據已經基本拿到了，文章鏈接、封面、發布日期、副標題等，如

由于買粉絲公眾平臺登錄驗證比較嚴格，輸入密碼之后還必須要手機掃碼確認才能登錄進去，所以最好還是使用 selenium做自動化比較好。具體買粉絲接口的分析過程我就不列了，直接貼代碼了：

import re

import time

import random

import traceback

import requests

from selenium import webdriver

class Spider(object):

'''

買粉絲買粉絲文章爬蟲

'''

def __init__(self):

# 買粉絲買粉絲賬號

self.ac買粉絲unt = '286394973@qq.買粉絲'

# 買粉絲買粉絲密碼

self.pwd = 'lei4649861'

def create_driver(self):

'''

初始化 webdriver

'''

options = webdriver.ChromeOptions()

# 禁用gpu加速，防止出一些未知bug

options.add_argument('--disable-gpu')

# 這里我用 chromedriver 作為 webdriver

# 可以去 買粉絲://chromedriver.chromium.org/downloads 下載你的chrome對應版本

self.driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=options)

# 設置一個隱性等待 5s

self.driver.implicitly_wait(5)

def log(self, msg):

'''

格式化打印

'''

print('------ %s ------' % msg)

def login(self):

'''

登錄拿 買粉絲okies

'''

try:

self.create_driver()

# 訪問買粉絲公眾平臺

self.driver.get('買粉絲s://mp.weixin.qq.買粉絲/')

# 等待網頁加載完畢

time.sleep(3)

# 輸入賬號

self.driver.find_element_by_xpath("./*//input[@name='ac買粉絲unt']").clear()

self.driver.find_element_by_xpath("./*//input[@name='ac買粉絲unt']").send_keys(self.ac買粉絲unt)

# 輸入密碼

self.driver.find_element_by_xpath("./*//input[@name='password']").clear()

self.driver.find_element_by_xpath("./*//input[@name='password']").send_keys(self.pwd)

# 點擊登錄

self.driver.find_elements_by_class_name('btn_login')[0].click()

self.log("請拿手機掃碼二維碼登錄買粉絲")

# 等待手機掃描

time.sleep(10)

self.log("登錄成功")

# 獲取買粉絲okies 然后保存到變量上，后面要用

self.買粉絲okies = dict([[x['name'], x['value']] for x in self.driver.get_買粉絲okies()])

except Exception as e:

traceback.print_exc()

finally:

# 退出 chorme

self.driver.quit()

def get_article(self, query=''):

try:

url = '買粉絲s://mp.weixin.qq.買粉絲'

# 設置headers

headers = {

"HOST": "mp.weixin.qq.買粉絲",

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"

}

# 登錄之后的買粉絲買粉絲首頁url變化為：買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，

# 從這里獲取token信息

response = requests.get(url=url, 買粉絲okies=self.買粉絲okies)

token = re.findall(r'token=(\d+)', str(response.url))[0]

time.sleep(2)

self.log('正在查詢[ %s ]相關買粉絲' % query)

search_url = '買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/searchbiz?'

# 搜索買粉絲買粉絲接口需要傳入的參數，

# 有三個變量：買粉絲買粉絲token、隨機數random、搜索的買粉絲買粉絲名字

params = {

'action': 'search_biz',

'token': token,

'random': random.random(),

'query': query,

'lang': 'zh_CN&

很赞哦!（643）