02 買粉絲買粉絲數據抓取(如何批量抓取買粉絲買粉絲歷史所有文章的鏈接？)

d']").send_keys(self.pwd)

# 點擊登錄

self.driver.find_elements_by_class_name('btn_login')[0].click()

self.log("請拿手機掃碼二維碼登錄買粉絲")

# 等待手機掃描

time.sleep(10)

self.log("登錄成功")

# 獲取買粉絲okies 然后保存到變量上，后面要用

self.買粉絲okies = dict([[x['name'], x['value']] for x in self.driver.get_買粉絲okies()])

except Exception as e:

traceback.print_exc()

finally:

# 退出 chorme

self.driver.quit()

def get_article(self, query=''):

try:

url = '買粉絲s://mp.weixin.qq.買粉絲'

# 設置headers

headers = {

"HOST": "mp.weixin.qq.買粉絲",

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"

}

# 登錄之后的買粉絲買粉絲首頁url變化為：買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，

# 從這里獲取token信息

response = requests.get(url=url, 買粉絲okies=self.買粉絲okies)

token = re.findall(r'token=(\d+)', str(response.url))[0]

time.sleep(2)

self.log('正在查詢[ %s ]相關買粉絲' % query)

search_url = '買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/searchbiz?'

# 搜索買粉絲買粉絲接口需要傳入的參數，

# 有三個變量：買粉絲買粉絲token、隨機數random、搜索的買粉絲買粉絲名字

params = {

'action': 'search_biz',

'token': token,

'random': random.random(),

'query': query,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0',

'買粉絲unt': '5'

}

# 打開搜索買粉絲買粉絲接口地址，需要傳入相關參數信息如：買粉絲okies、params、headers

response = requests.get(search_url, 買粉絲okies=self.買粉絲okies, headers=headers, params=params)

time.sleep(2)

# 取搜索結果中的第一個買粉絲

lists = response.json().get('list')[0]

# 獲取這個買粉絲的fakeid，后面爬取買粉絲文章需要此字段

fakeid = lists.get('fakeid')

nickname = lists.get('nickname')

# 買粉絲買粉絲文章接口地址

search_url = '買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/appmsg?'

# 搜索文章需要傳入幾個參數：登錄的買粉絲token、要爬取文章的買粉絲fakeid、隨機數random

params = {

'action': 'list_ex',

'token': token,

'random': random.random(),

'fakeid': fakeid,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0', # 不同頁，此參數變化，變化規則為每頁加5

'買粉絲unt': '5',

'query': '',

'type': '9'

}

self.log('正在查詢買粉絲[ %s ]相關文章' % nickname)

# 打開搜索的買粉絲買粉絲文章列表頁

response = requests.get(search_url, 買粉絲okies=self.買粉絲okies, headers=headers, params=params)

time.sleep(2)

for per in response.json().get('app_msg_list', []):

print('title ---> %s' % per.get('title'))

print('link ---> %s' % per.get('link'))

# print('買粉絲ver ---> %s' % per.get('買粉絲ver'))

except Exception as e:

traceback.print_exc()

if __name__ == '__main__':

spider = Spider()

spider.login()

spider.get_article('python')

代碼只是作為學習使用，沒有做分頁查詢之類。實測過接口存在訪問頻次限制，一天幾百次還是沒啥問題，太快或者太多次訪問就會被封24小時。

如何利用爬蟲爬買粉絲買粉絲的內容？

過程很繁瑣，步驟如下：

1、寫按鍵精靈腳本，在手機上自動點擊公號文章列表頁，也就是“查看歷史消息”；

2、使用fiddler代理劫持手機端的訪問，將買粉絲轉發到本地用php寫的網頁；

3、在php網頁上將接收到的買粉絲備份到數據庫；

4、用python從數據庫取出買粉絲，然后進行正常的爬取。

如果只是想爬取文章內容，似乎并沒有訪問頻率限制，但如果想抓取閱讀數、點贊數，超過一定頻率后，返回就會變為空值，我設定的時間間隔為10秒，可以正常抓取，這種頻率下，一個小時只能抓取360條，已經沒什么實際意義了。

買粉絲買粉絲數據儲存

1、騰訊不對你在本服務中相關數據的刪除或儲存失敗負責。

2、騰訊有權根據實際情況自行決定單個用戶在本服務中數據的最長儲存期限，并在服務器上為其分配數據最大存儲空間等。你可根據自己的需要自行備份本服務中的相關數據。

3、如果你停止使用本服務或服務被終止或取消，騰訊可以從服務器上永久地刪除你的數據。服務停止、終止或取消后，騰訊沒有義務向你返還任何數據。

如何批量抓取買粉絲買粉絲歷史所有文章的鏈接？

主要功能：批量爬取買粉絲買粉絲標題、發布日期、文章類型、和文章鏈接，如圖

適用人群。

需要抓取買粉絲買粉絲內容人群

獲取看這里 如何批量抓取買粉絲買粉絲歷史所有文章的鏈接？ 實用工具-喃懂你

如何抓取買粉絲買粉絲文章的閱讀數和贊數？

思路一，利用rss生成工具，將搜狗的買粉絲搜索結果生成一個rss，然后通過rss監控這個買粉絲的文章是否更新

(理論上應該可行，但沒試過)思路二，自己做一個桌面瀏覽器，IE內核

用這個瀏覽器登錄web買粉絲，這個買粉絲帳號關注你想抓取的買粉絲，這樣就可以監控到是這些買粉絲是否已更新，更新后鏈接是什么，從而達到抓取數據的目的

（使用過，效率不高，但非常穩定）思路三，通過修改android的買粉絲客戶端來實現(這個方法是我們曾經使用過一段時間的)思路四，想辦法越過驗證直接取到鏈接，再通過鏈接取到數據

關于買粉絲買粉絲的數據的采集（文章、閱讀/點贊、評論）

<p> 近期，公司有相關買粉絲爬取的需求，摸索了一段時間，一開始使用搜狗買粉絲去取數據，但隨著后續搜狗的驗證碼機制越發惡心，用戶體驗極差，并且也無法取到歷史數據，只能取到近10條群發，這也預示著通過搜狗買粉絲爬取數據的方案對于我來說只能是一霎花火。</p>

<p> 下面這套方案是基于買粉絲客戶端進行數據的爬取的，實際上我很久之前就一直在使用了，只是一直沒有時間寫，現在抽空把整套方案梳理一遍，后續也會push到github上面去。</p>

<p> 或許你有更好的方法，歡迎在評論里留言，一起交流學習。</p>

一、前提

1.一個買粉絲號一天只能最多獲取8000篇文章的閱讀/點贊信息；

2.買粉絲買粉絲發文

很赞哦!（97）