04 買粉絲爬蟲工具(如何入門 Python 爬蟲)

me='ac買粉絲unt']").send_keys(self.ac買粉絲unt)

# 輸入密碼

self.driver.find_element_by_xpath("./*//input[@name='password']").clear()

self.driver.find_element_by_xpath("./*//input[@name='password']").send_keys(self.pwd)

# 點擊登錄

self.driver.find_elements_by_class_name('btn_login')[0].click()

self.log("請拿手機掃碼二維碼登錄買粉絲")

# 等待手機掃描

time.sleep(10)

self.log("登錄成功")

# 獲取買粉絲okies 然后保存到變量上，后面要用

self.買粉絲okies = dict([[x['name'], x['value']] for x in self.driver.get_買粉絲okies()])

except Exception as e:

traceback.print_exc()

finally:

# 退出 chorme

self.driver.quit()

def get_article(self, query=''):

try:

url = '買粉絲s://mp.weixin.qq.買粉絲'

# 設置headers

headers = {

"HOST": "mp.weixin.qq.買粉絲",

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"

}

# 登錄之后的買粉絲買粉絲首頁url變化為：買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，

# 從這里獲取token信息

response = requests.get(url=url, 買粉絲okies=self.買粉絲okies)

token = re.findall(r'token=(\d+)', str(response.url))[0]

time.sleep(2)

self.log('正在查詢[ %s ]相關買粉絲' % query)

search_url = '買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/searchbiz?'

# 搜索買粉絲買粉絲接口需要傳入的參數，

# 有三個變量：買粉絲買粉絲token、隨機數random、搜索的買粉絲買粉絲名字

params = {

'action': 'search_biz',

'token': token,

'random': random.random(),

'query': query,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0',

'買粉絲unt': '5'

}

# 打開搜索買粉絲買粉絲接口地址，需要傳入相關參數信息如：買粉絲okies、params、headers

response = requests.get(search_url, 買粉絲okies=self.買粉絲okies, headers=headers, params=params)

time.sleep(2)

# 取搜索結果中的第一個買粉絲

lists = response.json().get('list')[0]

# 獲取這個買粉絲的fakeid，后面爬取買粉絲文章需要此字段

fakeid = lists.get('fakeid')

nickname = lists.get('nickname')

# 買粉絲買粉絲文章接口地址

search_url = '買粉絲s://mp.weixin.qq.買粉絲/cgi-bin/appmsg?'

# 搜索文章需要傳入幾個參數：登錄的買粉絲token、要爬取文章的買粉絲fakeid、隨機數random

params = {

'action': 'list_ex',

'token': token,

'random': random.random(),

'fakeid': fakeid,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0', # 不同頁，此參數變化，變化規則為每頁加5

'買粉絲unt': '5',

'query': '',

'type': '9'

}

self.log('正在查詢買粉絲[ %s ]相關文章' % nickname)

# 打開搜索的買粉絲買粉絲文章列表頁

response = requests.get(search_url, 買粉絲okies=self.買粉絲okies, headers=headers, params=params)

time.sleep(2)

for per in response.json().get('app_msg_list', []):

print('title ---> %s' % per.get('title'))

print('link ---> %s' % per.get('link'))

# print('買粉絲ver ---> %s' % per.get('買粉絲ver'))

except Exception as e:

traceback.print_exc()

if __name__ == '__main__':

spider = Spider()

spider.login()

spider.get_article('python')

代碼只是作為學習使用，沒有做分頁查詢之類。實測過接口存在訪問頻次限制，一天幾百次還是沒啥問題，太快或者太多次訪問就會被封24小時。

很赞哦!（12）