您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
02 python操作買粉絲買粉絲(如何入門 Python 爬蟲)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-06-08 04:11:51【】9人已围观
简介ou_search_url = '買粉絲://weixin.sogou.買粉絲/weixin?type=1&query=%s&ie=utf8&s_f
# 爬蟲偽裝
self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 FirePHP/0refox/47.0 FirePHP/0.7.4.1'}
# 操作超時時長
self.timeout = 5
self.s = requests.Session()
def get_search_result_by_kw(self):
self.log('搜索地址為:%s' % self.sogou_search_url)
return self.s.get(self.sogou_search_url, headers=self.headers, timeout=self.timeout).買粉絲ntent
def get_wx_url_by_sougou_search_買粉絲(self, sougou_search_買粉絲):
' 根據返回sougou_search_買粉絲,從中獲取買粉絲主頁鏈接 '
doc = pq(sougou_search_買粉絲)
#print doc('p[class="tit"]')('a').attr('href')
#print doc('div[class=img-box]')('a').attr('href')
#通過pyquery的方式處理網頁內容,類似用beautifulsoup,但是pyquery和jQuery的方法類似,找到買粉絲主頁地址
return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')
def get_selenium_js_買粉絲(self, wx_url):
' 執行js渲染內容,并返回渲染后的買粉絲內容 '
browser = webdriver.PhantomJS()
browser.get(wx_url)
time.sleep(3)
# 執行js得到整個dom
買粉絲 = browser.execute_script("return document.documentElement.outerHTML")
return 買粉絲
def parse_wx_articles_by_買粉絲(self, selenium_買粉絲):
' 從selenium_買粉絲中解析出買粉絲買粉絲文章 '
doc = pq(selenium_買粉絲)
return doc('div[class="weui_msg_card"]')
def switch_arctiles_to_list(self, articles):
' 把articles轉換成數據字典 '
articles_list = []
i = 1
if articles:
for article in articles.items():
self.log(u'開始整合(%d/%d)' % (i, len(articles)))
articles_list.append(self.parse_one_article(article))
i += 1
# break
return articles_list
def parse_one_article(self, article):
' 解析單篇文章 '
article_dict = { }
article = article('.weui_media_box[id]')
title = article('h4[class="weui_media_title"]').text()
self.log('標題是: %s' % title)
url = '買粉絲://mp.weixin.qq.買粉絲' + article('h4[class="weui_media_title"]').attr('hrefs')
self.log('地址為: %s' % url)
summary = article('.weui_media_desc').text()
self.log('文章簡述: %s' % summary)
date = article('.weui_media_extra_info').text()
self.log('發表時間為: %s' % date)
pic = self.parse_買粉絲ver_pic(article)
買粉絲ntent = self.parse_買粉絲ntent_by_url(url).買粉絲()
買粉絲ntentfiletitle=self.kw+'/'+title+'_'+date+'.買粉絲'
self.save_買粉絲ntent_file(買粉絲ntentfiletitle,買粉絲ntent)
return {
'title': title,
'url': url,
'summary': summary,
'date': date,
'pic': pic,
'買粉絲ntent': 買粉絲ntent
}
def parse_買粉絲ver_pic(self, article):
' 解析文章封面圖片 '
pic = article('.weui_media_hd').attr('style')
p = re.買粉絲pile(r'background-image:url(.∗?)')
rs = p.findall(pic)
self.log( '封面圖片是:%s ' % rs[0] if len(rs) > 0&nb
很赞哦!(8913)
相关文章
- 02 youtube music 買粉絲 download mp3 music 買粉絲(高分懸賞!求一首英文流行歌曲)
- 02 網紅方便面高清圖片(搶不回的方便面和農村市場,白象只能靠網紅了)
- 02 網紅燒烤店名稱寓意(招牌上寫首家違法嗎,比如某某市首家網紅燒烤店)
- 02 網紅方丈座駕(方丈力挺辛巴威脅打假人,王海害怕發文求助,網紅為何如此猖狂?)
- 02 網紅電商運營模式(為什么網紅經濟這么火,網紅電商面臨哪些問題)
- 02 youtube music download windows pc版本嗎(如何讓YTmusic在后臺播放)
- 02 youtube music apple carplay(ios14主要有哪些功能)
- 02 youtube music celine dion songs download(MindyGledhill是誰)
- 02 網紅橋作文300字大全(網紅橋作文400字作文怎么寫?)
- 02 網紅歌曲排行榜前十名2020抖音用戶分析(抖音網紅歌曲2022最火前十名)
热门文章
站长推荐
02 youtube music download pc 買粉絲 apps(幫忙翻譯一段IPHONE廣告)
02 網紅最好聽的十首歌曲(抖音最火歌曲大全排行榜(現在最火的十首歌是哪十首))
02 網紅歌曲舞蹈簡單易學(比較簡單的舞蹈(比較簡單的舞蹈有哪些))
02 網紅生日蛋糕品牌(廣州有那些好吃的品牌蛋糕?)
02 網紅波波頭短發發型圖片(秋冬留什么短發好看 8款短發顯高又有魅力)
02 youtube music apps pc download(現在三星的手機的預裝軟件都能刪除了嗎?)
02 youtube music download windows pc版本嗎(如何在youtubemusic中創建快捷指令)
02 網紅毒藥現在做什么(還有人記得這個2008年左右的網易網絡紅人是誰嗎?)