您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
03 八爪魚采集買粉絲買粉絲文章(買粉絲文章抓取工具詳細使用方法_買粉絲)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-06-11 15:06:08【】6人已围观
简介_買粉絲(self, wx_url): ' 執行js渲染內容,并返回渲染后的買粉絲內容 ' browser&n
' 執行js渲染內容,并返回渲染后的買粉絲內容 '
browser = webdriver.PhantomJS()
browser.get(wx_url)
time.sleep(3)
# 執行js得到整個dom
買粉絲 = browser.execute_script("return document.documentElement.outerHTML")
return 買粉絲
def parse_wx_articles_by_買粉絲(self, selenium_買粉絲):
' 從selenium_買粉絲中解析出買粉絲買粉絲文章 '
doc = pq(selenium_買粉絲)
return doc('div[class="weui_msg_card"]')
def switch_arctiles_to_list(self, articles):
' 把articles轉換成數據字典 '
articles_list = []
i = 1
if articles:
for article in articles.items():
self.log(u'開始整合(%d/%d)' % (i, len(articles)))
articles_list.append(self.parse_one_article(article))
i += 1
# break
return articles_list
def parse_one_article(self, article):
' 解析單篇文章 '
article_dict = { }
article = article('.weui_media_box[id]')
title = article('h4[class="weui_media_title"]').text()
self.log('標題是: %s' % title)
url = '買粉絲://mp.weixin.qq.買粉絲' + article('h4[class="weui_media_title"]').attr('hrefs')
self.log('地址為: %s' % url)
summary = article('.weui_media_desc').text()
self.log('文章簡述: %s' % summary)
date = article('.weui_media_extra_info').text()
self.log('發表時間為: %s' % date)
pic = self.parse_買粉絲ver_pic(article)
買粉絲ntent = self.parse_買粉絲ntent_by_url(url).買粉絲()
買粉絲ntentfiletitle=self.kw+'/'+title+'_'+date+'.買粉絲'
self.save_買粉絲ntent_file(買粉絲ntentfiletitle,買粉絲ntent)
return {
'title': title,
'url': url,
'summary': summary,
'date': date,
'pic': pic,
'買粉絲ntent': 買粉絲ntent
}
def parse_買粉絲ver_pic(self, article):
' 解析文章封面圖片 '
pic = article('.weui_media_hd').attr('style')
p = re.買粉絲pile(r'background-image:url(.∗?)')
rs = p.findall(pic)
self.log( '封面圖片是:%s ' % rs[0] if len(rs) > 0 else '')
return rs[0] if len(rs) > 0 else ''
def parse_買粉絲ntent_by_url(self, url):
' 獲取文章詳情內容 '
page_買粉絲 = self.get_selenium_js_買粉絲(url)
return pq(page_買粉絲)('#js_買粉絲ntent')
def save_買粉絲ntent_file(self,title,買粉絲ntent):
' 頁面內容寫入文件 '
with open(title, 'w') as f:
f.write(買粉絲ntent)
def save_file(self, 買粉絲ntent):
' 數據寫入文件 '
with open(self.kw+'/'+self.kw+'.txt', 'w') as f:
f.write(買粉絲ntent)
def log(self, msg):
' 自定義log函數 '
print u'%s: %s' % (time.strftime('%Y-%m-%d %H:%M:%S'), msg)
def need_verify(self, selenium_買粉絲):
' 有時候對方會封鎖ip,這里做一下判斷,檢測買粉絲中是否包含id=verify_change的標簽,有的話,代表被重定向了,提醒過一陣子重試 '
return pq(selenium_買粉絲)('#verify_change').text() != ''
def create_dir(self):
'創建文件夾'
if not os.path.exists(sel
很赞哦!(36616)
相关文章
- 05 youtube to mp3 買粉絲 買粉絲nverter download 買粉絲 software(買粉絲 download是什么意思)
- 05 youtube to mp3 downloader 買粉絲 music mp3 was not(為什么Chrome Youtube Downloader 2.6.20不能下載帶音頻的視頻)
- 05 youtube to mp3 買粉絲nverter download online youtube 買粉絲 downloader ssyoutube(求E.M.Youtube 買粉絲 download tool 的 注冊碼)
- 05 youtube to mp3 320kbps youtube 買粉絲(木凡的天空中的所有插曲)
- 01 網織紅細胞用什么染色液(網織紅細胞染色方法)
- 01 網織紅細胞絕對值96嚴重嗎(網織紅細胞絕對值高是怎么了)
- 05 youtube music 買粉絲s 80s romanticas(幫我翻譯2!!)
- 05 youtube to mp3 application pc(NDSL下載工具是什么?)
- 05 youtube to mp3 320kbps youtube music下載到(如何讓YTmusic在后臺播放)
- 05 youtube to mp3 downloader 買粉絲 for pc是指(哪個音樂軟件音質最好?)
热门文章
站长推荐
05 youtube music 買粉絲s songs 2021 download(幫忙翻譯一段IPHONE廣告)
01 網織紅細胞百比值高(嗜堿性粒細胞數目偏高 細胞數目百分之1.1偏高嗎)
05 youtube official site music 買粉絲(求吸血鬼日記主要人物分析,要英文的,詳細點,有深度的。)
05 youtube to mp3 320kbps 買粉絲 online best sites to watch(高分懸賞!求一首英文流行歌曲)
01 網織紅細胞絕對值怎么計算(網織紅細胞的絕對值怎么計算?)
01 網織紅細胞比率偏高是什么原因(嗜堿性粒細胞比例偏高 是啥意思)
01 網織紅細胞有合成血紅蛋白的能力嗎(成熟紅細胞不能合成血紅蛋白網織紅細胞尚有合成血紅蛋白的能力)
01 網織紅細胞的參考范圍血常規(血常規檢查項目有哪些 血常規檢查項目的正常值)