03 youtube官網 中文新聞數據爬取及使用管理(python爬蟲用的哪些庫)

n：一個韓文形態庫；

●pymorphy2：俄語形態分析器(詞性標注+詞形變化引擎)；

●PyPLN：用Python編寫的分布式自然語言處理通道。這個項目的目標是創建一種簡單的方法使用NLTK通過網絡接口處理大語言庫。

七、瀏覽器自動化與仿真

●selenium：自動化真正的瀏覽器(Chrome瀏覽器，火狐瀏覽器，Opera瀏覽器，IE瀏覽器)；

●Ghost.py：對PyQt的webkit的封裝(需要PyQT)；

●Spynner：對PyQt的webkit的封裝(需要PyQT)；

●Splinter：通用API瀏覽器模擬器(selenium web驅動，Django客戶端，Zope)。

八、多重處理

●threading：Python標準庫的線程運行。對于I/O密集型任務很有效。對于CPU綁定的任務沒用，因為python GIL；

●multiprocessing：標準的Python庫運行多進程；

●celery：基于分布式消息傳遞的異步任務隊列/作業隊列；

●買粉絲ncurrent-futures：買粉絲ncurrent-futures 模塊為調用異步執行提供了一個高層次的接口。

九、異步網絡編程庫

●asyncio：(在Python 3.4 +版本以上的 Python標準庫)異步I/O，時間循環，協同程序和任務；

●Twisted：基于事件驅動的網絡引擎框架；

●Tornado：一個網絡框架和異步網絡庫；

●pulsar：Python事件驅動的并發框架；

●diesel：Python的基于綠色事件的I/O框架；

●gevent：一個使用greenlet 的基于協程的Python網絡庫；

●eventlet：有WSGI支持的異步框架；

●Tomorrow：異步代碼的奇妙的修飾語法。

十、隊列

●celery：基于分布式消息傳遞的異步任務隊列/作業隊列；

●huey：小型多線程任務隊列；

●RQ：基于Redis的輕量級任務隊列管理器；

●simpleq：一個簡單的，可無限擴展，基于Amazon SQS的隊列；

●python-gearman：Gearman的Python API。

十一、云計算

picloud：云端執行Python代碼；

dominoup.買粉絲：云端執行R，Python和matlab代碼。

十二、電子郵件

●flanker：電子郵件地址和Mime解析庫；

●Talon：Mailgun庫用于提取消息的報價和簽名。

十三、買粉絲和網絡地址操作

●furl：一個小的Python庫，使得操縱URL簡單化；

●purl：一個簡單的不可改變的URL以及一個干凈的用于調試和操作的API；

●urllib.parse：用于打破統一資源定位器(URL)的字符串在組件之間的隔斷，為了結合組件到一個URL字符串，并將“相對URL”轉化為一個絕對URL，稱之為“基本URL”；

●tldextract：從URL的注冊域和子域中準確分離TLD，使用公共后綴列表；

●etaddr：用于顯示和操縱網絡地址的Python庫。

十四、網頁內容提取

●ewspaper：用Python進行新聞提取、文章提取和內容策展；

●買粉絲2text：將HTML轉為Markdown格式文本；

●python-goose：HTML內容、文章提取器；

●lassie：人性化的網頁內容檢索工具；

●micawber：一個從買粉絲中提取豐富內容的小庫；

●sumy：一個自動匯總文本文件和HTML網頁的模塊；

●Haul：一個可擴展的圖像爬蟲；

●python-readability：arc90 readability工具的快速Python接口；

●scrapely：從HTML網頁中提取結構化數據的庫；

●youtube-dl：一個從YouTube下載視頻的小命令行程序；

●you-get：Python3的YouTube、優酷/ Ni買粉絲ni買粉絲視頻下載器；

●WikiTeam：下載和保存wikis的工具。

十五、WebSocket

●Crossbar：開源的應用消息傳遞路由器；

●AutobahnPython：提供了WebSocket協議和WAMP協議的Python實現并且開源；

●WebSocket-for-Python：Python 2和3以及PyPy的WebSocket客戶端和服務器庫。

十六、DNS解析

●dnsyo：在全球超過1500個的DNS服務器上檢查你的DNS；

●pycares：c-ares的接口。

十七、計算機視覺

●OpenCV：開源計算機視覺庫；

●SimpleCV：用于照相機、圖像處理、特征提取、格式轉換的簡介，可讀性強的接口；

●mahotas：快速計算機圖像處理算法，完全基于 numpy 的數組作為它的數據類型。

十八、代理服務器

●shadowsocks：一個快速隧道代理，可幫你穿透防火墻；

●tproxy：tproxy是一個簡單的TCP路由代理，基于Gevent，用Python進行配置。

十九、其他Python工具列表

●awesome-python

●pycrumbs

●python-github-projects

●python_reference

●pythonidae

很赞哦!（8）