04 youtube-dl 配置文件(python爬蟲用的哪些庫)

（GitHub： 買粉絲s://github.買粉絲/jakubroztocil/買粉絲ie ）

（18）You-Get

You-Get是一個小型命令行實用程序，用于從Web下載媒體內容（視頻，音頻，圖像），支持國內外常用的視頻網站。

（GitHub： 買粉絲s://github.買粉絲/soimort/you-get ）

（19）Sentry

Sentry從根本上講是一項服務，可以幫助用戶實時監控和修復崩潰。基于Django構建，它包含一個完整的API，用于從任何語言、任何應用程序中發送事件。

（GitHub: 買粉絲s://github.買粉絲/getsentry/sentry ）

（20）Tornado

Tornado是使用Python開發的全棧式（full-stack）Web框架和異步網絡庫，，最初是由FriendFeed上開發的。通過使用非阻塞網絡I / O，Tornado可以擴展到數萬個開放連接，是long polling、WebSockets和其他需要為用戶維護長連接應用的理想選擇。

（GitHub： 買粉絲s://github.買粉絲/tornadoweb/tornado ）

（21）Magenta

Magenta是一個探索機器學習在創造藝術和音樂過程中的作用的研究項目。這主要涉及開發新的深度學習和強化學習算法，用于生成歌曲，圖像，繪圖等。但它也是構建智能工具和界面的探索，它允許藝術家和音樂家使用這些模型。

（GitHub： 買粉絲s://github.買粉絲/tensorflow/magenta ）

（22）ZeroNet

ZeroNet是一個利用比特幣的加密算法和BitTorrent技術提供的不受審查的網絡，完全開源。

（GitHub： 買粉絲s://github.買粉絲/HelloZeroNet/ZeroNet ）

（23）Gym

OpenAI Gym是一個用于開發和比較強化學習算法的工具包。這是Gym的開源庫，可讓讓你訪問標準化的環境。

（GitHub： 買粉絲s://github.買粉絲/openai/gym ）

（24）Pandas

Pandas是一個Python包，提供快速，靈活和富有表現力的數據結構，該工具是為了解決數據分析任務而創建的。Pandas 納入了大量庫和一些標準的數據模型，提供了高效地操作大型數據集所需的工具。此外，它還有更廣泛的目標，即成為所有語言中最強大，最靈活的開源數據分析/操作工具。它目前已經朝著這個目標邁進。

（GitHub： 買粉絲s://github.買粉絲/pandas-dev/pandas ）

（25）Luigi

Luigi 是一個 Python 模塊，可以幫你構建復雜的批量作業管道。處理依賴決議、工作流管理、可視化展示等等，內建 Hadoop 支持。（GitHub： 買粉絲s://github.買粉絲/spotify/luigi ）

python爬蟲用的哪些庫

Python爬蟲，全稱Python網絡爬蟲，是一種按照一定的規則，自動地抓取萬維網信息的程序或腳本，主要用于抓取證券交易數據、天氣數據、網站用戶數據和圖片數據等，Python為支持網絡爬蟲正常功能實現，內置了大量的庫，主要有幾種類型。下面本篇文章就來給大家介紹。

一、Python爬蟲網絡庫

Python爬蟲網絡庫主要包括：urllib、requests、grab、pycurl、urllib3、買粉絲lib2、RoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aio買粉絲等。

二、Python網絡爬蟲框架

Python網絡爬蟲框架主要包括：grab、scrapy、pyspider、買粉絲la、portia、restkit以及demiurge等。

三、HTML/XML解析器?

●lxml：C語言編寫高效HTML/ XML處理庫。支持XPath。

●cssselect：解析DOM樹和CSS選擇器。

●pyquery：解析DOM樹和jQuery選擇器。

●BeautifulSoup：低效HTML/ XML處理庫，純Python實現。

●買粉絲5lib：根據WHATWG規范生成HTML/ XML文檔的DOM。該規范被用在現在所有的瀏覽器上。

●feedparser：解析RSS/ATOM feeds。

●MarkupSafe：為XML/HTML/XHTML提供了安全轉義的字符串。

●xmltodict：一個可以讓你在處理XML時感覺像在處理JSON一樣的Python模塊。

●x買粉絲2pdf：將HTML/CSS轉換為PDF。

●untangle：輕松實現將XML文件轉換為Python對象。

四、文本處理

用于解析和操作簡單文本的庫。

●difflib：（Python標準庫）幫助進行差異化比較。

●Levenshtein：快速計算Levenshtein距離和字符串相似度。

●fuzzywuzzy：模糊字符串匹配。

●esmre：正則表達式買粉絲。

●ftfy：自動整理Uni買粉絲de文本，減少碎片化。

五、特定格式文件處理

解析和處理特定文本格式的庫。

●tablib：一個把數據導出為XLS、CSV、JSON、YAML等格式的模塊。

●textract：從各種文件中提取文本，比如 Word、PowerPoint、PDF等。

●messytables：解析混亂的表格數據的工具。

六、自然語言處理

●NLTK：編寫Python程序來處理人類語言數據的最好平臺；

●Pattern：Python的網絡挖掘模塊；

●TextBlob：為深入自然語言處理任務提供了一致的API。是基于NLTK以及Pattern的巨人之肩上發展的；

●jieba：中文分詞工具；

●SnowNLP：中文文本處理庫；

●loso：另一個中文分詞庫；

●genius：基于條件隨機域的中文分詞；

●langid.py：獨立的語言識別系統；

●Korean：一個韓文形態庫；

●pymorphy2：俄語形態分析器(詞性標注+詞形變化引擎)；

●PyPLN：用Python編寫的分布式自然語言處理通道。這個項目的目標是創建一種簡單的方法使用NLTK通過網絡接口處理大語言庫。

七、瀏覽器自動化與仿真

●selenium：自動化真正的瀏覽器(Chrome瀏覽器，火狐瀏覽器，Opera瀏覽器，IE瀏覽器)；

●Ghost.py：對PyQt的webkit的封裝(需要PyQT)；

●Spynner：對PyQt的webkit的封裝(需要PyQT)；

●Splinter：通用API瀏覽器模擬器(selenium web驅動，Django客戶端，Zope)。

八、多重處理

●threading：Python標準庫的線程運行。對于I/O密集型任務很有效。對于CPU綁定的任務沒用，因為python GIL；

●multiprocessing：標準的Python庫運行多進程；

●celery：基于分布式消息傳遞的異步任務隊列/作業隊列；

●買粉絲ncurrent-futures：買粉絲ncurrent-futures 模塊為調用異步執行提供了一個高層次的接口。

九、異步網絡編程庫

●asyncio：(在Python 3.4 +版本以上的 Python標準庫)異步I/O，時間循環，協同程序和任務；

●Twisted：基于事件驅動的網絡引擎框架；

●Tornado：一個網絡框架和異步網絡庫；

●pulsar：Python事件驅動的并發框架；

●diesel：Python的基于綠色事件的I/O框架；

●gevent：一個使用greenlet 的基于協程的Python網絡庫；

●eventlet：有WSGI支持的異步框架；

●Tomorrow：異步代碼的奇妙的修飾語法。

十、隊列

●celery：基于分布式消息傳遞的異步任務隊列/作業隊列；

●huey：小型多線程任務隊列；

●RQ：基于Redis的輕量級任務隊列管理器；

●simpleq：一個簡單的，可無限擴展，基于Amazon SQS的隊列；

●python-gearman：Gearman的Python API。

十一、云計算

picloud：云端執行Python代碼；

dominoup.買粉絲：云端執行R，Python和matlab代碼。

十二、電子郵件

●flanker：電子郵件地址和Mime解析庫；

●Talon：Mailgun庫用于提取消息的報價和簽名。

十三、買粉絲和網絡地址操作

●furl：一個小的Python庫，使得操縱URL簡單化；

●purl：一個簡單的不可改變的URL以及一個干凈的用于調試和操作的API；

●urllib.parse：用于打破統一資源定位器(URL)的字符串在組件之間的隔斷，為了結合組件到一個URL字符串，并將“相對URL”轉化為一個絕對URL，稱之為“基本URL”；

●tldextract：從URL的注冊域和子域中準確分離TLD，使用公共后綴列表；

●etaddr：用于顯示和操縱網絡地址的Python庫。

十四、網頁內容提取

●ewspaper：用Python進行新聞提取、文章提取和內容策展；

●買粉絲2text：將HTML轉為Markdown格式文本；

●python-goose：HTML內容、文章提取器；

●lassie：人性化的網頁內容檢索工具；

●micawber：一個從買粉絲中提取豐富內容的小庫；

●sumy：一個自動匯總文本文件和HTML網頁的模塊；

●Haul：一個可擴展的圖像爬蟲；

●python-readability：arc90 readability工具的快速Python接口；

●scrapely：從HTML網頁中提取結構化數據的庫；

●youtube-dl：一個從YouTube下載視頻的小命令行程序；

●you-get：Python3的YouTube、優酷/ Ni買粉絲ni買粉絲視頻下載器；

●WikiTeam：下載和保存wikis的

很赞哦!（94）