01 youtube下載工具 命令行運行c++項目(python爬蟲用的哪些庫)

推薦 20 個堪稱神器的命令行工具

優質文章，第一時間送達！

1.ag：比 grep、ack 更快的遞歸搜索文件內容。

2.tig：字符模式下交互查看 git 項目，可以替代 git 命令。

3.mycli：mysql 客戶端，支持語法高亮和命令補全，效果類似 ipython，可以替代 mysql 命令。

4.jq: json 文件處理以及格式化顯示，支持高亮，可以替換 python -m json.tool。

5.shellcheck：shell 腳本靜態檢查工具，能夠識別語法錯誤以及不規范的寫法。

6.yapf：Google 開發的 python 代碼格式規范化工具，支持 pep8 以及 Google 代碼風格。

7.mosh：基于 UDP 的終端連接，可以替代 ssh，連接更穩定，即使 IP 變了，也能自動重連。

8.fzf：命令行下模糊搜索工具，能夠交互式智能搜索并選取文件或者內容，配合終端 ctrl-r 歷史 命令搜索簡直完美。

9.PathPicker(fpp):在命令行輸出中自動識別目錄和文件，支持交互式，配合 git 非常有用。

運行以下命令：

10.htop: 提供更美觀、更方便的進程監控工具，替代 top 命令。

11.axel：多線程下載工具，下載文件時可以替代 curl、wget。

12.sz/rz：交互式文件傳輸，在多重跳板機下傳輸文件非常好用，不用一級一級傳輸。

13.cloc：代碼統計工具，能夠統計代碼的空行數、注釋行、編程語言。

14.ccache：高速 C/C++編譯緩存工具，反復編譯內核非常有用。使用起來也非常方便：

改成:

15.tmux：終端復用工具，替代 screen、nohup。

16.neovim: 替代 vim。

17.script/scriptreplay: 終端會話錄制。

回放:

18.you-get: 非常強大的媒體下載工具，支持 youtube、google+、優酷、芒果 TV、騰訊視頻、秒拍等視頻下載。

還有 mac 專有的 pb買粉絲py/pbpaste：

把命令行輸出拷貝到系統粘貼板：

把系統粘貼板內容拷到終端:

mac 下的 say 命令支持多種語言(英語、普通話、粵語)文本朗讀，支持各種銷魂恐怖的語氣。跑這個命令感受下，小心被嚇著了：

19.thefuck：用途是每次命令行打錯了以后，打一句 fuck 就會自動更正命令。比如 apt-get 打成了 aptget。fuck 以后自動變成 apt-get。但還是沒加 sudo。再 fuck，成功！

又比如 git branch 打成了 git brnch。fuck！更正成 git branch。

又比如 python 打成了 puthon。fuck！一秒變 python。

而且關鍵是每次打命令和內心 os 完全一致，有種人機合一的快感。fuck！

20.tldr: 如果你經常不想詳讀 man 文檔，那么你應該試試這個小工具。

使用 $ man tar 時

使用 $ tldr tar 時

python爬蟲用的哪些庫

Python爬蟲，全稱Python網絡爬蟲，是一種按照一定的規則，自動地抓取萬維網信息的程序或腳本，主要用于抓取證券交易數據、天氣數據、網站用戶數據和圖片數據等，Python為支持網絡爬蟲正常功能實現，內置了大量的庫，主要有幾種類型。下面本篇文章就來給大家介紹。

一、Python爬蟲網絡庫

Python爬蟲網絡庫主要包括：urllib、requests、grab、pycurl、urllib3、買粉絲lib2、RoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aio買粉絲等。

二、Python網絡爬蟲框架

Python網絡爬蟲框架主要包括：grab、scrapy、pyspider、買粉絲la、portia、restkit以及demiurge等。

三、HTML/XML解析器?

●lxml：C語言編寫高效HTML/ XML處理庫。支持XPath。

●cssselect：解析DOM樹和CSS選擇器。

●pyquery：解析DOM樹和jQuery選擇器。

●BeautifulSoup：低效HTML/ XML處理庫，純Python實現。

●買粉絲5lib：根據WHATWG規范生成HTML/ XML文檔的DOM。該規范被用在現在所有的瀏覽器上。

●feedparser：解析RSS/ATOM feeds。

●MarkupSafe：為XML/HTML/XHTML提供了安全轉義的字符串。

●xmltodict：一個可以讓你在處理XML時感覺像在處理JSON一樣的Python模塊。

●x買粉絲2pdf：將HTML/CSS轉換為PDF。

●untangle：輕松實現將XML文件轉換為Python對象。

四、文本處理

用于解析和操作簡單文本的庫。

●difflib：（Python標準庫）幫助進行差異化比較。

●Levenshtein：快速計算Levenshtein距離和字符串相似度。

●fuzzywuzzy：模糊字符串匹配。

●esmre：正則表達式買粉絲。

●ftfy：自動整理Uni買粉絲de文本，減少碎片化。

五、特定格式文件處理

解析和處理特定文本格式的庫。

●tablib：一個把數據導出為XLS、CSV、JSON、YAML等格式的模塊。

●textract：從各種文件中提取文本，比如 Word、PowerPoint、PDF等。

●messytables：解析混亂的表格數據的工具。

六、自然語言處理

●NLTK：編寫Python程序來處理人類語言數據的最好平臺；

●Pattern：Python的網絡挖掘模塊；

●TextBlob：為深入自然語言處理任務提供了一致的API。是基于NLTK以及Pattern的巨人之肩上發展的；

●jieba：中文分詞工具；

●SnowNLP：中文文本處理庫；

●loso：另一個中文分詞庫；

●genius：基于條件隨機域的中文分詞；

●langid.py：獨立的語言識別系統；

●Korean：一個韓文形態庫；

●pymorphy2：俄語形態分析器(詞性標注+詞形變化引擎)；

●PyPLN：用Python編寫的分布式自然語言處理通道。這個項目的目標是創建一種簡單的方法使用NLTK通過網絡接口處理大語言庫。

七、瀏覽器自動化與仿真

●selenium：自動化真正的瀏覽器(Chrome瀏覽器，火狐瀏覽器，Opera瀏覽器，IE瀏覽器)；

●Ghost.py：對PyQt的webkit的封裝(需要PyQT)；

●Spynner：對PyQt的webkit的封裝(需要PyQT)；

●Splinter：通用API瀏覽器模擬器(selenium web驅動，Django客戶端，Zope)。

八、多重處理

●threading：Python標準庫的線程運行。對于I/O密集型任務很有效。對于CPU綁定的任務沒用，因為python GIL；

●multiprocessing：標準的Python庫運行多進程；

●celery：基于分布式消息傳遞的異步任務隊列/作業隊列；

●買粉絲ncurrent-futures：買粉絲ncurrent-futures 模塊為調用異步執行提供了一個高層次的接口。

九、異步網絡編程庫

●asyncio：(在Python 3.4 +版本以上的 Python標準庫)異步I/O，時間循環，協同程序和任務；

●Twisted：基于事件驅動的網絡引擎框架；

●Tornado：一個網絡框架和異步網絡庫；

●pulsar：Python事件驅動的并發框架；

●diesel：Python的基于綠色事件的I/O框架；

●gevent：一個使用greenlet 的基于協程的Python網絡庫；

●eventlet：有WSGI支持的異步框架；

●Tomorrow：異步代碼的奇妙的修飾語法。

十、隊列

●celery：基于分布式消息傳遞的異步任務隊列/作業隊列；

●huey：小型多線程任務隊列；

●RQ：基于Redis的輕量級任務隊列管理器；

●simpleq：一個簡單的，可無限擴展，基于Amazon SQS的隊列；

●python-gearman：Gearman的Python API。

十一、云計算

picloud：云端執行Python代碼；

dominoup.買粉絲：云端執行R，Python和matlab代碼。

十二、電子郵件

●flanker：電子郵件地址和Mime解析庫；

●Talon：Mailgun庫用于提取消息的報價和簽名。

十三、買粉絲和網絡地址操作

●furl：一個小的Python庫，使得操縱URL簡單化；

●purl：一個簡單的不可改變的URL以及一個干凈的用于調試和操作的API；

●urllib.parse：用于打破統一資源定位器(URL)的字符串在組件之間的隔斷，為了結合組件到一個URL字符串，并將“相對URL”轉化為一個絕對URL，稱之為“基本URL”；

●tldextract：從URL的注冊域和子域中準確分離TLD，使用公共后綴列表；

●etaddr：用于顯示和操縱網絡地址的Python庫。

十四、網頁內容提取

●ewspaper：用Python進行新聞提取、文章提取和內容策展；

●買粉絲2text：將HTML轉為Markdown格式文本；

●python-goose：HTML內容、文章提取器；

●lassie：人性化的網頁內容檢索工具；

●

很赞哦!（51178）