01 youtube軟件下載網站源碼帶蜘蛛(學Python能干什么？)

學Python能干什么？

Python可以做什么？

1）網站后端程序員：使用它單間網站，后臺服務比較容易維護。如：Gmail、Youtube、知乎、豆瓣

2）自動化運維：自動化處理大量的運維任務

3）數據分析師：快速開發快速驗證，分析數據得到結果

4）游戲開發者：一般是作為游戲腳本內嵌在游戲中

5）自動化測試：編寫為簡單的實現腳本，運用在Selenium/lr中，實現自動化。

6）網站開發：借助django,flask框架自己搭建網站。

7）爬蟲獲取或處理大量信息：批量下載美劇、運行投資策略、爬合適房源、系統管理員的腳本任務等。

開源爬蟲框架各有什么優缺點？

首先爬蟲框架有三種

分布式爬蟲：Nutch

JAVA單機爬蟲：Crawler4j，WebMagic，WebCollector

非JAVA單機爬蟲：scrapy

第一類:分布式爬蟲優點：

海量URL管理

網速快

缺點：

Nutch是為搜索引擎設計的爬蟲，大多數用戶是需要一個做精準數據爬取（精抽取）的爬蟲。Nutch運行的一套流程里，有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。

用Nutch做數據抽取，會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發，來使得它適用于精抽取的業務，基本上就要破壞Nutch的框架，把Nutch改的面目全非。

Nutch依賴hadoop運行，hadoop本身會消耗很多的時間。如果集群機器數量較少，爬取速度反而不如單機爬蟲。

Nutch雖然有一套插件機制，而且作為亮點宣傳。可以看到一些開源的Nutch插件，提供精抽取的功能。但是開發過Nutch插件的人都知道，Nutch的插件系統有多蹩腳。利用反射的機制來加載和調用插件，使得程序的編寫和調試都變得異常困難，更別說在上面開發一套復雜的精抽取系統了。

Nutch并沒有為精抽取提供相應的插件掛載點。Nutch的插件有只有五六個掛載點，而這五六個掛載點都是為了搜索引擎服務的，并沒有為精抽取提供掛載點。大多數Nutch的精抽取插件，都是掛載在“頁面解析”(parser)這個掛載點的，這個掛載點其實是為了解析鏈接（為后續爬取提供URL），以及為搜索引擎提供一些易抽取的網頁信息(網頁的meta信息、text)

用Nutch進行爬蟲的二次開發，爬蟲的編寫和調試所需的時間，往往是單機爬蟲所需的十倍時間不止。了解Nutch源碼的學習成本很高，何況是要讓一個團隊的人都讀懂Nutch源碼。調試過程中會出現除程序本身之外的各種問題(hadoop的問題、hbase的問題)。

Nutch2的版本目前并不適合開發。官方現在穩定的Nutch版本是nutch2.2.1，但是這個版本綁定了gora-0.3。Nutch2.3之前、Nutch2.2.1之后的一個版本，這個版本在官方的SVN中不斷更新。而且非常不穩定（一直在修改）。

第二類:JAVA單機爬蟲優點：

支持多線程。

支持代理。

能過濾重復URL的。

負責遍歷網站和下載頁面。爬js生成的信息和網頁信息抽取模塊有關，往往需要通過模擬瀏覽器(買粉絲unit,selenium)來完成。

缺點：設計模式對軟件開發沒有指導性作用。用設計模式來設計爬蟲，只會使得爬蟲的設計更加臃腫。第三類:非JAVA單機爬蟲優點：

先說python爬蟲，python可以用30行代碼，完成JAVA 

50行代碼干的任務。python寫代碼的確快，但是在調試代碼的階段，python代碼的調試往往會耗費遠遠多于編碼階段省下的時間。

使用python開發，要保證程序的正確性和穩定性，就需要寫更多的測試模塊。當然如果爬取規模不大、爬取業務不復雜，使用scrapy這種爬蟲也是蠻不錯的，可以輕松完成爬取任務。

缺點：

bug較多，不穩定。

學Python能干什么？

Python可以做什么？

1）網站后端程序員：使用它單間網站，后臺服務比較容易維護。如：Gmail、Youtube、知乎、豆瓣

2）自動化運維：自動化處理大量的運維任務

3）數據分析師：快速開發快速驗證，分析數據得到結果

4）游戲開發者：一般是作為游戲腳本內嵌在游戲中

5）自動化測試：編寫為簡單的實現腳本，運用在Selenium/lr中，實現自動化。

6）網站開發：借助django,flask框架自己搭建網站。

7）爬蟲獲取或處理大量信息：批量下載美劇、運行投資策略、爬合適房源、系統管理員的腳本任務等。

開源爬蟲框架各有什么優缺點？

首先爬蟲框架有三種

分布式爬蟲：Nutch

JAVA單機爬蟲：Crawler4j，WebMagic，WebCollector

非JAVA單機爬蟲：scrapy

第一類:分布式爬蟲優點：

海量URL管理

網速快

缺點：

Nutch是為搜索引擎設計的爬蟲，大多數用戶是需要一個做精準數據爬取（精抽取）的爬蟲。Nutch運行的一套流程里，有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。

用Nutch做數據抽取，會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發，來使得它適用于精抽取的業務，基本上就要破壞Nutch的框架，把Nutch改的面目全非。

Nutch依賴hadoop運行，hadoop本身會消耗很多的時間。如果集群機器數量較少，爬取速度反而不如單機爬蟲。

Nutch雖然有一套插件機制，而且作為亮點宣傳。可以看到一些開源的Nutch插件，提供精抽取的功能。但是開發過Nutch插件的人都知道，Nutch的插件系統有多蹩腳。利用反射的機制來加載和調用插件，使得程序的編寫和調試都變得異常困難，更別說在上面開發一套復雜的精抽取系統了。

Nutch并沒有為精抽取提供相應的插件掛載點。Nutch的插件有只有五六個掛載點，而這五六個掛載點都是為了搜索引擎服務的，并沒有為精抽取提供掛載點。大多數Nutch的精抽取插件，都是掛載在“頁面解析”(parser)這個掛載點的，這個掛載點其實是為了解析鏈接（為后續爬取提供URL），以及為搜索引擎提供一些易抽取的網頁信息(網頁的meta信息、text)

用Nutch進行爬蟲的二次開發，爬蟲的編寫和調試所需的時間，往往是單機爬蟲所需的十倍時間不止。了解Nutch源碼的學習成本很高，何況是要讓一個團隊的人都讀懂Nutch源碼。調試過程中會出現除程序本身之外的各種問題(hadoop的問題、hbase的問題)。

Nutch2的版本目前并不適合開發。官方現在穩定的Nutch版本是nutch2.2.1，但是這個版本綁定了gora-0.3。Nutch2.3之前、Nutch2.2.1之后的一個版本，這個版本在官方的SVN中不斷更新。而且非常不穩定（一直在修改）。

第二類:JAVA單機爬蟲優點：

支持多線程。

支持代理。

能過濾重復URL的。

負責遍歷網站和下載頁面。爬js生成的信息和網頁信息抽取模塊有關，往往需要通過模擬瀏覽器(買粉絲unit,selenium)來完成。

缺點：設計模式對軟件開發沒有指導性作用。用設計模式來設計爬蟲，只會使得爬蟲的設計更加臃腫。第三類:非JAVA單機爬蟲優點：

先說python爬蟲，python可以用30行代碼，完成JAVA 

50行代碼干的任務。python寫代碼的確快，但是在調試代碼的階段，python代碼的調試往往會耗費遠遠多于編碼階段省下的時間。

使用python開發，要保證程序的正確性和穩定性，就需要寫更多的測試模塊。當然如果爬取規模不大、爬取業務不復雜，使用scrapy這種爬蟲也是蠻不錯的，可以輕松完成爬取任務。

缺點：

bug較多，不穩定。

很赞哦!（65899）