02 發布訂閱消息系統有哪些(買粉絲訂閱號有哪些功能)

臺，要根據大數據平臺所要搭建的數據分析工具可以支持的系統，正確的選擇操作系統的版本。

(2)搭建Hadoop集群Hadoop作為一個開發和運行處理大規模數據的軟件平臺，實現了在大量的廉價計算機組成的集群中對海量數據進行分布式計算。Hadoop框架中最核心的設計是HDFS和MapRece，HDFS是一個高度容錯性的系統，適合部署在廉價的機器上，能夠提供高吞吐量的數據訪問，適用于那些有著超大數據集的應用程序;MapRece是一套可以從海量的數據中提取數據最后返回結果集的編程模型。在生產實踐應用中，Hadoop非常適合應用于大數據存儲和大數據的分析應用，適合服務于幾千臺到幾萬臺大的服務器的集群運行，支持PB級別的存儲容量。Hadoop家族還包含各種開源組件，比如Yarn，Zookeeper，Hbase，Hive，Sqoop，Impala，Spark等。使用開源組件的優勢顯而易見，活躍的社區會不斷的迭代更新組件版本，使用的人也會很多，遇到問題會比較容易解決，同時代碼開源，高水平的數據開發工程師可結合自身項目的需求對代碼進行修改，以更好的為項目提供服務。

(3)選擇數據接入和預處理工具面對各種來源的數據，數據接入就是將這些零散的數據整合在一起，綜合起來進行分析。數據接入主要包括文件日志的接入、數據庫日志的接入、關系型數據庫的接入和應用程序等的接入，數據接入常用的工具有Flume，Logstash，NDC(網易數據運河系統)，sqoop等。對于實時性要求比較高的業務場景，比如對存在于社交網站、新聞等的數據信息流需要進行快速的處理反饋，那么數據的接入可以使用開源的Strom，Sparkstreaming等。當需要使用上游模塊的數據進行計算、統計和分析的時候，就需要用到分布式的消息系統，比如基于發布/訂閱的消息系統kafka。還可以使用分布式應用程序協調服務Zookeeper來提供數據同步服務，更好的保證數據的可靠和一致性。數據預處理是在海量的數據中提取出可用特征，建立寬表，創建數據倉庫，會使用到HiveSQL，SparkSQL和Impala等工具。隨著業務量的增多，需要進行訓練和清洗的數據也會變得越來越復雜，可以使用azkaban或者oozie作為工作流調度引擎，用來解決有多個hadoop或者spark等計算任務之間的依賴關系問題。

(4)數據存儲除了Hadoop中已廣泛應用于數據存儲的HDFS，常用的還有分布式、面向列的開源數據庫Hbase，HBase是一種key/value系統，部署在HDFS上，與Hadoop一樣，HBase的目標主要是依賴橫向擴展，通過不斷的增加廉價的商用服務器，增加計算和存儲能力。同時hadoop的資源管理器Yarn，可以為上層應用提供統一的資源管理和調度，為集群在利用率、資源統一等方面帶來巨大的好處。Ku是一個圍繞Hadoop生態圈建立的存儲引擎，Ku擁有和Hadoop生態圈共同的設計理念，可以運行在普通的服務器上，作為一個開源的存儲引擎，可以同時提供低延遲的隨機讀寫和高效的數據分析能力。Redis是一種速度非常快的非關系型數據庫，可以將存儲在內存中的鍵值對數據持久化到硬盤中，可以存儲鍵與5種不同類型的值之間的映射。

(5)選擇數據挖掘工具Hive可以將結構化的數據映射為一張數據庫表，并提供HQL的查詢功能，它是建立在Hadoop之上的數據倉庫基礎架構，是為了減少MapRece編寫工作的批處理系統，它的出現可以讓那些精通SQL技能、但是不熟悉MapRece、編程能力較弱和不擅長Java的用戶能夠在HDFS大規模數據集上很好的利用SQL語言查詢、匯總、分析數據。Impala是對Hive的一個補充，可以實現高效的SQL查詢，但是Impala將整個查詢過程分成了一個執行計劃樹，而不是一連串的MapRece任務，相比Hive有更好的并發性和避免了不必要的中間sort和shuffle。Spark可以將Job中間輸出結果保存在內存中，不需要讀取HDFS，Spark啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優化迭代工作負載。Solr是一個運行在Servlet容器的獨立的企業級搜索應用的全文搜索服務器，用戶可以通過買粉絲請求，向搜索引擎服務器提交一定格式的XML，生成索引，或者通過HTTPGET操作提出查找請求，并得到XML格式的返回結果。還可以對數據進行建模分析，會用到機器學習相關的知識，常用的機器學習算法，比如貝葉斯、邏輯回歸、決策樹、神經網絡、協同過濾等。

(6)數據的可視化以及輸出API對于處理得到的數據可以對接主流的BI系統，比如國外的Tableau、Qlikview、PowrerBI等，國內的SmallBI和新興的網易有數(可免費試用)等，將結果進行可視化，用于決策分析;或者回流到線上，支持線上業務的發展。成熟的搭建一套大數據分析平臺不是一件簡單的事情，本身就是一項復雜的工作，在這過程中需要考慮的因素有很多，比如：穩定性，可以通過多臺機器做數據和程序運行的備份，但服務器的質量和預算成本相應的會限制平臺的穩定性;可擴展性：大數據平臺部署在多臺機器上，如何在其基礎上擴充新的機器是實際應用中經常會遇到的問題;安全性：保障數據安全是大數據平臺不可忽視的問題，在海量數據的處理過程中，如何防止數據的丟失和泄漏一直是大數據安全領域的研究熱點。

大數據核心技術有哪些

大數據技術的體系龐大且復雜，基礎的技術包含數據的采集、數據預處理、分布式存儲、數據庫、數據倉庫、機器學習、并行計算、可視化等。

1、數據采集與預處理：FlumeNG實時日志收集系統，支持在日志系統中定制各類數據發送方，用于收集數據；Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。

2、數據存儲：Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用于數據存儲。HBase，是一個分布式的、面向列的開源數據庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL數據庫。

3、數據清洗：MapRece作為Hadoop的查詢引擎，用于大規模數據集的并行計算。

4、數據查詢分析：Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張數據庫表，并提供HQL(HiveSQL)查詢功能。Spark啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優化迭代工作負載。

5、數據可視化：對接一些BI平臺，將分析得到的數據進行可視化，用于指導決策服務。

大數據Kafka中常用Message Queue有哪些區別呢？

常用Message Queue對比

3.1RabbitMQ

RabbitMQ是使用Erlang編寫的一個開源的消息隊列，本身支持很多的協議：AMQP，XMPP, SMTP, STOMP，也正因如此，它非常重量級，更適合于企業級的開發。同時實現了Broker構架，這意味著消息在發送給客戶端時先在中心隊列排隊。對路由，負載均衡或者數據持久化都有很好的支持。

3.2Redis

Redis是一個基于Key-Value對的NoSQL數據庫，開發維護很活躍。雖然它是一個Key-Value數據庫存儲系統，但它本身支持MQ功能，所以完全可以當做一個輕量級的隊列服務來使用。對于RabbitMQ和Redis的入隊和出隊操作，各執行100萬次，每10萬次記錄一次執行時間。測試數據分為128Bytes、512Bytes、1K和10K四個不同大小的數據。實驗表明：入隊時，當數據比較小時Redis的性能要高于RabbitMQ，而如果數據大小超過了10K，Redis則慢的無法忍受；出隊時，無論數據大小，Redis都表現出非常好的性能，而RabbitMQ的出隊性能則遠低于Redis。

3.3ZeroMQ

ZeroMQ號稱最快的消息隊列系統，尤其針對大吞吐量的需求場景。ZeroMQ能夠實現RabbitMQ不擅長的高級/復雜的隊列，但是開發人員需要自己組合多種技術框架，技術上的復雜度是對這MQ能夠應用成功的挑戰。ZeroMQ具有一個獨特的非中間件的模式，你不需要安裝和運行一個消息服務器或中間件，因為你的應用程序將扮演這個服務器角色。你只需要簡單的引用ZeroMQ程序庫，可以使用NuGet安裝，然后你就可以愉快的在應用程序之間發送消息了。但是ZeroMQ僅提供非持久性的隊列，也就是說如果宕機，數據將會丟失。其中，Twitter的Storm 0.9.0以前的版本中默認使用ZeroMQ作為數據流的傳輸（Storm從0.9版本開始同時支持ZeroMQ和Netty作為傳輸模塊）。

3.4ActiveMQ

ActiveMQ是Apache下的一個子項目。 類似于ZeroMQ，它能夠以代理人和點對點的技術實現隊列。同時類似于RabbitMQ，它少量代碼就可以高效地實現高級應用場景。

3.5Kafka/Jafka

Kafka是Apache下的一個子項目，是一個高性能跨語言分布式發布/訂閱消息隊列系統，而Jafka是在Kafka之上孵化而來的，即Kafka的一個升級版。具有以下特性：快速持久化，可以在O(1)的系統開銷下進行消息持久化；高吞吐，在一臺普通的服務器上既可以達到10W/s的吞吐速率；完全的分布式系統，Broker、Procer、Consumer都原生自動支持分布式，自動實現負載均衡；支持Hadoop數據并行加載，對于像Hadoop的一樣的日志數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka通過Hadoop的并行加載機制統一了在線和離線的消息處理。Apache Kafka相對于ActiveMQ是一個非常輕量級的消息系統，除了性能非常好之外，還是一個工作良好的分布式系統。

上圖中一個topic配置了3個partition。Partition1有兩個offset：0和1。Partition2有4個offset。Partition3有1個offset。副本的id和副本所在的機器的id恰好相同。

如果一個topic的副本數為3，那么Kafka將在集群中為每個partition創建3個相同的副本。集群中的每個broker存儲一個或多個partition。多個procer和買粉絲nsumer可同時生產和消費數據。

很赞哦!（29119）