02 redis消息訂閱與發布重試(請教Dubbo 如何解決分布式事務)

術包含數據的采集、數據預處理、分布式存儲、數據庫、數據倉庫、機器學習、并行計算、可視化等。

1、數據采集與預處理：FlumeNG實時日志收集系統，支持在日志系統中定制各類數據發送方，用于收集數據；Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。

2、數據存儲：Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用于數據存儲。HBase，是一個分布式的、面向列的開源數據庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL數據庫。

3、數據清洗：MapRece作為Hadoop的查詢引擎，用于大規模數據集的并行計算。

4、數據查詢分析：Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張數據庫表，并提供HQL(HiveSQL)查詢功能。Spark啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優化迭代工作負載。

5、數據可視化：對接一些BI平臺，將分析得到的數據進行可視化，用于指導決策服務。

怎樣學習大數據？

首先我們要了解Java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前后。

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當于有學習大數據基礎。

Linux：因為大數據相關軟件都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟件的運行環境和網絡環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以后新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平臺幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop里面包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬盤一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以后的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟件對它有依賴，對于我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql數據庫，因為一會裝hive的時候要用到，mysql需要掌握到什么層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的權限，修改root的密碼，創建數據庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用于把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對于會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警并能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL數據庫，他的數據是按照key和value的形式存儲的并且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用于大數據處理完成之后的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎么處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，并寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基于MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬盤。特別適合做迭代運算，所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

大學生必看最熱門的Java開源項目

11個Java熱門項目YYDS

1 、JimuReport

買粉絲s:/lgithub,買粉絲/zhangdais買粉絲tt/JimuReport

這是一款免費的數據可視化工具，報表與大屏設計!類似于excel操作風格，在線拖拽完成報表設計!功能涵蓋:報表設計、圖形報表、打印設計、大屏設計等，永久免費!

2、dolphinscheler

買粉絲s://github.買粉絲/apache/dolphinschelerStar

Apache DolphinScheler是一個可視化的分布式大數據工作流任務調度系統，DolphinScheler致力于“可視化操作工作流(任務)之間的依賴關系，并可視化監控整個數據處理過程DolphinScheler以有向無環圖(DAG)的方式將任務組裝起來，可實時監控任務的運行狀態，同時支持重試、從指定節點恢復失敗、暫停及Kil任務等操作。

3、sa-token

買粉絲s://github.買粉絲/dromara/sa-token

這可能是史上功能最全的Java權限認證框架!目前已集成一一登錄認證、權限認證、分布式Session會話、微服務網關鑒權、單點登錄、OAuth2.0、踢人下線、Redis集成、前后臺分離、記住我模式、模擬他人賬號、臨時身份切換、賬號封禁、多賬號認證體系、注解式鑒權、路由攔截式鑒權、花式token生成、自動續簽、同端互斥登錄、會話治理、密碼加密、jwt集成、Spring集成、WebFlux集成...

4、Signal-Server

買粉絲s://github.買粉絲/signalapp/Signal-ServerStar

Signal是一款私人信息收發工具,全球各地每天都有數百萬人使用Signal app進行免費即時通信Signal-Server是氣服務器端。

5、soul

買粉絲s://github.買粉絲/dromara/soul

應用于所有微服務場景的，可擴展、高性能、響應式的API網關解決方案。

6、arthas

買粉絲s://github.買粉絲/alibaba/arthas

Arthas旨在幫助開發人員解決Java應用程序的生產問題，無需修改代碼或重新啟動服務器。有了Arthas，你就可以在不重新啟動JVM或需要額外的代碼更改的情況下實時地對問題進行故障排除

7、kafka

買粉絲s://github.買粉絲/apache/kafka

kafka是一種高吞吐量的分布式發布訂閱消息系統，有如下特性:

·通過O(1)的磁盤數據結構提供消息的持久化這種結構對于即使數議TB的消息存儲也能夠保持長時間的穩定性能

高吞吐量:即使是非常普通的硬件kafka也可以支持每秒數+萬的消息。

支持通過kafka服務器和消費機集群來分區消息。

支持Hadoop并行數據加載。

8 、seata

買粉絲s://github.買粉絲/seata/seata

Seata 是一款開源的分布式事務解決方案,提供高性能和簡單易用的分布式事務服務。

9 、miaosha

買粉絲s://github.買粉絲/qiurunze123/miaosha該項目是對高并發大流量如何進行秒殺架構，而做的一個系統整理，如果你完全沒接觸過 MQSpringBoot、Redis、Dubbo、ZK 、Maven,lua等，那么我建議你可以先在網上搜一下每一塊知識的快速入門

10、rocketmq

買粉絲s://github.買粉絲/apache/rocketmqApache RocketMQ的鏡像，Apache RocketMQ是一個分布式消息傳遞和流媒體平臺，具有低延遲，高性能和可靠性，萬億級容量和靈活的可伸縮性。

11 、na買粉絲s

買粉絲s://github.買粉絲/alibaba/na買粉絲sNa買粉絲s是阿里巴巴推出來的一個新開源項目，這是一個更易干構建云原生應用的動態服務發現、配置管理和服務管理平臺。Na買粉絲s致力干幫助您發現配置和管理微服務。Na買粉絲s提供了一組簡單易用的特性集，幫助您快速實現動態服務發現、服務配置、服務元數據及流量管理。

請教Dubbo 如何解決分布式事務

目前比較多的解決方案有幾個：

一、結合MQ消息中間件實現的可靠消息最終一致性

二、TCC補償性事務解決方案

三、最大努力通知型方案

第一種方案：可靠消息最終一致性，需要業務系統結合MQ消息中間件實現，在實現過程中需要保證消息的成功發送及成功消費。即需要通過業務系統控制MQ的消息狀態

第二種方案：TCC補償性，分為三個階段TRYING-CONFIRMING-CANCELING。每個階段做不同的處理。

TRYING階段主要是對業務系統進行檢測及資源預留

CONFIRMING階段是做業務提交，通過TRYING階段執行成功后，再執行該階段。默認如果TRYING階段執行成功，CONFIRMING就一定能成功。

CANCELING階段是回對業務做回滾，在TRYING階段中，如果存在分支事務TRYING失敗，則需要調用CANCELING將已預留的資源進行釋放。

第三種方案：最大努力通知xing型，這種方案主要用在與第三方系統通訊時，比如：調用買粉絲或支付寶支付后的支付結果通知。這種方案也是結合MQ進行實現，例如：通過MQ發送買粉絲請求，設置最大通知次數。達到通知次數后即不再通知。

具體的案例你

很赞哦!（392）