02 訂閱轉換后端搭建(python后端開發需要學什么)

創建表和數據、增加的兩種方法、刪除、更新的兩種方法、查詢的13個api接口    

 Dajngo的ORM(2)    單表圖書管理系統展示和添加作業講解、choices屬性、買粉絲_now_add和買粉絲_now參數講解、url別名和反向解析，基于雙下劃線的模糊查詢，多表結構介紹，圖書管理系統編輯和刪除作業講解、多表關系模型類創建和字段說明和參數介紹、多表數據的添加操作，多表的刪除和修改、基于對象的跨表查詢、雙下劃線跨表查詢、查看原生sql語句的方法、聚合查詢、分組查詢、F查詢、Q查詢等    

 Ajax與Django/ 中間件    ajax的介紹和簡單示例，ajax登錄示例、列表數據展示示例，ajax操作買粉絲okie的補充、中間件介紹、自定義中間件的方法、5個中間件方法的介紹和使用、基于中間件的session登錄認證   

買粉絲okie、session以及用戶認證組件    買粉絲okie介紹，買粉絲okie的流程解析，django操作買粉絲okie和其他參數介紹、session的說明、django的session操作等，多表圖書管理系統作業講解    

vue初識、es6基本語法、指令系統    let、買粉絲nst、v-if、v-for、v-買粉絲、v-text、v-model、v-show、生命周期鉤子函數、    

組件化開發、組件傳值、axios簡單使用    組件化開發、組件傳值、axios簡單使用、vue-router使用、vue-cli安裝    

項目初始化/首頁    項目介紹、創建、初始化、element-ui的使用，單文件組件的使用和axios在單文件中的使用和配置、vue-cli的介紹和使用、路飛項目頂部導航欄頁面效果搭建，輪播圖組件的使用和調整、購物車頁面搭建和課程詳情頁面搭建，vue-買粉絲-player視頻播放插件    

drf組件    序列化器、drf簡單示例、restful規范、反序列化的校驗機制    

drf組件    apiview、request和response對象、modelserializer、序列化器保存數據、read_only和write_only的參數    

 drf組件    viewset、drf路由功能、viewset視圖基類的使用、視圖子類、通用視圖類genericapiview/排序、django-filter過濾器、頻率組件、分頁組件、接口文檔、異常處理、xadmin的安裝和使用、認證組件和權限組件    

git、消息隊列    git企業中的使用模式，rabbimq消息隊列的應用    

rpc通信，grpc組件    rpc的概念以及通信模式，最火的grpc組件使用   

輕量級Flask框架    Werkzeug服務介紹、Flask框架介紹    

路由系統、自定義路由擴展    

 Cookie、Session、Http請求和響應    

藍圖、消息閃現、中間件    

Flask常用擴展、WTForms、使用SQLAchemy ORM    

Admin、Restful、websocket原理、magic string, payload len,masking key     

請求和上下文、多app應用、離線腳本、自定義擴展    

服務端項目搭建，項目配置（session、數據庫、日志相關），項目初始化    

jsonrpc模塊基本配置和使用，客戶端展示首頁及登錄注冊葉綿，APICloud頁面控制管理  

python進階    并發、同步、異步、鎖，線進程概念以及協程實現原理    

mysql進階課    基礎知識梳理、索引、執行計劃    

mysql進階課    存儲引擎、日志管理、備份恢復、主從賦值、優化    

redis，mongodb    事務和發布訂閱、RDB和AOF持久化、緩存擊穿、緩存雪崩等原理介紹、 用戶管理和復制集(RS)總結、sharding cluster 分片集群的搭建、分片使用和相關策略等    

算法與設計模式    鏈表、二叉樹、常見算法、二分查找、插入排序、希爾排序、快排、堆排序、哈希查找    

算法與設計模式    設計模式，單例模式、工廠模式、策略模式、觀察者模式    

算法與設計模式    leet買粉絲de經典算法解析    

知識體系差不多就這么多了，再就是項目部分，具體項目要看需求了，學會了釣魚的方法，不怕釣不到魚哦，無論在哪個行業做什么樣的項目都沒問題呢！

我自己也搜集了一些經典的資料，要是想要加我百度網盤：艾美電商，我發給你！

五種大數據處理架構

五種大數據處理架構

大數據是收集、整理、處理大容量數據集，并從中獲得見解所需的非傳統戰略和技術的總稱。雖然處理數據所需的計算能力或存儲容量早已超過一臺計算機的上限，但這種計算類型的普遍性、規模，以及價值在最近幾年才經歷了大規模擴展。

本文將介紹大數據系統一個最基本的組件：處理框架。處理框架負責對系統中的數據進行計算，例如處理從非易失存儲中讀取的數據，或處理剛剛攝入到系統中的數據。數據的計算則是指從大量單一數據點中提取信息和見解的過程。

下文將介紹這些框架：

· 僅批處理框架：

Apache Hadoop

· 僅流處理框架：

Apache Storm

Apache Samza

· 混合框架：

Apache Spark

Apache Flink

大數據處理框架是什么？

處理框架和處理引擎負責對數據系統中的數據進行計算。雖然“引擎”和“框架”之間的區別沒有什么權威的定義，但大部分時候可以將前者定義為實際負責處理數據操作的組件，后者則可定義為承擔類似作用的一系列組件。

例如Apache Hadoop可以看作一種以MapRece作為默認處理引擎的處理框架。引擎和框架通常可以相互替換或同時使用。例如另一個框架Apache Spark可以納入Hadoop并取代MapRece。組件之間的這種互操作性是大數據系統靈活性如此之高的原因之一。

雖然負責處理生命周期內這一階段數據的系統通常都很復雜，但從廣義層面來看它們的目標是非常一致的：通過對數據執行操作提高理解能力，揭示出數據蘊含的模式，并針對復雜互動獲得見解。

為了簡化這些組件的討論，我們會通過不同處理框架的設計意圖，按照所處理的數據狀態對其進行分類。一些系統可以用批處理方式處理數據，一些系統可以用流方式處理連續不斷流入系統的數據。此外還有一些系統可以同時處理這兩類數據。

在深入介紹不同實現的指標和結論之前，首先需要對不同處理類型的概念進行一個簡單的介紹。

批處理系統

批處理在大數據世界有著悠久的歷史。批處理主要操作大容量靜態數據集，并在計算過程完成后返回結果。

批處理模式中使用的數據集通常符合下列特征…

· 有界：批處理數據集代表數據的有限集合

· 持久：數據通常始終存儲在某種類型的持久存儲位置中

· 大量：批處理操作通常是處理極為海量數據集的唯一方法

批處理非常適合需要訪問全套記錄才能完成的計算工作。例如在計算總數和平均數時，必須將數據集作為一個整體加以處理，而不能將其視作多條記錄的集合。這些操作要求在計算進行過程中數據維持自己的狀態。

需要處理大量數據的任務通常最適合用批處理操作進行處理。無論直接從持久存儲設備處理數據集，或首先將數據集載入內存，批處理系統在設計過程中就充分考慮了數據的量，可提供充足的處理資源。由于批處理在應對大量持久數據方面的表現極為出色，因此經常被用于對歷史數據進行分析。

大量數據的處理需要付出大量時間，因此批處理不適合對處理時間要求較高的場合。

Apache Hadoop

Apache Hadoop是一種專用于批處理的處理框架。Hadoop是首個在開源社區獲得極大關注的大數據框架。基于谷歌有關海量數據處理所發表的多篇論文與經驗的Hadoop重新實現了相關算法和組件堆棧，讓大規模批處理技術變得更易用。

新版Hadoop包含多個組件，即多個層，通過配合使用可處理批數據：

· HDFS：HDFS是一種分布式文件系統層，可對集群節點間的存儲和復制進行協調。HDFS確保了無法避免的節點故障發生后數據依然可用，可將其用作數據來源，可用于存儲中間態的處理結果，并可存儲計算的最終結果。

· YARN：YARN是Yet Another Resource Negotiator（另一個資源管理器）的縮寫，可充當Hadoop堆棧的集群協調組件。該組件負責協調并管理底層資源和調度作業的運行。通過充當集群資源的接口，YARN使得用戶能在Hadoop集群中使用比以往的迭代方式運行更多類型的工作負載。

· MapRece：MapRece是Hadoop的原生批處理引擎。

批處理模式

Hadoop的處理功能來自MapRece引擎。MapRece的處理技術符合使用鍵值對的map、shuffle、rece算法要求。基本處理過程包括：

· 從HDFS文件系統讀取數據集

· 將數據集拆分成小塊并分配給所有可用節點

· 針對每個節點上的數據子集進行計算（計算的中間態結果會重新寫入HDFS）

· 重新分配中間態結果并按照鍵進行分組

· 通過對每個節點計算的結果進行匯總和組合對每個鍵的值進行“Recing”

· 將計算而來的最終結果重新寫入 HDFS

優勢和局限

由于這種方法嚴重依賴持久存儲，每個任務需要多次執行讀取和寫入操作，因此速度相對較慢。但另一方面由于磁盤空間通常是服務器上最豐富的資源，這

很赞哦!（7）