您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
01 youtube官網中文視頻數據集處理(常用的數據可視化軟件有哪些)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-06-16 19:45:33【】0人已围观
简介Hive實戰之Youtube數據集本次實戰的數據來自于"YouTube視頻統計與社交網絡"的數據集,是西蒙弗雷澤大學計算機學院在2008年所爬取的數據數據集地址數據之間采用"\t"作為分隔符具體數據如
Hive實戰之Youtube數據集
本次實戰的數據來自于"YouTube視頻統計與社交網絡"的數據集,是西蒙弗雷澤大學計算機學院在2008年所爬取的數據
數據集地址
數據之間采用"\t"作為分隔符
具體數據如下:
數據量大小為1G,條數為500萬+
使用環境為
hive-1.1.0-cdh5.4.5
hadoop-2.6.0-cdh5.4.5
演示形式為使用hive shell
我們一起來看看數據
主要的問題在于category和relatedIDs處理,由于Hive是支持array格式的,所以我們想到的是使用array來存儲category和relatedIDs,但是我們發現category的分割符是"&"而realatedIDs的分隔符是"\t",我們在創建表格的時候能夠指定array的分隔符,但是只能指定一個,所以再將數據導入到Hive表格之前我們需要對數據進行一定轉換和清洗
并且數據中肯定會存在一些不完整數據和一些奇怪的格式,所以數據的清洗是必要的,我在這里所使用的數據清洗方式是使用Spark進行清洗,也可以使用自定義UDF函數來進行清洗
數據清洗注意點
1)我們可以看到每行數據以"\t"作為分隔符,每行有十列數據,最后一列關聯ID可以為空,那么我們對數據進行split之后數組的大小要大于8
2)數據中存在 "uNiKXDA8eyQ KRQE 1035 News & Politics 107" 這樣格式的數據,所以在處理category時需要注意 News & Politics中間的 &
處理后的數據如下:
下面的實戰都是基于數據清洗后的數據進行的
1)youtube1的創建,文件格式為textfile
create table youtube1(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as textfile;
2)youtube2的創建,文件格式為orc
create table youtube2(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as orc;
3)youtube3的創建,文件格式為orc,進行桶分區
create table youtube3(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
clustered by (uploader) into 8 buckets
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as orc;
數據導入:
1)load data inpath "path" into table youtube1;
2)由于無法將textfile格式的數據導入到orc格式的表格,所以數據需要從youtube1導入到youtube2和youtube3:
insert into table youtube2 select * from youtube1;
insert into table youtube3 select * from youtube1;
1)user_tmp的創建,文件格式textfile,24buckets
create table user_tmp(uploader string,買粉絲s int,friends int)
clustered by (uploader) into 24 buckets
row format delimited
fields terminated by "\t"
stored as textfile;
2)user的創建,文件格式orc,24buckets
create table user(uploader string,買粉絲s int,friends int)
clustered by (uploader) into 24 buckets
row format delimited
fields terminated by "\t"
stored as orc;
user表的數據導入也是同理
數據導入:
1)load data inpath "path" into table user_tmp;
2)由于無法將textfile格式的數據導入到orc格式的表格,所以數據需要從user_tmp導入到user:
insert into table user select * from user_tmp;
1)統計出觀看數最多的10個視頻
2)統計出視頻類別熱度的前10個類型
3)統計出視頻觀看數最高的50個視頻的所屬類別
4)統計出觀看數最多的前N個視頻所關聯的視頻的所屬類別排行
5)篩選出每個類別中熱度最高的前10個視頻
6)篩選出每個類別中評分最高的前10個視頻
7)找出用戶中上傳視頻最多的10個用戶的所有視頻
8)篩選出每個類別中觀看數Top10
select * from youtube3 order by views desc limit 10;
結果如下:
select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from youtube3 lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc limit 10;
結果:
select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from (select * from youtube3 order by views desc limit 20) e lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc;
結果:
思路:
結果:
思路:
結果如下:
select * from youtube_category where categoryId="Music" order by ratings desc limit 10;
結果如下:
思路:
結果如下:
常用的數據可視化軟件有哪些
圖表控件可實現數據可視化,圖形化顯示當前工業領域、商業領域、金融領域等不可或缺的元素,通常采用圖表進行數據可視化展示,直觀地顯示數據、對比數據、分析數據。圖表控件就是具有這一能力的控件,很多項目開發中都會需求圖表控件。
.NET開發平臺
買粉絲://LightningChart.NET
LightningChart®.NET原名LightningChart Ultimate SDK。 LightningChart完全由GPU加速,并且性能經過優化,可用于實時顯示海量數據-超過10億個數據點。 LightningChart包括廣泛的2D,高級3D,Polar,Smith,3D餅/甜甜圈,地理地圖和GIS圖表以及適用于科學,工程,醫學,航空,貿易,能源和其他領域的體繪制功能。
Io買粉絲p .NET WinForm
Io買粉絲p .NET WinForm控件是一款100%由C#編寫、充分利用GDI+的優點的工業儀表盤控件套裝。是用于生成具有專業級外觀的儀表的控件,其自定義的屬性編輯器提供了“一行代碼,全部搞定”的簡單快捷的屬性配置方法。Io買粉絲p .NET WinForm控件包最多可提供了56種專業級控件以及繪圖控件包組件。分為標準版(StdPack)、專業版(ProPack)、曲線版(PlotPack)、終極版(UltraPack)四個版本。
TeeChart for .NET
TeeChart for .NET是優秀的工業4.0 WinForm圖表控件,官方獨家授權漢化,集功能全面、性能穩定、價格實惠等優勢于一體。TeeChart for .NET制圖控件提供了一套出色的通用組件套件,可滿足無數的制圖要求,也針對重要的垂直領域,例如金融,科學和統計領域。制圖控件提供了一套出色的通用組件套件,可滿足
很赞哦!(45196)
相关文章
- 04 辦年貨繪畫作品(作為00后的你有哪些特別的辦年味方式?)
- 04 北京市對外貿易學校老師有編制嗎(遼寧省對外貿易經濟合作廳的主要職責內設機構和人員編制)
- 06 youtube官網中文版評論置頂功能怎么開啟(App Store上有哪些冷門但逆天的 App?)
- 06 youtube官網中文版視頻怎么下載電腦端口號(有沒有 不用ITUNES 直接刷機的辦法啊)
- 04 化工廠買粉絲文章范文(觀后感怎么寫格式五篇)
- 06 youtube官網中文版視頻怎么下載電腦軟件卸載(有沒有 不用ITUNES 直接刷機的辦法啊)
- 06 youtube官網中文版評論不會直接顯示更多(如何做視頻營銷?)
- 06 youtube官網中文版評論區鏈接方法可以分為(2022最新版從0-1運營TikTok的保姆級教程)
- 06 youtube官網中文版評論怎么刪除圖片里(電腦不用軟件怎么錄屏)
- 04 北京市對外貿易學校3+2是全日制大專嗎(關于德國留學)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款的名片
职业:程序员,设计师
现居:天津市北辰北辰区
工作室:小组
Email:[email protected]
热门文章
站长推荐
06 youtube官網中文版視頻播放器官方下載11(有沒有 不用ITUNES 直接刷機的辦法啊)
06 youtube官網中文版注冊激活文件下載到(ios app上架流程是什么,怎樣避免提交審核被拒)
04 北京數字貿易示范區有哪些(劃重點!北京自貿區總體方案解讀:三大片區設在哪)
04 北京朝陽區十大網紅景點有哪些(北京十大網紅景點有哪些?)
04 加工貿易存在的問題及對策開題報告(國際貿易專業可以寫什么畢業論文題目?)
04 北京積水潭醫院買粉絲是多少(普通陽康患者是否有必要做“陽康”體檢套餐?)
04 北京CBD網紅打卡地(2021北京網紅打卡地推薦)
04 包頭實踐活動買粉絲買粉絲(2022年內蒙古科技大學包頭醫學院招生章程)