04 youtube 買粉絲 music 買粉絲s(Hive實戰之Youtube數據集)

ile

create table youtube1(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)

row format delimited

fields terminated by "\t"

買粉絲llection items terminated by "&"

stored as textfile;

2）youtube2的創建，文件格式為orc

create table youtube2(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)

row format delimited

fields terminated by "\t"

買粉絲llection items terminated by "&"

stored as orc;

3）youtube3的創建，文件格式為orc，進行桶分區

create table youtube3(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)

clustered by (uploader) into 8 buckets

row format delimited

fields terminated by "\t"

買粉絲llection items terminated by "&"

stored as orc;

數據導入：

1）load data inpath "path" into table youtube1;

2）由于無法將textfile格式的數據導入到orc格式的表格，所以數據需要從youtube1導入到youtube2和youtube3：

insert into table youtube2 select * from youtube1;

insert into table youtube3 select * from youtube1;

1）user_tmp的創建，文件格式textfile，24buckets

create table user_tmp(uploader string,買粉絲s int,friends int)

clustered by (uploader) into 24 buckets

row format delimited

fields terminated by "\t"

stored as textfile;

2）user的創建，文件格式orc，24buckets

create table user(uploader string,買粉絲s int,friends int)

clustered by (uploader) into 24 buckets

row format delimited

fields terminated by "\t"

stored as orc;

user表的數據導入也是同理

數據導入：

1）load data inpath "path" into table user_tmp;

2）由于無法將textfile格式的數據導入到orc格式的表格，所以數據需要從user_tmp導入到user：

insert into table user select * from user_tmp;

1）統計出觀看數最多的10個視頻

2）統計出視頻類別熱度的前10個類型

3）統計出視頻觀看數最高的50個視頻的所屬類別

4）統計出觀看數最多的前N個視頻所關聯的視頻的所屬類別排行

5）篩選出每個類別中熱度最高的前10個視頻

6）篩選出每個類別中評分最高的前10個視頻

7）找出用戶中上傳視頻最多的10個用戶的所有視頻

8）篩選出每個類別中觀看數Top10

select * from youtube3 order by views desc limit 10;

結果如下：

select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from youtube3 lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc limit 10;

結果：

select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from (select * from youtube3 order by views desc limit 20) e lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc;

結果：

思路：

結果：

思路：

結果如下：

select * from youtube_category where categoryId="Music" order by ratings desc limit 10;

結果如下：

思路：

結果如下：

今日新聞淺談：Youtube Music 也加入串流音樂服務大混戰

youtube Music 在這幾天正式上線，雖然相較其他音樂服務真的晚很多，但是卻不會是一個阻礙 Youtube 發展的絆腳石，除了已經有非常強大的音樂資料庫之外，用戶的數量也早就不是其他平臺可以較勁的，而且還有像是 Live 版、惡搞版和混音版各式各樣的版本可以收聽，光想就覺得這個對手根本有課金！（最近手游玩很多...） Youtube Music 也不意外的會在音樂轉場期間播放廣告，要用付費的方式才能移除這些穿插廣告，而且付費后就可以離線收聽、背景播放；其實到現在看過比較過 Apple Music、Spotify（在臺灣則是 KKBOX 為龍頭）這些串流音樂服務之后，能提供的服務落差著實不大，完全看使用者喜歡什么類型的音樂，哪一間能提供最多該類型的音樂以及適合的價格，在這場和平之爭中用戶也許可以成為漁翁。 -- 一張圖就能看到今天最重要新聞，這么好康，不按贊嗎？ 請幫討喜小姐按贊：facebook/miluson.lu --看更多攪豬屎練肖話的 今日新聞淺談 傳送門 討喜小姐粉絲團

推薦給癮科科的線上學習課程｜開箱文工作坊 - 如何寫開箱文行銷你的 App

你或許會喜歡

超低價主流款LED（想戀愛者必看！）

家電全面下殺四天 有買有保佑

4G上網只要299！遠傳推出業界最低4G上網方案

很赞哦!（69）