您现在的位置是:Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款 >
01 youtube music 買粉絲s 2022 hits youtube music(江南style的社會影響)
Instagram刷粉絲, Ins買粉絲自助下單平台, Ins買贊網站可微信支付寶付款2024-06-12 04:37:13【】6人已围观
简介Hive實戰之Youtube數據集本次實戰的數據來自于"YouTube視頻統計與社交網絡"的數據集,是西蒙弗雷澤大學計算機學院在2008年所爬取的數據數據集地址數據之間采用"\t"作為分隔符具體數據如
Hive實戰之Youtube數據集
本次實戰的數據來自于"YouTube視頻統計與社交網絡"的數據集,是西蒙弗雷澤大學計算機學院在2008年所爬取的數據
數據集地址
數據之間采用"\t"作為分隔符
具體數據如下:
數據量大小為1G,條數為500萬+
使用環境為
hive-1.1.0-cdh5.4.5
hadoop-2.6.0-cdh5.4.5
演示形式為使用hive shell
我們一起來看看數據
主要的問題在于category和relatedIDs處理,由于Hive是支持array格式的,所以我們想到的是使用array來存儲category和relatedIDs,但是我們發現category的分割符是"&"而realatedIDs的分隔符是"\t",我們在創建表格的時候能夠指定array的分隔符,但是只能指定一個,所以再將數據導入到Hive表格之前我們需要對數據進行一定轉換和清洗
并且數據中肯定會存在一些不完整數據和一些奇怪的格式,所以數據的清洗是必要的,我在這里所使用的數據清洗方式是使用Spark進行清洗,也可以使用自定義UDF函數來進行清洗
數據清洗注意點
1)我們可以看到每行數據以"\t"作為分隔符,每行有十列數據,最后一列關聯ID可以為空,那么我們對數據進行split之后數組的大小要大于8
2)數據中存在 "uNiKXDA8eyQ KRQE 1035 News & Politics 107" 這樣格式的數據,所以在處理category時需要注意 News & Politics中間的 &
處理后的數據如下:
下面的實戰都是基于數據清洗后的數據進行的
1)youtube1的創建,文件格式為textfile
create table youtube1(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as textfile;
2)youtube2的創建,文件格式為orc
create table youtube2(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as orc;
3)youtube3的創建,文件格式為orc,進行桶分區
create table youtube3(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)
clustered by (uploader) into 8 buckets
row format delimited
fields terminated by "\t"
買粉絲llection items terminated by "&"
stored as orc;
數據導入:
1)load data inpath "path" into table youtube1;
2)由于無法將textfile格式的數據導入到orc格式的表格,所以數據需要從youtube1導入到youtube2和youtube3:
insert into table youtube2 select * from youtube1;
insert into table youtube3 select * from youtube1;
1)user_tmp的創建,文件格式textfile,24buckets
create table user_tmp(uploader string,買粉絲s int,friends int)
clustered by (uploader) into 24 buckets
row format delimited
fields terminated by "\t"
stored as textfile;
2)user的創建,文件格式orc,24buckets
create table user(uploader string,買粉絲s int,friends int)
clustered by (uploader) into 24 buckets
row format delimited
fields terminated by "\t"
stored as orc;
user表的數據導入也是同理
數據導入:
1)load data inpath "path" into table user_tmp;
2)由于無法將textfile格式的數據導入到orc格式的表格,所以數據需要從user_tmp導入到user:
insert into table user select * from user_tmp;
1)統計出觀看數最多的10個視頻
2)統計出視頻類別熱度的前10個類型
3)統計出視頻觀看數最高的50個視頻的所屬類別
4)統計出觀看數最多的前N個視頻所關聯的視頻的所屬類別排行
5)篩選出每個類別中熱度最高的前10個視頻
6)篩選出每個類別中評分最高的前10個視頻
7)找出用戶中上傳視頻最多的10個用戶的所有視頻
8)篩選出每個類別中觀看數Top10
select * from youtube3 order by views desc limit 10;
結果如下:
select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from youtube3 lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc limit 10;
結果:
select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from (select * from youtube3 order by views desc limit 20) e lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc;
結果:
思路:
結果:
思路:
結果如下:
select * from youtube_category where categoryId="Music" order by ratings desc limit 10;
結果如下:
思路:
結果如下:
買粉絲://v.youku.買粉絲/v_show/id_XMjczMDA3NTQw.買粉絲 麻煩我想知道這個視頻的音樂是什么 謝謝
Heat Between the Sheets - Marc Terenzi
買粉絲://買粉絲.tudou.買粉絲/programs/view/FXZPI8TuVak/isRenhe=1
播個跑步的歌曲
適合跑步播的歌曲有:《奔跑》《江南style》《Runaway Baby》《Good Feeling》《Domino》。
1、《奔跑》
《奔跑》是由黃征填詞譜曲,胡海泉編曲一首歌曲,收入于黃征2003年3月1日發行的專輯《愛情諾曼底》。這首歌節奏明快,勵志的歌詞會讓人興奮。
2、《江南style》
《江南style》于2012年8月28日超越卡莉·蕾·吉普森發表的單曲《Call Me Maybe》成為當周YouTube百大音樂視頻榜(YouTube Top 100 Music Videos)第一名。這首神曲,帶給人的力量可謂是非常神奇的,在跑步的時候特別適合聆聽。
3、《Runaway Baby》
《Runaway Baby》是美國流行搖滾歌手Bruno Mars在2010年發布的首張錄音室專輯專輯《Doo-Wops & Hooligans》中的一首歌曲。屬于輕型搖滾,適合中速的晨跑。
4、《Good Feeling》
《Good Feeling》是Flo Rida演唱的歌曲,收錄在2020年12月25日專輯《Happy New Year(Explicit)》中。屬于混合型電子搖滾,聽久了也不會累。
5、《Domino》
《Domino》是Jessie J演唱的一
很赞哦!(12516)
相关文章
- 01 蘋果手機安裝海外抖音(蘋果手機怎么下載TikTok(抖音國際版))
- 01 2021中國對外貿易依存度是多少(日本2021年對外貿易依存度是多少)
- 01 蘋果手機會員自動續費怎么取消訂閱(蘋果怎么關閉自動續費訂閱)
- 01 2020年爆紅網絡歌曲(2020年最火的歌曲排行榜前十名)
- 01 蘋果手機大陸節假日訂閱鏈接(蘋果手機怎么設置日歷的法定節假日)
- 01 蘋果手機在海外怎么看電視劇(在國外怎么用蘋果手機看國內的電視劇?)
- 01 2020年全國外經貿單證專業培訓考試中心(【國際貿易】全國單證員考試證書對于找工作用處大嗎)
- 01 2020外貿依存度是多少(2020年內蒙古對外貿易依存度為27)
- 01 2020年我國對外貿易總額超美國(日本對中國、美國的商品出口,占日本對外出口商品總額的比例是多少呢?)
- 01 2020年日本對外貿易總額是多少萬億美元(天天搭同事車想給他拿有錢怎么說?)
热门文章
站长推荐
01 2021山東外貿職業學院單招試題(山東外貿職業學院2021年普通高等教育招生章程)
01 蘋果手機為什么無法取消訂閱(蘋果手機為什么取消不了訂閱服務)
01 2021世界服務貿易博覽會(2021中國國際服務貿易交易會交通管制及易堵車時間路段)
01 2020通則貿易術語分類(2020年通則c組貿易術語與其他貿易術語的最主要區別是)
01 蘋果手機關閉訂閱服務在哪里找(蘋果手機取消訂閱在哪)
01 蘋果手機可以下載instagram嗎(ins只能用蘋果手機下載嗎)
01 2021年上半年中俄貿易額(如果中俄結盟意味著什么)
01 2020年我國貿易情況(2020年,我國成為全球唯一實現貨物貿易正增長,中國外貿為何韌性強大?)