01 youtube下載電腦版網站論壇數據集(電腦用什么下載軟件比較好？)

Hive實戰之Youtube數據集

本次實戰的數據來自于"YouTube視頻統計與社交網絡"的數據集，是西蒙弗雷澤大學計算機學院在2008年所爬取的數據

數據集地址

數據之間采用"\t"作為分隔符

具體數據如下：

數據量大小為1G，條數為500萬+

使用環境為

hive-1.1.0-cdh5.4.5

hadoop-2.6.0-cdh5.4.5

演示形式為使用hive shell

我們一起來看看數據

主要的問題在于category和relatedIDs處理，由于Hive是支持array格式的，所以我們想到的是使用array來存儲category和relatedIDs，但是我們發現category的分割符是"&"而realatedIDs的分隔符是"\t"，我們在創建表格的時候能夠指定array的分隔符，但是只能指定一個，所以再將數據導入到Hive表格之前我們需要對數據進行一定轉換和清洗

并且數據中肯定會存在一些不完整數據和一些奇怪的格式，所以數據的清洗是必要的，我在這里所使用的數據清洗方式是使用Spark進行清洗，也可以使用自定義UDF函數來進行清洗

數據清洗注意點

1）我們可以看到每行數據以"\t"作為分隔符，每行有十列數據，最后一列關聯ID可以為空，那么我們對數據進行split之后數組的大小要大于8

2）數據中存在 "uNiKXDA8eyQ KRQE 1035 News & Politics 107" 這樣格式的數據，所以在處理category時需要注意 News & Politics中間的 &

處理后的數據如下：

下面的實戰都是基于數據清洗后的數據進行的

1）youtube1的創建，文件格式為textfile

create table youtube1(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)

row format delimited

fields terminated by "\t"

買粉絲llection items terminated by "&"

stored as textfile;

2）youtube2的創建，文件格式為orc

create table youtube2(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)

row format delimited

fields terminated by "\t"

買粉絲llection items terminated by "&"

stored as orc;

3）youtube3的創建，文件格式為orc，進行桶分區

create table youtube3(買粉絲Id string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, 買粉絲ments int,relatedId array<string>)

clustered by (uploader) into 8 buckets

row format delimited

fields terminated by "\t"

買粉絲llection items terminated by "&"

stored as orc;

數據導入：

1）load data inpath "path" into table youtube1;

2）由于無法將textfile格式的數據導入到orc格式的表格，所以數據需要從youtube1導入到youtube2和youtube3：

insert into table youtube2 select * from youtube1;

insert into table youtube3 select * from youtube1;

1）user_tmp的創建，文件格式textfile，24buckets

create table user_tmp(uploader string,買粉絲s int,friends int)

clustered by (uploader) into 24 buckets

row format delimited

fields terminated by "\t"

stored as textfile;

2）user的創建，文件格式orc，24buckets

create table user(uploader string,買粉絲s int,friends int)

clustered by (uploader) into 24 buckets

row format delimited

fields terminated by "\t"

stored as orc;

user表的數據導入也是同理

數據導入：

1）load data inpath "path" into table user_tmp;

2）由于無法將textfile格式的數據導入到orc格式的表格，所以數據需要從user_tmp導入到user：

insert into table user select * from user_tmp;

1）統計出觀看數最多的10個視頻

2）統計出視頻類別熱度的前10個類型

3）統計出視頻觀看數最高的50個視頻的所屬類別

4）統計出觀看數最多的前N個視頻所關聯的視頻的所屬類別排行

5）篩選出每個類別中熱度最高的前10個視頻

6）篩選出每個類別中評分最高的前10個視頻

7）找出用戶中上傳視頻最多的10個用戶的所有視頻

8）篩選出每個類別中觀看數Top10

select * from youtube3 order by views desc limit 10;

結果如下：

select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from youtube3 lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc limit 10;

結果：

select tagId, 買粉絲unt(a.買粉絲id) as sum from (select 買粉絲id,tagId from (select * from youtube3 order by views desc limit 20) e lateral view explode(category) catetory as tagId) a group by a.tagId order by sum desc;

結果：

思路：

結果：

思路：

結果如下：

select * from youtube_category where categoryId="Music" order by ratings desc limit 10;

結果如下：

思路：

結果如下：

電腦用什么下載軟件比較好？

騰訊軟件管理、太平洋下載中心、多多軟件站、非凡軟件站、西西軟件園都可以用于電腦下載軟件

1、騰訊軟件管理是由騰訊旗下團隊于2009年開發的一款可提供用戶進行軟件下載安裝、升級、卸載的PC端軟件。該軟件還根據收錄的軟件類型進行分類管理，方便用戶進行快速搜索以及下載。并對每一款軟件還支持相關特性的詳情描述與展示。讓用戶在下載前就能快速了解軟件是否適用當前系統、是否收費、版本情況等信息。

2、太平洋下載中心為用戶提供優質、方便、快捷、安全的下載服務。集軟件、驅動、游戲、素材下載于一體，經過十二年的積累，已經成為太平洋電腦網訪問量最高的欄目之一，成為國內領先的綜合性下載平臺。國內最老牌的軟件下載站之一，每天提供1000多萬人次的下載服務；與國內主流的軟件廠商都建立友好合作關系,基本添加太平洋分流

3、多多軟件站始建于2004年3月，是一家專門提供各類軟件下載及單機游戲下載的服務網站，現擁有國內最大的共享軟件下載中心以及單機游戲下載中心，已經成為國內大型的同類下載站之一，每日的下載量達十萬次以上，提供下載的文件儲量達150G以上；軟件社區已有幾萬的用戶群，并發表了數十萬的技術相關帖子，網站還提供了很多專門針對網站的特色服務，幾年內已為國內提供了數億次的下載服務。

4、非凡軟件站，原名霏凡軟件站。成立于2002年，是一家專門為豐富網民的互聯生活提供各類軟件下載等資源服務的網站，我們致力于快速傳播軟件資源與資訊，提供最快最新最好的軟件，現擁有軟件下載、資訊、論壇以及綠色軟件專欄等服務。

5、西西軟件園致力于打造安全下載網站，提供海量的個人上網安全，常用軟件官方下載，辦公軟件及軟件編程開發，圖形圖像設計處理，硬件驅動，游戲等其它應用軟件的下載。也是最安全，高速的軟件下載站點。西西軟件園的資源都經過專業的網站編輯精心評測，確保軟件無毒，可用才會在網站上發

很赞哦!（9）