-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathindex.html
175 lines (175 loc) · 8.42 KB
/
index.html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta name="X-UA-Compatible" content="IE=edge">
<title>个人主页—李宜润</title>
<meta name="description" content="mia">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="short icon" href="/favicon.png">
<link rel="stylesheet" href="/css/apollo.css">
<link rel="stylesheet"
href="http://fonts.useso.com/css?family=Source+Sans+Pro:400,600"
type="text/css">
</head>
<body>
<div class="wrap">
<header>
<a href="/" class="logo-link"><img src="/favicon.png"></a>
<ul class="nav nav-list">
<li class="nav-list-item"><a href="/" target="_self"
class="nav-list-link active">PROJECT</a></li>
<li class="nav-list-item"><a href="/archives/" target="_self"
class="nav-list-link">SKILL</a></li>
<li class="nav-list-item"><a
href="https://github.com/Larry-Arun" target="_blank"
class="nav-list-link">GITHUB</a></li>
<li class="nav-list-item"><a
href="https://Larry-Arun.github.io/resume/" target="_blank"
class="nav-list-link">RESUME</a></li>
<li class="nav-list-item"><a
href="https://Larry-Arun.github.io/Tank-World-War" target="_blank"
class="nav-list-link"></a></li>
</ul>
</header>
<section class="container">
<ul class="home post-list">
<li class="post-list-item"><article class="post-block">
<h2 class="post-title">
<a href="/project/2018/05/手机通信话单分析项目/" class="post-title-link">手机通信话单分析项目</a>
</h2>
<div class="post-info">June 8, 2018</div>
<div class="post-content">
<p>需求描述</p>
<ul>
<li>通信运营商每时每刻会产生大量的通信数据，需要定时定期的对已有数据进行离线的分析处理。例如，当日话单，
月度话单，季度话单，年度话单，通话次数，通话总时长等等。项目需求就是要满足用户对通信话单的查询和展示。</li>
</ul>
<p>项目描述</p>
<ul>
<li>项目一共分为三块，第一部分为数据生产，在这部分要清楚项目数据的结构和内容，预判可能出现的问题并进行数据清洗，
将数据写入到日志文件中；第二部分是将生产的数据落地到HBase中，首先是用Flume监控日志文件，
采集实时产生的数据到kafka集群，再调用Kafka和HBase的API，将数据写入到HBase中。
第三部分是对HBase中采集到的数据进行分析，统计出我们想要的结果，将统计结果写入到MySQL中让用户查询。</li>
</ul>
</div>
<a href="/project/2018/05/手机通信话单分析项目/" class="read-more">more...</a>
</article></li>
<li class="post-list-item"><article class="post-block">
<h2 class="post-title">
<a href="/project/2018/04/HBase项目-微博系统/" class="post-title-link">HBase项目-微博系统</a>
</h2>
<div class="post-info">May 28, 2018</div>
<div class="post-content">
<p>需求描述</p>
<ul>
<li>用户发布微博内容。</li>
<li>用户社交体现：关注用户，取关用户。</li>
<li>拉取关注的人的微博内容。</li>
</ul>
<p>项目描述</p>
<ul>
<li>微博系统包括三张表，一张是微博内容表（RowKey：用户ID_时间；Family：info；column：content；value:微博内容String），
一张是用户关系表（RowKey：用户ID；Family：attends,fans；column：用户ID；value：用户ID；），
一张是收件箱表（RowKey：用户ID；Family：info；column：用户ID；value：微博内容的RowKey)。
当用户发布微博内容时，我们在微博内容表中添加相应的行。当有用户添加关注用户时，我们在该用户的用户关系表列簇（attends）中添加相应列，
在被关注用户的用户关系表列簇（fans）中添加相应列，在收件箱表中添加相应列。收件箱表存放着每个用户及其关注用户的微博内容的RowKey，
收件箱表对所关注用户多个微博内容采用的是版本号的方法。当用户的关注用户发表微博内容时，在此用户的收件箱表中添加相应的版本号。</li>
</ul>
</div>
<a href="/project/2018/04/HBase项目-微博系统/" class="read-more">more...</a>
</article></li>
<li class="post-list-item"><article class="post-block">
<h2 class="post-title">
<a href="/project/2018/03/Spark Streaming实时流处理日志项目/"
class="post-title-link"> Spark Streaming实时流处理日志项目</a>
</h2>
<div class="post-info">May 18, 2018</div>
<div class="post-content">
<p>需求描述</p>
<ul>
<li>实现实时（到现在为止）的日志访问统计操作。</li>
</ul>
<p>项目描述</p>
<ul>
<li>项目数据来源的日志为Python脚本产生的，通过crontab定时执行Python脚本模仿服务器日志的产生，
日志包括ip、time、url、status、referer信息。然后使用flume采集产生的日志数据并sink到
Kafka消息队列中，然后将日志信息传给Spark Streaming进行实时数据处理。最后将计算结果写入 到hbase上。</li>
</ul>
</div>
<a href="/project/2018/03/Spark Streaming实时流处理日志项目/"
class="read-more">more...</a>
</article></li>
<li class="post-list-item"><article class="post-block">
<h2 class="post-title">
<a href="/project/2018/02/某视频网站运营指标分析项目/" class="post-title-link">Hive项目-某视频网站运营指标分析</a>
</h2>
<div class="post-info">May 8, 2018</div>
<div class="post-content">
<p>需求描述:统计某视频网站的常规指标，各种TopN指标.</p>
<ul>
<li>统计视频观看数Top10；视频类别热度Top10；</li>
<li>统计视频观看数Top20所属类别包含这Top20视频的个数；</li>
<li>统计视频观看数Top50所关联视频的所属类别Rank；</li>
<li>统计每个类别中的视频热度Top10；</li>
<li>统计每个类别中视频流量Top10；</li>
<li>统计上传视频最多的用户Top10以及他们上传的视频；</li>
<li>统计每个类别视频观看数Top10。</li>
</ul>
</div>
<a href="/project/2018/02/某视频网站运营指标分析项目/" class="read-more">more...</a>
</article></li>
<!--
<li class="post-list-item"><article class="post-block">
<h2 class="post-title">
<a href="/project/2018/01/纸牌比大小游戏/" class="post-title-link">纸牌比大小游戏</a>
</h2>
<div class="post-info">April 16, 2018</div>
<div class="post-content">
<h3 id="1-block-vs-inline-vs-inline-block">
<a href="#1-block-vs-inline-vs-inline-block" class="headerlink"
title="1.block vs inline vs inline-block"></a>
</h3>
<p>需求描述</p>
<ul>
<li>先创建一副扑克牌，遍历这副扑克牌将每张牌的花色和大小打印出来，然后对这幅扑克牌进行洗牌，
再创建两个玩家，由用户输入，玩家ID和姓名。每个玩家发两张牌，比较两个玩家手中最大手牌的大小，
哪个玩家最大手牌的点数最大就获胜，点数一样的情况下，按照花色黑红梅方的顺序判定大小， 最后输出两名玩家的手牌。</li>
</ul>
</div>
<a href="/project/2018/01/纸牌比大小游戏/" class="read-more">more...</a>
</article></li>
-->
</ul>
</section>
<footer>
<div class="paginator">
<a href="/" class="next">TOP</a>
</div>
<div class="copyright">
<p>
© 2018 - project <a href="https://Larry-Arun.github.io/resume/"
target="_blank">My Resume</a>
</p>
</div>
</footer>
</div>
<script async
src="//cdn.bootcss.com/mathjax/2.6.1/MathJax.js?config=TeX-MML-AM_CHTML"></script>
<script>
(function(b, o, i, l, e, r) {
b.GoogleAnalyticsObject = l;
b[l] || (b[l] = function() {
(b[l].q = b[l].q || []).push(arguments)
});
b[l].l = +new Date;
e = o.createElement(i);
r = o.getElementsByTagName(i)[0];
e.src = '//www.google-analytics.com/analytics.js';
r.parentNode.insertBefore(e, r)
}(window, document, 'script', 'ga'));
ga('create', "UA-65933410-1", 'auto');
ga('send', 'pageview');
</script>
</body>
</html>