Skip to content

Commit

Permalink
Browse files Browse the repository at this point in the history
  • Loading branch information
DawnsonLi committed May 24, 2017
2 parents 8794a6d + a5025b6 commit 9703881
Showing 1 changed file with 2 additions and 0 deletions.
2 changes: 2 additions & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,5 +5,7 @@
针对源源不断的metrics流,我提出了一个新颖的方法用于hadoop系统的监控,这个方法的特点如下:<br>(1)与基于阈值的监控方法相互结合,使用机器学习的方法<br>(2)在数据流模型上建立基于滑动窗口的探测模型,探测模型是无监督的,当前版本使用隔离森林作为探测器<br>(3)使用探测模型对数据的标签,用于进一步的原因分析(使用机器学习和统计模型)<br>(4)利用hadoop REST API体现hadoop Queue,history job的状态,协助分析<br>(5)对hadoop系统的不同组件,和使用ganglia收集而来的系统指标分别探测,定位更加精准<br>
## 项目使用工具 <br>
使用ganglia API获取时间序列数据,并存储到时间序列数据库InfluxDB中,使用grafana进行可视化
## 项目延伸意义 <br>
给出了基于时间序列进行异常探测及原因解释的整体框架,具有很强的延伸价值


0 comments on commit 9703881

Please sign in to comment.