1. 背景 服务可观测性，预测与发现系统性能瓶颈，透视系统状态，为系统调优和查故障提供可靠数据支撑
2. 参考和关键词 参考资料: https://www.cnblogs.COM/erda/p/15204516.htML Metrics Metrics 计算 Events 发生数量的数据集，这些数据通常具有原子性，且可以聚合。从操作系统到应用程序，任何事物都会产生 Metrics 数据，这些数据可以用来度量操作系统或应用程序是否健康，或者是用以计算一段时间内请求的平均延时。 LOGging 记录离散 Events，Logging 描述的是一些列离散事件，在缺乏有力的监控系统时，Logging 数据通常是工程师在定位生产问题时最直接的手段。如果说 Metrics 可以告诉你系统或者应用程序出现问题，那么 Logging 就可以告诉你为什么会出现问题。关于日志的采集现在也有很多方法，比如F1a;filebeat, fluented, loki 等。 Tracing • 记录应用程序操作的数据 • 一次请求的完整生命周期 • 分布式系统中一次请求经历过多个服务产生操作的数据（Spans） Tracing 是通过有向无环图的方式记录在分布式系统中发生的 Events 之间的因果关系。云原生场景下，多个服务之间或多或少存在着依赖关系，一次 Tracing 通常会经过多个服务（Span），甚至在高度复杂的分布式系统中，一次 Tracing 包含数以万计的 Span 也是可能存在的。再者，Tracing 更多的是关注这种端到端系统之间的联系，基于该需求，分布式追踪系统应运而生。
3. 规划特性  监控门户，统一监控门户，用户自定义视图，告警(页面，钉钉，邮件)；Prometheus+grafana(运维)；elasticseArch agg+数据可视化(开发)  服务日志: 记录时间(起始/结束)，用户，用户地点(ip)，服务节点(ip)，服务名称，模块名称，参数(可配置)，tracingId，支持异步写入，减少服务正常执行影响  服务性能指标，RT，请求数(1m/5m/15m)，异常数(1m/5m/15m)，失败数(1m/5m/15m)  服务调用链路，服务调用拓扑，调用关系性能，topN(最忙服务，最慢服务)  业务度量组件，如，拉单每秒字节数，数据笔数，拉单作业数

*日志收集ELK不在本次计划 *系统监控，如cpu，线程数(jvm)，内存(jvm)，磁盘io，网络io 直接使用PRometheus，不在本平台范围 4. 技术架构

可观测包括4个维度数据 ，  service-log 服务日志，用于服务审计，可加上tracingId关联调用链，存于elasticsearch  service-tracing 服务调用链跟踪，存于elasticsearch  service-metrics 业务度量，直接到Prometheus  PErformance-metrics 性能指标，存于elasticsearch，转发到Prometheus  监控门户，通过统一的数据可视化，告警可视化门户，支持用户自定义视图

1. 服务日志设计

 aspect 服务拦截，实现日志功能，通常拦截控制层  service 日志逻辑，切面发起调用  log 日志模型，其param解释/抓取参数，打印到日志  event 日志打印以事件异步处理，依赖guava的event bus包  reposITory 日志存储，支持jdbc(用于测试)，elasticsearch(生产)，并可扩展  starter 支持spring boot自动配置  adapter 适配，获取系统用户信息，用户自定义标签

2 服务链路跟踪

引入open zipkin

探针/报告器 低侵入，拦截器方式集成到服务，采集数据，支持自定义tag 采集器 与报告器对接，接收采集数据(span)，生产环境用Mq 存储 支持多种存储，elasticsearch其中一种 web ui zipkin server自带ui，查询跟踪，拓扑，功能比较简陋，直接搜索elasticsearch，做自定义分析

监控门户(TBD)

监控门户支持用户自定义视图，数据包括: 服务日志，存于elasticsearch 链路span, 存于elasticsearch 业务度量，存于promethus 性能指标，存于promethus 监控门户统一数据/告警视图，为用户，包括开发人员，测试人员，运维人员，公司运营提供系统观测数据，支持大屏实时滚动显示订单，交易，支付等统计  手动主题开发  可视化数据 引入数据可视化组件，拖拽式构建

4 业务metrics

引入micrometer

micrometer框架，提供metrics模型，包括metrics类型，counter，gaugegr，timer，histoams等，实现了多种指标输出器，输出多种监控平台，Prometheus在支持列表中

3 性能metrics

改造sentinel dashboard

sentinel 熔断限流框架， 熔断限流过程产生秒级服务性能指标数据，包括响应事件，通过qps，拦截qps，异常比例等作为熔断决策依据，dashboard使用transport采集性能指标；但开源版本的dashboard单机不能用于生产，指标存于内存，需要改造：  引入zookeeper作为注册中心，sentinel实例注册，系统按注册实例动态生成拉取任务  性能指标拉取使用master-worker模式，分布式拉取，支持动态增减拉取worker  指标持久，使用elasticsearch  引入micrometer，指标转发送到Prometheus