全链路追踪 OpenTelemetry 零侵扰可观测性 eBPF Prometheus 全链路监控

当前位置:首页> 全栈链路追踪>微服务调用链用什么追踪 如何实现接口调用链路的跟踪

微服务调用链用什么追踪 如何实现接口调用链路的跟踪

时间:2024-10-04 03:55:27

一、微服务调微服务架构 | 服务之间跨域问题怎么解决

当前微服务拆分已经成为趋势,用链用什用链大部分公司都对其软件产品做微服务架构调整。追踪对产品先进行业务、何实模块拆分,现接大部分也进行前后端分离的口调业务调整。

服务拆分不能避免的跟踪问题那就是:请求跨域问题,针对跨域问题,微服务调先前专门做了资料整理

针对这些问题可以查看《SpringCloud中跨域资源共享(cors)到底解决了什么?》

还有解决跨域问题开启跨域资源共享(cors)后。用链用什用链

针对这系列问题可查看《微服务开启跨域资源共享(cors)后,追踪真的何实会被攻击么?》

阅读CorsConfiguration源码可以发现在CORS配置中定义

基础CorsConfiguration的定义可自定义跨域配置信息CorsConfig实现 CorsConfigurationSource

注意在配置时候引用注解@ConfigurationProperties为什么这里使用单一注解并没有直接注入到Bean容器中?针对这问题的分析可阅读《@

EnableConfigurationProperties的工作原理》

配置信息CorsConfig基础信息后实现getCorsConfiguration方法

定义Web线程拦截器为了,用于统一处理线程变量!现接同一个服务肯定不会出现跨域问题。口调只有不同服务之间调用才会出现此类问题。跟踪记得先前在分析《怎样在输出日志中加入traceId进行链路追踪》和《如何保证各个微服务之间调用的微服务调安全性?****》对个服务之间RPC调用请求线程变量传递问题。

本文主要微服务之间跨域问题的解决方案,至于为什么会存在跨域问题和跨域问题开启后会有哪些攻击模式

在上几篇文章中已逐步分析,解决微服务跨域问题主要分三步走

二、linux安装全链路追踪工具skywalking8.0

SkyWalking是一个针对分布式系统的APM(应用性能监控)系统,特别针对微服务、cloud native和容器化架构,其核心是个分布式追踪系统。它通过探针自动收集所需的指标,且基于探针技术对应用零侵入零耦合。通过这些调用链路以及指标,SkyWalking APM会感知应用间关系和服务间关系,并进行相应的指标统计。

解压后,进入目录,默认自带了agent,这个是用来追踪java项目的。我因为是用来追踪php项目,所以这个用不上,如果要追踪php项目,需要另外安装php的agent,请查看我另外一篇文章( linux安装sky-php-agent)

bin里面是启动文件

config目录里面是配置文件

webapp目录里面是UI界面项目文件和配置文件

默认情况下,只需要更改一下 config/application.yml文件

默认的restHost和gRPCHost的IP为0.0.0.0,我这里改成我这边内网的IP。这里要注意一下,一旦改了IP,就只能用这个IP,比如我这里改成了内网IP,那么用127.0.0.1都不能访问。

如果需要更改UI界面访问的端口,可以修改 webapp/webapp.yml,里面配置文件很简单

注意一下,如果要想能够让受控端访问到skywalking服务,那么必须将12800端口对受控端服务器打开。WEB界面的端口,我这里是8081,大家可以改成自己需要的端口。

变更完配置后,就可以进去bin目录下,运行 startup.sh,服务就会启动。然后通过http://服务器ip:8081进行界面访问。

受控端如果也启动了的话,这个时候,界面里就自动会出现数据了。

emmmm.....这里有个坑,默认情况下,打开界面什么数据都看不到,这个需要点击右上角的“自动”按钮,让按钮变成蓝色,这个时候就会有数据出现了。

如果还是没有出现数据,那就检查受控端服务是不是已经启动了,或者去看一下logs目录下的日志。如果受控端连接服务端出现错误,就看skywalking-oap-server.log;如果受控端一切正常,界面数据还是不显示,就看webapp.log

我在安装的时候,使用startup.sh启动文件,又遇到一个坑。这个启动文件,无论中间是不是有报错,都会提示启动成功。而且因为没有停止的命令,如果重复运行startup.sh,日志里会提示端口占用。这个时候,需要使用命令先查看占用端口的进程,然后杀掉进程,再重新运营启动文件才可以。

三、在微服务架构下***如何实现接口调用链路的跟踪

在传统的单应用架构下,接口的日志监控还是非常简单的,但是随着分布式、微服务架构的兴起,我们会面对更为复杂的服务交互关系;

也就是说,以往的系统,更多的是A系统调用B系统,而现在可能面对这A->B->C->D,而在这种情况下,如果没有链路跟踪的方案,那么查找和定位问题就会非常困难。

理论基础

Google公司研发了Dapper分布式跟踪系统,并发表了论文《Dapper, a Large-Scale Distributed Systems Tracing Infrastructure》;

目前行业内大部分的分布式跟踪方案都是基于这篇论文来实现的;这篇论文中提到了几个比较重要的概念:

A:parentId=null、spanId=1;

B:parentId=1、spanId=2;

C:parentId=2、spanId=3;

D:parentId=2、spanId=4;

实现方案

我将持续分享Java开发、架构设计、程序员职业发展等方面的见解,希望能得到你的关注。

集成zipkin或者spring cloud sleuth都可以的

四、微服务拆分策略和原则

微服务在最近几年大行其道,很多系统的研发都在考虑采用微服务架构,同时,随着 Docker容器技术和DevOps开发运维一体化等相关技术发展,微服务变得更容易管理,这为微服务架构快速发展创造了有利条件。

在落地微服务的路上,拆分服务是个很热的话题。我们应该按照什么原则将现有的业务进行拆分?是否拆分得越细就越好?接下来一起聊聊服务拆分的策略和原则。

不忘初心方得始终。

在介绍如何拆分之前,我们需要了解下拆分的目的是什么,这样才不会在后续的拆分过程中忘了最初的目的。拆分的本质是为了将复杂的问题简单化,那么我们在单体架构阶段遇到了哪些复杂性问题呢?

首先来回想下当初为什么选用了单体架构,在很多项目刚启动的时候,我们只希望能尽快地将项目搭建起来,方便将产品更早的投放市场进行快速验证。在开发初期,这种架构确实给开发和运维带来了很大的便捷,主要体现在:

但是随着功能越来越多,开发团队的规模越来越大,单体架构的缺陷慢慢体现出来,主要有以下几个方面:

产品初期,应该以单体架构优先。因为面对一个新的领域,对业务的理解很难在开始阶段就比较清晰,往往是经过一段时间之后,才能逐步稳定,如果拆分过早,导致边界拆分不合理或者拆的过细,反而会影响生产力。很多时候,从一个已有的单体架构中逐步划分服务,要比一开始就构建微服务简单得多。同时公司的产品并没有被市场验证过,有可能会失败,所以这个投入的风险也会比较高。另外,在资源受限的情况下,采用微服务架构很多优势无法体现,性能上的劣势反而会比较明显。如下图所示。当业务复杂度达到一定程度后,微服务架构消耗的成本才会体现优势,并不是所有的场景都适合采用微服务架构,服务的划分应逐步进行,持续演进。产品初期,业务复杂度不高的时候,应该尽量采用单体架构。

随着公司的商业模式逐渐得到验证,且产品获得了市场的认可,为了能加快产品的迭代效率快速占领市场,公司开始引进更多的开发同学,这时系统的复杂度会变得越来越高,就出现单体应用和团队规模之间出现矛盾,研发效率不升反降。上图中的交叉点表明,业务已经达到了一定的复杂度,单体应用已经无法满足业务增长的需求,研发效率开始下降,而这时就是需要考虑进行服务拆分的时机点。这个点需要架构师去权衡。当我们清楚了什么时候进行拆分,就可以直接落地了吗?不是的,微服务拆分的落地还要提前准备好配套的基础设施,如:服务接口设计(描述)、注册中心、微服务框架选型、服务监控、服务追踪、服务治理等几大基本组件,以上每个组件缺一不可,每个组件展开又包括很多技术,比如:持续集成、容器技术、持续部署、DevOps等相关概念,以及人才的储备和观念的变化。微服务不仅仅是技术的升级,更是开发方式、组织架构、开发观念的转变。

何时进行微服务的拆分,整体总结如下:

1.单一服务内部功能高内聚低耦合

也就是说每个服务只完成自己职责内的任务,对于不是自己职责的功能交给其它服务来完成。

2.闭包原则(CCP)

微服务的闭包原则就是当我们需要改变一个微服务的时候,所有依赖都在这个微服务的组件内,不需要修改其他微服务。

3.服务自治、接口隔离原则

尽量消除对其他服务的强依赖,这样可以降低沟通成本,提升服务稳定性。服务通过标准的接口隔离,隐藏内部实现细节。这使得服务可以独立开发、测试、部署、运行,以服务为单位持续交付。

4.持续演进原则

在服务拆分的初期,你其实很难确定服务究竟要拆成什么样。从微服务这几个字来看,服务的粒度貌似应该足够小,但是服务多了也会带来问题,服务数量快速增长会带来架构复杂度急剧升高,开发、测试、运维等环节很难快速适应,会导致故障率大幅增加,可用性降低,非必要情况,应逐步划分,持续演进,避免服务数量的爆炸性增长,这等同于灰度发布的效果,先拿出几个不太重要的功能拆分出一个服务做试验,如果出现故障,则可以减少故障的影响范围。

5.拆分的过程尽量避免影响产品的日常功能迭代

也就是说要一边做产品功能迭代,一边完成服务化拆分。比如优先剥离比较独立的边界服务(如短信服务等),从非核心的服务出发减少拆分对现有业务的影响,也给团队一个练习、试错的机会。同时当两个服务存在依赖关系时优先拆分被依赖的服务。

6.服务接口的定义要具备可扩展性

服务拆分之后,由于服务是以独立进程的方式部署,所以服务之间通信就不再是进程内部的方法调用而是跨进程的网络通信了。在这种通信模型下服务接口的定义要具备可扩展性,否则在服务变更时会造成意想不到的错误。比如微服务的接口因为升级把之前的三个参数改成了四个,上线后导致调用方大量报错,推荐做法服务接口的参数类型最好是封装类,这样如果增加参数就不必变更接口的签名,而只需要在类中添加字段就可以了。

7.避免环形依赖与双向依赖

尽量不要有服务之间的环形依赖或双向依赖,原因是存在这种情况说明我们的功能边界没有化分清楚或者有通用的功能没有下沉下来。

8.阶段性合并

随着你对业务领域理解的逐渐深入或者业务本身逻辑发生了比较大的变化,亦或者之前的拆分没有考虑的很清楚,导致拆分后的服务边界变得越来越混乱,这时就要重新梳理领域边界,不断纠正拆分的合理性。

目前很多传统的单体应用再向微服务架构进行升级改造,如果拆分粒度太细会增加运维复杂度,粒度过大又起不到效果,那么改造过程中如何平衡拆分粒度呢?

弓箭原理

平衡拆分粒度可以从两方面进行权衡,一是业务发展的复杂度,二是团队规模的人数。如上图,它就像弓箭一样,只有当业务复杂度和团队人数足够大的时候,射出的服务拆分粒度这把剑才会飞的更远,发挥出最大的威力。比如说电商的商品服务,当我们把商品从大的单体里拆分出来的时候,就商品服务本身来讲,逻辑并没有足够复杂到 2~3个人没法维护的地步,这时我们没有必要继续将商品服务拆的更细,但是随着业务的发展,商品的业务逻辑变的越来越复杂,可能同时服务公司的多个平台,此时你会发现商品服务本身面临的问题跟单体架构阶段面临的问题基本一样,这个阶段就需要我们将商品拆成更细粒度的服务,比如:库存服务、价格服务、类目服务、商品基础信息服务等等。虽然业务复杂度已经满足了,如果公司此时没有足够的人力(招聘不及时或员工异动比较多),服务最好也不要拆分,拆分会因为人力的不足导致更多的问题,如研发效率大幅下降(一个开发负责与其不匹配数量的服务)。这里引申另外一个问题,一个微服务究竟需要几个开发维护是比较理性的?

三个火枪手原则

为什么说是三个人分配一个服务是比较理性的?而不是 4个,也不是 2个呢?首先,从系统规模来讲,3个人负责开发一个系统,系统的复杂度刚好达到每个人都能全面理解整个系统,又能够进行分工的粒度;如果是 2个人开发一个系统,系统的复杂度不够,开发人员可能觉得无法体现自己的技术实力;如果是 4个甚至更多人开发一个系统,系统复杂度又会无法让开发人员对系统的细节都了解很深。其次,从团队管理来说,3个人可以形成一个稳定的备份,即使 1个人休假或者调配到其他系统,剩余 2个人还可以支撑;如果是 2个人,抽调 1个后剩余的 1个人压力很大;如果是 1个人,这就是单点了,团队没有备份,某些情况下是很危险的,假如这个人休假了,系统出问题了怎么办?最后,从技术提升的角度来讲,3个人的技术小组既能够形成有效的讨论,又能够快速达成一致意见;如果是 2个人,可能会出现互相坚持自己的意见,或者 2个人经验都不足导致设计缺陷;如果是 1个人,由于没有人跟他进行技术讨论,很可能陷入思维盲区导致重大问题;如果是 4个人或者更多,可能有的参与的人员并没有认真参与,只是完成任务而已。“三个火枪手”的原则主要应用于微服务设计和开发阶段,如果微服务经过一段时间发展后已经比较稳定,处于维护期了,无须太多的开发,那么平均 1个人维护 1个微服务甚至几个微服务都可以。当然考虑到人员备份问题,每个微服务最好都安排 2个人维护,每个人都可以维护多个微服务。

**综上所诉,拆分粒度不是越细越好,粒度需要符合弓箭原理及三个火枪手原则。

**

拆分策略可以按功能和非功能维度进行考虑,功能维度主要是:划分清楚业务的边界,非功能维度主要考虑六点包括:扩展性、复用性、高性能、高可用、安全性、异构性。接下来详细介绍下。

1.功能维度

功能维度主要是划分清楚业务边界,采用的主要设计方法可以利用 DDD(即领域驱动设计,关于 DDD的理论知识可以参考网上其它资料),DDD的战略设计会建立领域模型,可以通过领域模型指导微服务的拆分,主要分四步进行:

以电商的场景为例,交易链路划分的限界上下文如下图左半部分,根据一个限界上下文可以设计一个微服务,拆解出来的微服务如下图右侧部分。

2.非功能维度

当我们按照功能维度进行拆分后,并不是就万事大吉了,大部分场景下,我们还需要加入其它维度进一步拆分,才能最终解决单体架构带来的问题。

以上几种拆分方式不是多选一,而是可以根据实际情况自由排列组合。同时拆分不仅仅是架构上的调整,也意味着要在组织结构上做出相应的适应性优化,以确保拆分后的服务由相对独立的团队负责维护。

古希腊哲学家赫拉克利特曾经说过:“人不能两次踏进同一条河流。”随着时间的流逝,任何事物的状态都会发生变化。线上系统同样如此,即使一个系统在不同时刻的状况也绝不会一模一样。现在拆分出来的服务粒度也许合适,但谁能保证这个粒度能够一直正确呢。

1.不打无准备之仗

开发团队是否具备足够的经验,能否驾驭微服务的技术栈,可能是第一个需要考虑的点。这里并不是要求团队必须具备完善的经验才能启动服务拆分,如果团队中有这方面的专家固然是最好的。如果没有,那可能就需要事先进行充分的技术论证和预演,至少不打无准备之仗。避免哪个简单就先拆哪个,哪个新业务要上了,先起一个服务再说。否则可能在一些分布式常见的问题上会踩坑,比如服务器资源不够、运维困难、服务之间调用混乱、调用重试、超时机制、分布式事务等等。

2.**不断纠正

**

我们需要承认我们的认知是有限的,只能基于目前的业务状态和有限的对未来的预测来制定出一个相对合适的拆分方案,而不是所谓的最优方案,任何方案都只能保证在当下提供了相对合适的粒度和划分原则,要时刻做好在未来的末一个时刻会变得不和时宜、需要再次调整的准备。因此随着业务的演进,需要我们重新审视服务的划分是否合理,如服务拆的太细,导致人员效率反而下降,故障的概率也大大增加,则需要重新划分好领域边界。

3.要做行动派,而不是理论派

在具体怎么拆分上,也不要太纠结于是否合适,不动手怎么知道合不合适呢?如果拆了之后发现真的不合适,在重新调整就好了。你可能会说,重新调整成本比较高。但实际上这个问题的本质是有没有针对服务化架构搭建起一套完成的能力体系,比如服务治理平台、数据迁移工具、数据双写等等,如果有的话,重新调整的成本是不会太高的。

2021年6月11日整理于去往大连的动车上,前方到站:盘锦。

参考资料:网络性能监控

全链路监控
全链路接口监控系统介 网络数据可视化CSD bp神经网络 可视化 高清的应用性能管理 CNN神经网络可视化 根因分析会 根因分析 prometheus prometheus 社交网络图可视化 数 护理根因分析法ppt
微服务监控
网络可视化两大研究内 质量回溯的根因分析 智能运维监控云平台官 数据根因分析 数据因 整改根因分析护理 整 prometheus 网络性能监控哪里 网 全链路追踪设计方案怎 nodejs微服务监 护理根因分析法ppt
网络流量采集
skywalking 2020年网易云对比 应用性能管理哪家好服 根因分析会 根因分析 日志可视化网络 网络 prometheus 可视化神经网络中间结 网抑云颜色分析 可视化断路器网络 智 网络路由可视化 空间
全景性能监控/dt>
skywalking prometheus alexnet网络可 prometheus 如何绘制可视化网络图 prometheus 网络可视化海报制作软 开发全链路监控系统 独立grafana和 5why根因分析树
应用性能管理
内核ebpf ebf 中科云网近期走势分析 智能运维监控云平台官 应用性能管理价目怎么 prometheus 智联云视监控平台官网 微服务连接池监控 微 全国高速云视频监控平 全链路追踪功能图怎么 神经网络原理可视化
关注我们