中国移动磐基PaaS平台基于eBPF的应用可观测性建设实践
输入“/”快速插入
中国移动磐基PaaS平台基于eBPF的应用可观测性建设实践
飞书用户9609飞书用户9793
飞书用户7798
飞书用户896飞书用户29692023年11月21日创建
作为中国移动智慧中台的统一技术底座，磐基 PaaS 平台提供了高效的集群管理和调度功能，满足多元化的业务场景需求。该平台携手 DeepFlow 借助 eBPF 技术，解决了 APM 落地困难和组件追踪断路中的挑战，实现了全栈且无侵扰的应用可观测性。磐基 PaaS 平台将 eBPF 数据与现有的可观测数据整合，提供了开箱即用的应用可观测性，全栈无盲点的调用链追踪等能力，大大提升了各业务系统云化的底气，并促进了平台本身的快速推广。未来，平台还针对运营商等特定行业场景，进一步深化可观测性数据的融合，并将创新性地拓展其 AI 能力，以增强市场竞争力。
中国移动磐基 PaaS 平台
磐基PaaS平台是中国移动智慧中台统一技术底座，为算力网络提供编排调度能力，提供分钟级的集群交付，实现 ARM/X86/混部架构集群统一管控，按需调度，支撑 B、O、M 三域用户交互、计算密集、数据密集、交易密集等多种类型的业务系统，具备万级 POD 承载能力，构建双栈网络，使在线业务稳定运行、平稳应对业务高峰。
磐基PaaS平台整合了磐基容器平台、磐舟Devops、算力管控、磐维数据库、磐智AI平台及相关能力，以“战略指导、统一规划、能力解耦、有机组装、需求驱动、场景匹配、敏捷迭代、低感升级”为原则，全面布局云原生PaaS产品能力图谱，均衡发展。
磐基PaaS平台目前纳管700+集群，4万+节点，6千多套组件，支撑省公司包括CRM核心系统、BOSS计费系统，IT公司、各专业公司IT系统包括AI、大数据系统等600多个业务系统上云。
目前磐基 PaaS 平台基于可观测性三大基石（指标+追踪+日志）的指导思想，已经使用不同的组件构建完成，利用 Prometheus 获取了云原生基础设施资源（Docker、K8s自身）、中间件（Redis、Nginx）等指标数据，利用自研的 APM 实现了微服务在代码级别的调用链追踪，利用自研日志平台收集主机、Kubernetes、组件、应用实例的日志数据。但是在业务真正落地过程中，还是存在以下一些问题：
1、推广支撑力度不够。
•
信任度不足：传统APM探针技术主要采用字节码注入技术，该技术虽无需业务系统研发人员关注代码实现，但对业务系统仍有“代码侵入”特性，进而占用业务系统资源，或影响业务性能。高并发生产系统往往因探针可能产生的影响，而质疑其收益性。
•
语言依赖强：字节码注入技术依赖业务系统代码语言和代码框架，导致传统APM技术需提供各种语言和框架的探针，才能满足企业级paas平台的可观测能力，因而在能力建设上的投入往往落后于实际生产需要。
•
迁移难度大：Skywalking等APM产品早在非容器化时代便已普及，云原生时代同步提供了容器化操作。当业务系统与APM产品深度融合后，变更观测产品的推动力便极其微弱。
2、观测能力覆盖不足。
•
云设施观测能力不全：云原生全栈式可观测融合视图应包含云原生网络层能力，但传统探针技术在coreDNS、nodeLocalDNS、Istio等kubernetes网络层还存在盲区。
•
组件观测能力弱：可观测能力应尽可能地呈现业务系统及其相关的依赖组件、基础设施的全貌，但传统的探针技术因语言和框架的依赖性，在观测系统所依赖的组件内部的呈现能力还显得不足，往往只能到其表面请求入口，内部仍是黑盒状态。
基于以上痛点，磐基PaaS平台开展ebpf技术能力特性的研究，并与deepflow社区开展合作，启动基于ebpf技术的可观测平台能力建设，突破创新性的技术壁垒，致力于完善云原生场景下的应用观测图谱。
为什么引入 DeepFlow
DeepFlow 基于 eBPF 实现了应用性能指标、分布式追踪、持续性能剖析等观测信号的零侵扰（Zero Code）采集，并结合智能标签（SmartEncoding）技术实现了所有观测信号的全栈（Full Stack）关联和高效存取。
零侵扰的方式支持主流应用协议的解析，包括 HTTP 1/2、HTTPS（Golang/openssl）、Dubbo、gRPC、ProtobufRPC、SOFARPC、MySQL、PostgreSQL、Redis、Kafka、MQTT、DNS，未来还将扩展更多应用协议的支持。提供了查看所有微服务应用的 RED（Request/Error/Delay）黄金指标，所有微服务之间的全景调用关系，以及网络协议栈L4层的吞吐、时延、建连异常、重传、零窗等指标。
利用 eBPF 和 Wasm 技术零侵扰实现分布式追踪，支持任意语言的应用程序，完整覆盖网关、服务网格、数据库、消息队列、DNS、网卡等各类基础设施，不留下任何追踪盲点。
依托 eBPF 技术获得的无插码零侵扰能力，DeepFlow基本能做到独立应用部署，对应用开箱即用，对外提供的Grafana Dashboard 也非常丰富。
磐基 eBPF 应用可观测性实践
DeepFlow 对外提供统一的 SQL 接口查询所有类型的观测数据，磐基平台可以非常方便的将 DeepFlow 数据与自身可观测平台集成，目前磐基可观测平台基于 eBPF 数据实现了网络流量拓扑展示、eBPF调用链火焰图展示、告警阈值配置、并将 eBPF 数据与现有的指标、日志、调用链数据融合，以实现全栈一体化的可观测性平台。