【今跃教育】vivo 海量数据场景下的消息系统架构演进

vivo 移动互联网业务为全球超过 4 亿用户提供应用商店、短视频、广告等服务，其分布式消息中间件 平台承担了实时数据接入与分发的关键角色，日均处理数据量达十万亿级别。面对业务规模的持续增 长，vivo 在消息系统架构演进中通过引入 Apache Pulsar，有效解决了原有 Kafka 架构在多集群管理、 弹性扩缩容和海量分区场景下面临的诸多瓶颈。 业务痛点与挑战 随着 vivo 业务流量的数十倍增长，原有基于 Kafka 的消息系统逐渐显露出架构局限性。Topic 和分区数 量的持续增加严重影响了集群性能，大量分区导致磁盘随机读写加剧，违背了 Kafka 依赖顺序读写实现 高性能的设计初衷。集群规模扩张后，资源组隔离与集群拆分的运维成本显著上升，且 Kafka 无法实现 动态扩缩容，机器资源利用率低。在面对突发流量时，扩容速度缓慢，流量均衡耗时较长，消费端性能 过度依赖分区数量，造成元数据急剧膨胀。此外，集群基数增大导致硬件故障频发，且故障直接传导至 客户端，缺乏有效的中间容错层。 技术选型 滴滴大数据团队于 2021 年 1 月开始调研 Apache Pulsar，同年 8 月正式上线首个 Pulsar ...