如何实现数据处理性能提升？为你揭晓背后功臣
加入技术交流群
Arm 架构在服务器领域发展势头看涨。目前已有许多头部云服务提供商和服务器制造商推出了基于 Arm Neoverse 平台的服务器产品。Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。在此前的文章中，针对搭载基于 Armv9 架构的倚天 710 芯片的 ECS 倚天实例，Arm 技术专家已在 深度学习推理任务 、 Redis 性能验证 等方面进行了测试和比较分析。此次我们将聚焦数据处理领域，通过两个实际案例，来探讨不同云实例上 Apache Flink 和 Elasticsearch 的性能差异。
本文引用地址：https://www.eepw.com.cn/article/202409/463223.htm案例一
针对 Apache Flink 的性能测试
在基于 Arm 架构的倚天实例上
部署 Apache Flink
性能提升最高可达 83% ！
Apache Flink 是用于对有界和无界数据流进行有状态计算的框架。其核心是使用 Java 和 Scala 编写的分布式流式数据流引擎。该测试同样比较了 g8y 和 g7 之间的性能差异。
测试环境
测试使用了三个工作节点和一个主节点来运行 Flink 集群，并使用数据流基准测试工具 Nexmark 进行基准测试。为确保测试的公正性，g8y 和 g7 云实例的 CPU核心数量和内存大小、操作系统以及 Flink 软件版本与配置均相同。
在进行基准测试时，总共有 21 个查询测试连续运行。硬件和软件配置如下所示：
测试结果
从测试结果可以看出：
对于吞吐量较高的查询测试，g8y 的性能表现明显优于 g7。具体来说，g8y 在 q13 指标上比 g7 高了 83%，在 q14 指标上高了 76%。
对于吞吐量较低的查询测试（包含一些测试误差），g8y 的吞吐量水平与 g7 相当。
在多数查询测试中，g8y 的性能表现相较 g7 高出 30% 以上，同时在部分查询测试中，g8y 的性能表现相较 g7 高出 70% 以上；在一个查询测试中，g8y 的性能高出 83%。
图：RPS：每秒记录数
案例二
在云实例上部署 Elasticsearch
在基于 Arm 架构的倚天实例上
部署 Elasticsearch
性能提升高达 36% ！
Elasticsearch 是功能强大的开源、分布式搜索和分析引擎，以其速度、可扩展性和灵活性而闻名。该引擎用途非常广泛，包括全文搜索、日志记录和日志分析、实时分析等，在云环境中也十分普及。http_logs track 是 Elasticsearch Rally 基准测试工具中所使用的标准数据集和工作负载。它可以仿真典型网站服务器日志数据，非常适合在涉及日志数据提取和分析的场景中评估 Elasticsearch 性能。
此次测试是在 g8y 和 g7 两种不同类型的阿里云 ECS 实例上运行了 Elasticsearch http_logs track 测试用例，并比较了两者的差异。其中，g8y 搭载基于 Neoverse N2 的倚天 710 处理器；而 g7 则搭载第三代英特尔至强可扩展处理器。
测试环境
测试使用三个 xlarge 实例来运行 Elasticsearch 服务器，使用一个 4xlarge 实例运行 esrally 基准测试。g8y 和 g7 云实例的虚拟 CPU (vCPU) 数量和内存大小、操作系统以及 Elasticsearch/esrally 软件版本与配置均相同。
硬件信息：
软件版本和设置：
基准测试 esrally 设置：
测试结果
我们进行了约十次测试，以尽可能减少测试误差。最终呈现的数据是多次测试结果的平均值。测试结果表明：
在最小值、平均值、中位数和最大值指标上，g8y 索引-追加 (index-append) 吞吐量比 g7 高出 36% 以上。
在 p50 和 p90 级别，g8y 的服务时间比 g7 缩短了约 30%，而 p99 至 p100 服务时间与 g7 相似。
当 hourly_agg 以相同的 0.20 ops/s 吞吐量运行时，g8y 的 p50、p90、p99 和 p100 服务时间比 g7 缩短 27% 以上。
总体而言，在 Elasticsearch 基准测试 esrally 的 http_logs track 测试用例中，g8y 的表现优于 g7。
<上下滑动，查看更多>
图：Index-append 吞吐量提升
图：Index-append 服务时间提升
图：Hourly_agg 服务时间提升
评论