此次技术创新成果不仅有效支撑了全国多个省份电信公司的IT及业务上云工作，还在数据要素、政务大数据平台、城市大脑等行业领域实现了广泛应用，为行业的数字化转型注入了新的动力。

在计算引擎方面

通过将Spark runtime层替换成Native runtime层，提供了高效的内存管理、数据交换处理能力；将算子改成Native实现，并利用SIMD技术加速核心算子处理能力；深度完善基于规则和代价优化的机制，提升引擎的处理效率，相比开源Spark新版本性能提升1.2倍以上。

在调度引擎方面

设计分区同步共享状态的分布式调度架构替代传统的单调度器、集群联邦方式，更好地解决了集群规模可扩展性、调度效率、调度质量、公平性和优先级、资源利用率等多方面的矛盾，性能及规模较开源相比分别提升了3倍和1.5倍，实现了国内领先的调度速度和单集群1.5万台的规模。多调度器共享整个集群状态，保证任务调度结果的全局最优性；通过资源分区方式，多调度器对不同的资源分区并行调度，提升了可支持的集群规模及调度系统的吞吐量；采用资源分区轮询方式，避免出现调度结果与资源分区的紧耦合，实现最优的任务调度；同时，基于单体调度器增加了多调度器协调工作能力，保障了调度结果的唯一性，避免出现资源冲突导致的调度失败。

在存储引擎方面

天翼云团队结合高性能存储技术，不仅解决了海量文件管理的难题，还大幅提升了数据可靠性等性能。依托L-RDMA协议，计算节点与存储节点RDMA全互联，实现了“高性能、低成本”的软硬协同的统一大数据存储底座。单客户端在达到100万IOPS时，时延依然保持在亚毫秒级，单并发写时延达到70us。这一创新成果不仅提升了存储效率，还为大数据处理提供了更稳定、更可靠的支持。

此次项目获得中国电子学会科技成果鉴定委员的认可，不仅彰显了天翼云在大数据领域的卓越技术实力，也为行业发展树立了新的标杆。未来，天翼云将继续坚持科技创新，不断推动大数据和云计算技术发展，为千行百业数字化转型输送更多新质生产力，为数字经济高质量发展注智赋能。

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们