专栏中心

EEPW首页 > 专栏 > 一种基于Nginx的热点数据调度处理方法

一种基于Nginx的热点数据调度处理方法

发布人:天翼云开发者 时间:2023-08-11 来源:工程师 发布文章
本文分享自天翼云开发者社区《一种基于Nginx的热点数据调度处理方法》,作者:康****彬

https://www.ctyun.cn/developer/article/445768320323653

一、应用场景

    基于Nginx的热点数据调度处理,热点节点数据负载均衡处理,减少热点节点压力,提高处理和访问效率;每一个节点的nginx服务接收大量的访问,但是每个节点处理请求都有一个峰值,当请求数达到峰值时,后续请求的处理效率就会有一定的下降,为了保证请求能及时处理,热点节点会触发请求调度策略,转发请求到非热点节点进行处理,若无非热点节点,则触发分布式节点策略,备机节点会启动Nginx服务处理,并接收热点节点转发过来的请求,从而提升访问及处理效率。

二、解决的问题

    解决大量http请求同一个Nginx节点繁忙的问题,做到快速响应。 解决Nginx集群每个节点超负荷接收请求的问题,自动触发分布式策略处理。 解决现有实现方案可能存在的单点失效、配置不灵活的问题。 

三、部署流程图

image.png

1、客户端:用户通过客户端发起HTTP请求。

2、Nginx主机:负责接收客户端 的HTTP请求。

3、Nginx备机:等待被Agent唤 醒的空闲Nginx节点。

4、Agent代理主机:负责和Nginx节点服务进行交互,包括启动空闲Nginx备机、注销Nginx节点服务等。

5、Agent代理备机:作为Agent主机的备用机器,Agent主机宕机的时候,会自动启动备机作为主机,然后发出告警。

6、Redis缓存:存放策略配置以及主机IP访问量等信息。

、主要流程图

image.png 

主要流程如下:

 Nginx服务接收到客户端HTTP请求之后,先读取redis中该请求IP的总访问量,判断如果达到配置策略的峰值,则需要获取峰值策略判断,如果配置的是控制访问策略,则拒绝该IP的请求;如果配置的是非热点访问策略,则通知Agent转发到非热点Nginx节点;如果全部Nginx节点都达到峰值,则请求Agent发送到备用的Nginx节点上。


专栏文章内容及配图由作者撰写发布,仅供工程师学习之用,如有侵权或者其他违规问题,请联系本站处理。 联系我们

关键词: 大数据 数据调度

相关推荐

大数据在物流行业的应用

资源下载 2020-04-03

GMIF2024聚焦产业创新之道 共谋存储生态繁荣发展

基于大数据与深度学习的穿戴式运动心率算法

大数据产业链构成分析

上海:加快智算芯片国产化部署

物联网开发者大会清华张林演讲

资源下载 2016-12-13

工信部:我国新能源汽车发展正带动产业生态全面重塑

如何快速搭建Hadoop运行环境

资源下载 2020-04-01

丰田将与腾讯在电动汽车人工智能、云计算和大数据方面展开合作

晶圆代工厂商牵手RISC-V企业,瞄准低功耗AI芯片

大数据时代

资源下载 2015-05-23

用大数据方法协助研发下一代电池电解液

IDC预计,2029年中国大数据总体市场规模将超730亿美元

智能计算 2025-09-11

IDC预计,2028年中国大数据总体市场规模将超621亿美元

智能计算 2025-04-21

2024年政府工作十大任务发布,大数据、人工智能是重点

更多 培训课堂
更多 焦点
更多 视频

技术专区