肯睿Cloudera通过实时分析赋能企业网络安全团队

如今，网络安全团队在保护企业安全时正面临一系列空前的挑战。身份盗窃资源中心（Identity Theft Resource Center，ITRC）的《年度数据泄露报告》显示，2023年共发生了2365起网络攻击，受害者超过3亿人，数据泄露事件数量自2021年以来增加了72%。根据《2024年上半年数据泄露风险态势报告》统计，中国2024年上半年全网监测并分析验证有效的数据泄露事件超1万6千起。

持续不断且日益复杂的网络攻击让许多专业人员感到力不从心。应对这种现状，网络安全团队必须采用AI和自动化技术，以更主动、高效的方式抵御入侵。

然而，成功应对这些威胁面临一个根本性难题：数据。本文介绍了网络安全团队在使用数据、分析和AI开展工作时所面临的问题，Cloudera开放式数据湖仓一体架构如何解决这些问题，以及该架构对于应对现代网络安全环境的复杂性有何关键作用。

Cloudera开放式数据湖仓一体架构助力企业解决网络数据带来的挑战

对于网络安全团队来说，数据既是最大的财富，也是最大的挑战。所以，网络安全团队面对的问题不仅在于数据量庞大，更在于如何有效地管理与解读。当前，网络安全团队面临的难题包括：

●   数据过载：网络安全工具会产生大量日志数据，包括域名服务（DNS）记录、防火墙日志等。虽然这些数据对于调查和威胁狩猎（Threat Hunting）至关重要，但现有系统往往难以高效管理这些数据。录入数据的速度往往过慢并且可能成本过高，从而导致响应延迟和错失良机。

●   工具泛滥：一个企业部署的网络防御工具平均达到40多种。虽然每种工具都有自己的用途，但分析人员往往要同时使用多个界面，导致他们的调查工作变得分散。由于需要在不同工具之间手动切换，工作速度会有所减慢，这也导致分析人员只能依靠最原始的方法追踪他们的发现。

●   非结构化数据无法用于分析：即便网络安全团队最终收集到日志数据，其格式也通常无法直接用于分析。网络日志通常是非结构化或半结构化的数据，因此很难从中提炼出有价值的洞察。最终可能会导致分析人员为了规范、解析和准备用于调查的数据，浪费大量宝贵时间和资源。

Cloudera开放式数据湖仓一体架构提供了解决这些难题的办法。通过结合数据湖存储的灵活性和扩展能力与数据仓库的功能，开放式数据湖仓一体架构统一并简化了网络日志数据的管理。通过打破数据孤岛，Cloudera实现了多源日志数据的整合，帮助网络安全团队进行利用实时分析快速响应威胁。Cloudera的解决方案如下：

●   统一系统：Cloudera开放式数据湖仓一体架构将所有关键日志数据整合到一个系统中。通过使用专为海量数据进行高性能分析而设计的开放表格Apache Iceberg，网络安全团队能够访问所有数据并以更快的速度和更高的效率展开调查。无论他们查询的数据是现在的还是过去的，系统都能根据需求扩大或缩小规模。

●   针对分析进行优化：Iceberg表专为实现更快速、高效的分析而设计。凭借灵活的模式和分区，Iceberg表可将数据处理规模扩展到PB级，同时通过压缩日志节省存储成本。该方法以元数据为依据，能够进行快速查询规划，帮助网络安全团队在需要快速得到答案时加快获取过程。

●   数据安全和治理：Cloudera共享数据体验（Shared Data Experience, SDX）将安全和治理内置到每个步骤中。网络日志通常包含有关用户、网络和调查的敏感数据，因此在确保授权团队能够安全访问和共享这些信息的同时，必须对这些信息予以保护。

●   实时洞察数据传输管道：开放式数据湖仓一体架构为分析提供了基础，而Cloudera的数据管道功能将原始、非结构化的网络日志转化为经过优化的Iceberg表。通过使用Cloudera Data Flow和Cloudera Stream Processing，团队可以实时过滤、解析、规范和扩充日志数据，确保网络安全团队拥有用于高级分析的洁净、结构化数据。

●   无缝集成：Cloudera开放式数据湖仓一体架构与多种工具集成，从而让调查人员、网络安全分析师和数据科学家能够使用他们常用的工具开展工作。无论是Cloudera Data Visualization中的拖放界面，还是先进的异常检测机器学习模型都为数据管理带来了更多可能。此外，凭借Iceberg的互通性和开放标准，客户可以为每项工作选择合适的工具。

通过Iceberg实现实时威胁检测

网络日志数据的体量庞大且持续变化。在一部分旧系统中，查询规划和实际执行所花费的时间可能一样长。Iceberg通过存储所有表元数据（包括分区和文件位置）提高查询规划的效率，进而便利查询引擎的使用。即使面对庞大且动态变化的表，系统仍能保持可管理性，帮助网络安全团队执行实时威胁检测，同时不被低效的查询规划流程拖累，实现更快速、高效的威胁检测和调查工作流程。

此外，用于检测和应对威胁的系统和流程也需要跟随威胁演变。通过Iceberg，团队无需重写表就能即时修改模式、分区和扩充流程。使用Iceberg快照进行版本控制即可轻松重现表的先前状态，因此，网络安全团队无需管理和维护多个数据副本，即可随时访问历史上下文。

未来趋势：AI驱动的网络防御

在AI驱动网络安全的未来趋势下，Cloudera帮助网络安全团队提前做好相应准备。通过SQL AI Assistant等内置生成式AI工具，分析师可以快速编写SQL查询以提炼出所需答案。从自动执行例行任务到构建用于事件摘要的聊天机器人，Cloudera的AI功能在提高网络防御效率的同时，保证了数据的安全可控。

通过在可扩展、安全和分析就绪的环境中整合网络数据，Cloudera开放式数据湖仓一体架构让网络安全团队在应对网络威胁时处于领先地位。凭借与众多工具和执行引擎的无缝集成、灵活且经济的存储以及内置的AI功能，Cloudera助力网络安全团队通过实时和预测性洞察紧跟网络威胁的步伐，为企业保驾护航。