腾讯安全发布云原生安全数据湖

安全日志记录着企业服务器、云基础设施、应用程序等的全部执行过程，对日志数据进行追溯分析，可以准确清晰地了解企业 IT 设施状况、排查安全隐患、检索故障源头等。

随着企业规模增长、数字化程度加深和安全设备的增加，安全日志数量呈指数级增长，而企业现行的日志处理平台在应对今天动辄 PB 级别的安全日志时，要么是需要支付非常高昂的授权费和专业人力成本，要么是性能瓶颈无法支撑 PB 级别体量的日志处理。

如何采用一套新的架构，能支撑企业在 PB 级别的数据里实现秒级查询，同时成本又可控？

9 月 20 日，腾讯安全发布全新一代云原生安全数据湖，专注海量日志数据分析，助力企业构建一体化云原生数据湖平台，迈向主动安全。据悉，在同等数据规模下，该产品的硬件成本仅为同类开源软件的 1/10，此外在查询性能特别是聚合查询性能方面有了成倍的提升，能实现 PB 级日志的秒级查询。

“目前企业的日志处理平台普通使用开源大数据 ELK 等组件快速搭建，以收集告警数据为主，分析数据不全，而且执行长周期数据查询需要分钟级甚至小时级等待，而网络安全是实时对抗的，任何以‘小时’为单位的数据分析产品肯定都不适用。”腾讯安全大数据实验室高级研究员杨浚宇表示。

两年前，腾讯安全在服务客户过程中发现，客户普遍反应遇到日志存储成本攀升、查询效率低下的问题，因此腾讯安全大数据实验室基于多年的大数据分析处理能力，前后花费两年时间自主研发了一款面向云原生的安全数据湖产品。

腾讯云原生安全数据湖是基于云原生的自研数据分析平台，利用日志数据无需修改、大量字段重复、有时间戳等特性进行了几大创新：

架构领先：MPP 架构，采用 Rust 语言开发，针对日志及安全场景进行专项优化

极致降本：使用列存储实现极致压缩比，无索引架构避免索引开销

一体化引擎：通过原子能力实现数据处理、查询、存储、分析一体化

插件式扩展：通过 SQL/SPL 语句支持不同分析场景，支持“插件式”扩容

易运维：面向云原生架构实现存算分离、读写分离、从而实现一键弹性扩容，故障秒级切换

依托上述技术创新，腾讯云原生安全数据湖实现了极致的压缩比和数据处理效率，能将企业的安全运营存储成本降低 90%；在底层架构上面向云原生设计，支撑多实例、多用户，能根据企业的实际需求实现弹性扩容。

此外，腾讯云原生安全数据湖支持泛安全数据接入、加工、存储、分析、告警、可视化等服务，还具备“插件化”应用开发能力，企业用户可根据需求定制上层应用，并通过平台 +APP+ 合作伙伴构建完整的日志应用生态体系，全面赋能各类安全场景。

目前，该数据湖已经集成在腾讯安全 SOC+ 产品下，为企业安全运营管理提供基座。未来，腾讯安全还会对外提供独立产品，助力企业构建云原生数据湖平台。

面向智能化时代，安全运营与管理是企业的安全免疫中枢系统，而安全大数据的智能分析能力将成为企业迈向智能安全的基础。腾讯安全的安全运营产品矩阵始终围绕一件事情，就是如何为客户创造价值。未来，腾讯安全将持续开放技术原子能力，把腾讯领先的技术融合在企业现有的安全能力中，为千行百业的安全实践注入数字安全免疫力。

点击底部阅读原文访问 InfoQ 官网，获取更多精彩内容！