Sand Capital眼中的2023年新兴技术趋势

主题

描述

数据治理3.0

跨数据仓库和分析数据量不断增长，需要使用元数据进行更自动化的编目、跟踪和分析。

数据所有权&货币化

由于大型语言模型(LLMs)需要不断增加的训练数据量，许多数据生产者(以公司和个人的形式)意识到他们应该对用于训练这些模型的数据拥有更大的所有权，包括潜在的使用货币化的权利。这可能会创造更广泛的市场机会来跟踪、共享、购买和销售独特的训练用数据。

数据身份&证书

随着密码失去价值，支持身份验证、凭证验证和验证的解决方案将越来越流行。

嵌入式AI人工智能/ML机器学习

产品用来帮助在传统SaaS应用程序中实现人工智能/机器学习支持的功能，而不需要对原来的代码做重大重构。

基于Git的工具

Git是开发人员/代码事实上的分布式版本控制工具，但也可以应用于其他分布式协作用例(例如，数据、文档等)。

人机回圈  （Human-in-the-loop ）&微调工具

基础模型功能强大，为通用/通用任务提供了开箱即用的功能。然而，这些模型需要更简单的基础设施/工具来针对更特定于领域的应用程序进行微调，这些应用程序通常涉及人机回圈  （Human-in-the-loop ）的交互方式。

身份检测&响应（IDR）

与身份安全相关的工具主要关注预防性控制(零信任、即时访问、多因素身份验证)。需要额外的身份检测及响应工具，专注于在异构环境(例如，云、内部/自定义应用程序、第三方SaaS、电子邮件)中捕获与身份相关的漏洞。

集成可观测性

应用程序越来越多地结合第三方集成来改善最终用户的体验。我们需要提高应用间的可观察性和洞察力。

新一代安全管理

网络安全漏洞的风险评级通常基于漏洞的影响，而不是漏洞被利用的可能性。环境的动态风险评估和风险知情的资产管理可以让企业将可能性评估纳入网络安全警报分类的优先级排序。

实时在线/人工智能

在线学习人工智能模型可以实时进行个性化预测，而不需要事先对个人进行训练数据(例如，TikTok算法)。同时，实时人工智能还需要改进基础设施和工具，以便持续学习，并简化数据科学家收集、跟踪和自动更新/调优模型的过程，这些过程基于在生产环境中使用模型所产生的真实反馈。

可证明的安全性

软件买家正在寻求控制自己的网络安全责任和风险，从而增加了对第三方或供应商网络安全卫生的审查和验证。我们可能会看到对减少与第三方网络安全相关的信息不对称差距的产品的更多需求。

流媒体数据分析

在流数据基础设施堆栈中，存在与数据移动相关的成熟工具(例如，Apache Kafka, Kinesis, Pub/Sub);然而，与传统的基于批处理的分析堆栈相比，流数据的实时查询和服务/表示层仍处于开发的早期阶段。

WebAssembly  (WASM)

网络装配

由于其速度快、多语言支持以及跨各种部署/基础设施的可移植性，WASM正在成为基于浏览器和服务器端应用程序的流行运行时。随着WASM应用的增长，还需要新的安全工具来抵御网络攻击。

2022年的主要行业趋势

潜在影响

大型语言模型（LLMs）和基础模型（ChatGPT、Dall-E 2、稳定扩散）的崛起。

新的工具集帮助公司利用人在回路中的方式，为特定的用例/应用微调LLM和基础模型。

多模态人工智能应用的初步商业化（文本到图像，文本到视频，等等）。

推出更多的多模态应用，重点是图像到视频（如自动动画）和图像/视频到文本（即动作检测和场景描述）。

虽然人工智能模型规模持续增长，但持续的模型性能改进需要更广泛/更好的训练数据（即，仅有模型规模并不是答案）。

以数据为中心的AI/ ML——与训练数据分析和增强相关的新机会(例如，缺少哪些类型/类别的训练数据，可以提高模型性能?)

对于更多领域特定的用例，经过微调的基础模型和监督学习模型优于通用基础模型。

基础模型并不是万能的。传统的监督式学习模型可能会有更好的表现，并且更容易构建/部署更有针对性的用例。

现代人工智能技术堆栈包括以下组件:基础设施(用于培训和服务)、数据、模型架构和应用程序。

在我们看来，应用人工智能公司应该在训练数据和应用层进行区分。这为数据市场带来了机会，因为重点转向寻找独特的训练数据。

MLOps工具的持续成熟使其更容易将AI/ML部署到生产中，但企业在构建其MLOps管道时仍面临许多决定（点状产品与平台，运营支持系统（OSS）与商业，离线与在线模式）。

预计下一波MLOps创新的重点是改善实时预测性AI模型的部署，而不是基于批次的模型。

根据生产环境中的数据和用户反馈，重新训练和调整AI/ML模型的过程仍然是手动和耗时的。

对专门围绕建立持续学习/培训工作流程的新MLOps产品的需求。模型监测初创公司可能会自然而然地扩展到为这一需求服务。

传统的SaaS应用正越来越多地寻求在其用户体验中实施AI/ML或智能功能。

嵌入式AI/ML-软件库和下一代自动机器学习（AutoML），可以在SaaS中轻松 "包装  "或实现AI/ML功能，而不需要大量重构代码库。

围绕版权侵权和基础模型训练数据的适当引用/补偿的审查和诉讼增加。

新的市场商业模式和技术栈出现的机会，

1）跟踪训练数据

2）允许数据所有者将第三方的数据用于模型训练并从中获利。

2022年的主要行业趋势

潜在影响

围绕核心的现代数据栈组件进行融合： 传输 ►  存储 ►  转换和建模 ► 消费。

在消费层方面，还没有出现一家主导的 "现代数据栈 "公司。例如，现在有Fivetran负责传输，Snowflake负责存储，DBT负责转换和模型，而TBD负责消费层。

数据仓库与数据湖： 各自越来越多地进入对方的领域，成为分析数据存储的单一来源。

数据湖库的生态系统：Apache Iceberg, Delta Lake, Apache Hudi

从数据的角度来看，很多人关注数据质量和数据测试，但数据治理和编目仍然是一个挑战（即有哪些数据可用，来自哪里，谁拥有/维护？）

数据治理3.0--需要 "左移  "相关元数据的收集和分析，以减少策划/维护数据目录所需的人工工作量，并确保它们保持更新。

数据堆栈的消费/呈现层没有看到太多的创新。仪表盘和Tableau/PowerBI仍然占主导地位。

人工智能支持的消费层（如增强型分析），以及对商业智能工具内的实时流分析（即动态/实时仪表板）的日益支持。

围绕流媒体数据基础设施堆栈继续发展，关键痛点从数据移动（如Kafka）转移到实时查询/分析。

随着对流媒体数据的访问越来越多，企业将寻求利用Apache Flink、Apache Druid和Apache Storm等项目对这些数据进行更实时的洞察。

现代数据栈类似于客户/服务器的架构，数据仓库或湖泊作为中央服务器为消费层调用数据提供服务。

围绕边缘/本地分析数据存储（如DuckDB）的机会，使性能/速度提高，离线分析，以及缓解数据居住/隐私问题。

新的角色和职能结构的出现，以适应越来越多的数据驱动的环境  

-  角色：数据工程师与数据科学家，分析工程师与业务分析师  

-  功能结构：单一的集中式分析团队与每个业务单位的分布式/嵌入式分析团队

我们相信，分析组织的参考架构将遵循一个中心和辐条模型： 

由数据工程师组成的中央团队拥有数据基础设施（例如，数据摄取管道，数据仓库/湖泊的维护），与负责一致的数据提取、转换、加载（ETL）/转化的中央分析工程师团队相结合。业务部门/职能部门内的嵌入式数据分析师和数据科学家组成的分布式团队负责特定领域的分析。

2022年的主要行业趋势

潜在影响

企业安全技术栈的整合。由于预算紧张，必须更加关注效率和减少所需工具的数量。

帮助卸载工作或增强网络安全团队的管理服务和产品是有需求的。此外，人们可能会更加关注投资回报率和衡量安全工具的最佳 "性价比 "投资。

黑客是 "登录 "而不是 "闯入"，推动了对身份相关安全产品的极大关注以及相应的支出。

身份安全仍将是投资的首要领域。许多解决方案侧重于预防控制（例如，零信任、2FA、最低权限访问、及时访问），以限制漏洞的影响。身份分析/检测方面有很大的机会，如果能够解决整合和假阳性警报噪音的挑战。

各种规模的组织都在努力招聘/保留网络安全人才，推动了管理服务提供商（MSP）/管理安全服务提供商（MSSP）市场的增长。与此相关的是，越来越多地看到专门为MSP/MSSPs设计的新安全产品（例如，MSP/MSSP版的端点保护）。

随着MSP/MSSPs安全产品的成熟，他们将寻找更容易/更有效的方法来寻找和购买安全产品（例如，市场平台、平台内购买等），包括围绕投资回报率分析，因为管理服务的利润率很低。

第三方风险，从SaaS供应商到OSS包的广义定义，是企业的一个主要弱点/风险，导致各种规模的公司的安全要求增加。

软件买方更加关注限制网络安全责任和验证第三方软件的 "控制证明"。影子IT/影子软件：需要知道自己的代码库中包含哪些

软件/软件包包含在自己的代码库中。这也可能推动更多的企业内部或客户云部署，以减少第三方数据泄露的风险。

安全运营中心（SOCs）面临着警报疲劳、高假阳性率和用于分析的孤立信息/遥感。优先考虑安全的需要正在推动数据安全态势管理和攻击路径图的增长。数据安全态势管理和攻击路径映射的增长。

下一代的警报管理： 除了使用常见漏洞和暴露（CVE）评级外，公司需要根据漏洞利用的可能性和这种利用的影响来确定优先次序。这为环境的动态风险评估和风险知情的资产管理提供了机会。

新兴的端到端云原生应用保护平台（CNAPP）。也就是说，企业专注于能够逐步采用新安全功能的解决方案。

CNAPP中改变游戏规则的解决方案解决了安全分析员和开发人员之间的差距。安全部门接收/审查警报，但不具备应用程序开发人员所需的应用程序/代码背景，无法进行补救。

可信的信息来源越来越难找到、维持或建立，给公司和政府带来了风险。

为消费者解决风险的解决方案在市场上的缺口越来越大。公司可能会开始补贴员工来保护他们的个人设备/账户，作为额外的保护。

网络安全保险的需求仍然很高，保费也在上涨，但目前还没有有效的机制来大规模保障这些风险

网络安全保险产品需要动态评估新威胁带来的风险，以解决网络风险再保险能力的限制。

开发人员正在积极地寻找和尝试新的语言和执行时间（runtimes），比如WebAssembly。

WebAssembly和JAMStack等新应用程序开发方案的管理和安全功能有可能迅速获得关注。

2022年的主要行业趋势

潜在影响

WASM:虽然仍处于早期阶段，WebAssembly (WASM)作为一种新的应用程序运行时范式在开发人员社区和一些大型技术公司中得到很多关注。

WASM生态系统很年轻，而且成长迅速。然而，目前还不清楚WASM更广泛的商业应用最初是更多地集中在基于浏览器的应用程序还是服务器端应用程序，或者两者兼而有之。

Kubernetes  (K8S)作为事实上的容器编排（container orchestration platform）平台继续获得关注，在大型科技公司以外的企业中越来越多被采用。

特定于K8S的安全工具作为CNAPP的新组件出现，主要用于识别K8S配置/部署中的漏洞。

NoOps、无服务器和开发人员平台——devops中最近的主题——都有一个共同的主题，即允许开发人员只编写代码，而不用担心底层基础设施

与DevOps运动相反，将会看到更多的工具/产品进一步分离开发人员与IT运营的集成。

一切都是代码:增加代码的使用，更重要的是，Git作为一种版本控制和跨团队分布式协作的手段。

我们将开始看到X-as-code和基于Git的协作解决方案从传统的以开发者为中心的用例中扩展出来。

分布式员工、在家办公/自带设备，以及在线/协作应用程序(如谷歌Sheets、Figma等)正在推动更多的企业应用程序从桌面应用程序转向桌面应用程序

浏览器。

越来越强大/计算密集型的应用程序将转移到浏览器。还将看到进一步的开发，以增强浏览器的计算能力。

随着API使用的持续增长，GraphQL正在成为某些用例中代表性状态传输(REST)的流行API语言替代品。

GraphQL生态系统的持续发展，特别是围绕安全、数据隐私/保护和查询设计。

网状应用程序:应用程序越来越多地与外部应用程序到应用程序的api和数据传输相互连接和集成。

需要更好地了解应用间的交互程度。

哪些应用程序可以相互访问?他们可以获得哪些信息，这些信息敏感吗?从什么时候开始，为什么需要它?这为中央控制平面提供了机会

管理/监控应用程序到应用程序的集成。

从客户端/服务器架构到更边缘/本地优先架构的持续发展。

数据存储的去中心化，使用云作为同步层来维护设备、实例、团队等之间的状态。