Redian新闻
>
时序数据库的流计算支持

时序数据库的流计算支持

公众号新闻

01

时序数据及其特点 


时序数据(Time Series Data)是基于相对稳定频率持续产生的一系列指标监测数据,比如一年内的道琼斯指数、一天内不同时间点的测量气温等。时序数据有以下几个特点:
    ●     历史数据的不变性
    ●     数据的有效性
    ●     数据的时效性
    ●     结构化的数据
    ●     数据的大量性

02

时序数据库基本架构 



针对时序数据的特点,时序数据库一般具有以下特性:
    ●     高速的数据入库
    ●     数据的生命周期管理
    ●     数据的流处理
    ●     高效的数据查询
    ●     定制的数据压缩

03

流计算介绍 

流计算主要是指针对实时获取来自不同数据源的海量数据,经过实时分析处理,从而获得有价值的信息。常见的业务场景包括实时事件的快速反应,市场变化的实时告警,实时数据的交互分析等。流计算一般包括如下几方面的功能:
1)过滤和转换 (filter & map)
2)聚合以及窗口函数 (reduce,aggregation/window)
3)多数据流合并以及模式匹配 (joining & pattern detection)
4)从流到块处理

04

  时序数据库对流计算的支持   

  • 案例一:使用定制化的流计算 API,如下面例子所示:

from(bucket: "mydb")  |> range(start: -1h)  |> filter(fn: (r) => r["_measurement"] == "mymeasurement")  |> map(fn: (r) => ({ r with value: r.value * 2 }))  |> filter(fn: (r) => r.value > 100)  |> aggregateWindow(every: 1m, fn: sum, createEmpty: false)  |> group(columns: ["location"])  |> join(tables: {stream1: {bucket"mydb"measurement"stream1"start-1h}, stream2: {bucket"mydb"measurement"stream2"start-1h}}, on: ["location"])  |> alert(name: "value_above_threshold"message"Value is above threshold"crit(r) => r.value > 100)  |> to(bucket: "mydb"measurement"output"tagColumns: ["location"])

  • 案例二:使用类 SQL 指令,创建流计算以及定义流计算规则,如下:
CREATE STREAM current_stream        TRIGGER AT_ONCE        INTO current_stream_output_stb AS        SELECT              _wstart as start,               _wend as end,               max(currentas max_current         FROM meters         WHERE voltage <= 220         INTEVAL (5S) SLIDING (1s);

往期推荐



微软开源Visual ChatGPT,7天斩获2.2万stars

Linux内核、LLVM、GCC均已支持龙芯LoongArch架构

着手清退开源组织,Docker为此致歉



这里有最新开源资讯、软件更新、技术干货等内容

点这里 ↓↓↓ 记得 关注✔ 标星⭐ 哦


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
八年“老网红”Flink:揭秘实时流计算引擎全球化落地的演进历程用镜头和追逐光的眼:摄影2022年日本全职奶爸坐拥75万粉丝,还把自家娃印在了优衣库的衣服上?Zilliz星爵:向量数据库,开创AI原生数据基础软件时代 | GGV OMEGA访谈录证券犯罪数额辩护策略之三:操纵证券市场罪案件中不同的流通股计算方式对定罪量刑的影响数据分析师 - 美国新移民的职业重生,掌握数据库的利器最大精子出口国,捐精难于上哈佛?揭开美国精子库的秘密慢SQL是如何拖垮数据库的?“白嫖”公共数据,用GEO数据库完成自己的第一篇SCI优衣库的网上代购里面,有多少人是小偷?看似一个个小雪堆的麻叶绣线菊管理大型 Postgres 数据库的 3 个技巧 | Linux 中国数据分析师,如何在数据分析的流程中提供更大的价值?“白嫖”公共数据,用GEO数据库发表自己的第一篇SCI多模数据库、“Serverless 化” | 开源数据库领域解读盘点2022年的数据库/数据仓库/数据湖市场(下)——Teradata退出中国市场了,Oracle还没走。。。除夕夜大瓜!宋祖英润美国了!数据仓库的性能问题及解决之道PerfMPL国产高性能数学计算库的进展精准水位在流批一体数据仓库的探索和实践ChatGPT-31:卒中领域的开放数据库。已有中国学者借助这些数据发表了自己的研究论文最全的生物样本数据库(Biobank)收集;及部分公开数据库的大数据分享数据库er的夏日盛宴 | 2023 可信数据库发展大会演讲议题征集限时开启!中国智库的预测老中们确实应该注重提高生育数量AAAI 2023 | 基于自监督逻辑归纳的可解释模糊时序常识推理在线研讨会预告:针对向量计算开发的高性能数据库和云原生开源数据编排技术“白嫖”公共数据,居然用GEO数据库完成自己的第一篇SCI每分钟可处理8.14亿笔交易、腾讯云数据库TDSQL刷新TPC-C纪录对国产数据库行业意味着什么?临床数据库对于临床科研有多重要?如何利用开放的数据库撰写SCI论文?时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 2023看电视连续剧《向风而行》盘点2022年的数据库/数据仓库/数据湖市场(上)。。。迎向浪潮之巅,GOTC 2023 数据与数据库技术专题论坛即将召开美国将投入2000万美元以进一步提高向乌克兰政府提供的直接预算支持的透明度
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。