Redian新闻
>
动辄百万的工业数据处理软件,现在60秒就能用上

动辄百万的工业数据处理软件,现在60秒就能用上

科技
刚刚过去的周五,TDengine团队正式发布了新版3.1.1.0, 并上线了新的官网。虽没有发布会,但对涛思数据而言,这是一个“蓄谋已久”的动作。因为新版TDengine里包含了一个核心模块taosX,它具备强大的数据抓取、清洗、转换、加载(ETL)功能,除能无缝对接物联网的MQTT协议外,更重要的是能对接OPC-UA、OPC-DA、PI System等工业数据源。通过这个模块,工业场景里流行的PLC、SCADA、DCS等系统不用一行代码,都可以通过简单配置,就将数据实时的源源不断写入TDengine,而且在BI以及可视化工具呈现出来,实现远程监控、实时报警、可预测性维护等功能,甚至可以从微信小程序里直接看设备运行状态、查看报表了。毫不夸张的说,TDengine通过零代码将传统昂贵的工业数据处理系统代替了,成为新一代工业数据处理系统。

今天周末,写篇博客,将我开发这套系统的设计目标和理念”前期投入小、上手快、用的起”分享给大家,希望给大家一点启发。


为什么要开发一套零代码的工业数据处理平台?

2019年我将TDengine核心代码完全开源,四年过去,没想到TDengine几乎成了全球时序数据库的标杆,上线的实例数已经超过35万,来自全球50多个国家和地区,每天在以500以上的速度增加。按照这个速度,估计到2024年底,安装实例数将超过时序数据库全球排名第一的InfluxDB。对这些数字,我是相当的兴奋,因为我开源的目的就是希望自己写的程序能被众多的人用上。无论是GitHub上的一个Star,还是吐槽,对我来说,都是一种鼓励,因为他证明了我这个老程序员的价值,证明了我们团队的价值。

随着TDengine的用户天天增加,我注意到最大的问题就是我们宣称的高性能总是被挑战,一般的研发同学都没仔细看文档而且没有完全理解我们的“一个设备一张表”的数据模型,因此将数据高效写入TDengine成了最大的使用障碍。而且TDengine除物联网场景之外,一个更大的场景就是工业制造。这个领域里,IT人员少,相当依赖系统集成公司,用好TDengine更加困难。但数字化转型、智能制造、国产化替代的需求,让很多制造业的人找到我们,希望能快速用上TDengine来存储、分析他们采集的数据。

我一个制造业门外汉,开始在中国和美国与他们交流,参观拜访过发电厂、冶炼厂、油田、烟厂、药厂、水泥厂、化妆品厂、食品厂、汽车厂等等,一下发现一个完全不同的天地,每次都被他们的巨大制造能力所震撼。但同时发现,他们使用的数据处理系统,比如PI System, Wonderware, 或是国产的庚顿、麦杰等,往往基于微软Windows,  界面一看,与炫酷的网页和手机应用相比,感觉落后了至少两个时代。而且再一多了解,发现真正本质的问题。

  1. 这些传统工业软件收费巨贵,一般都按照测点(采集量)的数量收费,一个测点就需要好几个美元,一个几万测点的发电厂就需要至少百万RMB。如果要增加测点,还需重新谈Lincese。万物互联的今天,测点数暴涨,还采用这种收费方式无疑匪夷所思。

  2. 这些系统往往封闭,与第三方软件对接很难或根本就没有接口。随着大数据、人工智能概念的普及,很多制造业的也希望用上新的AI分析工具,但无奈很难与现有的工业数据处理系统对接,或成本很高,只能等PI System这类厂商更新升级;

  3. 企业总存在并购、分拆,一个稍具规模的制造商就有多条产线、多座工厂、因此往往一个集团存在多个不同的工业数据管理系统,将这些不同系统的数据汇聚起来进行管理相当困难。数据的清洗、转换和治理,是必须的,但看似简单的事情,实施起来门槛却很高。

  4. 去的十年,很多制造企业主动拥抱工业互联网、大数据,建设工业互联网平台,想解决传统工业数据处理的问题,但建设一个新的工业互联网平台往往周期长,需要投入数百万甚至数千万资金,而且还有巨高的团队人员成本,但回报没有预期中的大,导致很多企业决策层对 AI和工业互联网平台的情绪普遍不高。

“前期投入小、上手快、用的起”

因此我在想,我们已经将TDengine开源,给大家提供了一个很好的时序数据处理工具,那么能否为工业制造行业提供一个前期投入小,上手快,用的起的工业数据处理系统呢?仔细思考后,答案是肯定的。所以2年前,涛思数据正式成立了一个研发小组,启动了taosX的开发,目的就是能够对接各种数据源,特别是工业数据源,通过简单的配置,不写一行代码,就能将OPC-UA、OPC-DA、MQTT等抓取的数据实时源源不断的写入TDengine, 而且建有自己可定义的规则引擎,完成数据的清洗、转换工作,以保证入库数据的质量。这样不仅将数据写入的难题解决,而且用户不用部署Flink或ETL工具,进一步减少了系统的复杂度和运维成本。同时,投入人力开发标准的JDBC、ODBC接口,让众多的BI以及可视化工具能无缝对接。TDengine不再只是一个时序数据库(Time Series Database,TSDB),而是通过与OPC, MQTT这些数据源的对接、与BI和可视化工具的无缝对接,形成一个零代码的工业数据处理系统。经过两年的研发和反复测试,现在终于上线。

中国有大大小小至少三百万家制造企业,怎么让这些用户能用上,而且用的起呢?即使开源,用户还需要找服务器、安装部署、配置、调优等,仍然有点门槛。我马上想到的是云服务。因此随着taosX的发布,TDengine Cloud同步开始提供OPC、MQTT、PI System等数据源接口,免费注册后,只要在TDengine网站上做好配置,不用一行代码,即可将PLC、DCS、SCADA产生的数据写入TDengine,然后利用Grafana、帆软、永洪、Power BI等可视化、BI工具进行展示和分析。对于简单的远程监测、报警、实时分析、报表,完全零代码即可完全搞定。由于TDengine Cloud第一个月完全免费,这样,企业在无任何硬件和软件采购成本的情况下,就可以很快验证测试系统,这样大大降低了企业的风险,降低了前期投入,最大程度减少了他们的顾虑。

对于大的企业或有特殊管控的企业,在云服务上免费体验和验证后,可以购买TDengine企业版,获得专业的技术支持和服务。对于中小企业,每个月只要支付1200RMB的云服务费用,就具备每秒处理3万个PLC测点数据的能力。相对于那些动辄百万的传统软件、工业互联网平台软件,每个月1200RMB的投入可说是没任何压力了。我相信,TDengine云服务能加速推动中国制造业数字化转型的进程,能让众多中小企业享受大数据时代、人工智能时代的技术红利。

新一代工业数据平台简单示意图

打破传统工业软件的垄断

从过去两年我与制造业的交往来看,制造行业的体量大的远远超过我的想象。举一个简单例子,整个中国铜冶炼企业就超过300家,炼钢、炼铁企业就超过500家。这些企业都在进行数字化转型,是我们IT人可以挖掘的金矿。但这些行业历来都被传统的工业软件公司比如Aveva, Simens等所垄断和绑架。中国软件企业还有机会吗?怎么撬开一条口子?从我过去的经验来看,开源、云服务是两大有效的手段。

开源软件最大的好处是开放的生态,不会被厂商绑定。而工业软件几乎都是封闭系统,很多产品连用户手册、接口文档都不公开,想更换其中一个模块几乎不可能,比如想把一个新的报表工具与实时数据库对接起来,没有两个厂家配合,没有可能。但现在各种行业的分析工具、报表工具、AI工具不停的涌现,只有开放系统才能解决这个问题。在传统的工业数据处理系统里,实时数据库扮演了一个极为重要的角色,但没有一家是开源的。这给了TDengine巨大的机会。我在2017年创办涛思数据时,根本都没想到钢厂、烟厂、药厂、冶炼厂、水泥厂会用上TDengine的,是由于开源之后,这些厂主动找的我们,才让我发现了工业制造里的机会。

为了保证TDengine的开放性,除核心代码开源、支持标准的SQL查询外,我几年前就决定绝不推出自己的可视化工具,不推自己的物联网管理平台,更不会做自己的分析、报表工具,连简单的报警功能都不会提供,而是希望与这些领域的专业厂商的产品能通过标准接口无缝集成。同时,我们还提供有高效的数据订阅工具,可以方便把存储在TDengine的数据实时导入到任何一个其他数据管理系统,这样任何企业也不会被TDengine所绑架。

云服务对于传统工业而言,是不可想象的。但排除一些实时控制的场景,云服务的好处是显而易见的,不用购置任何硬件,不用安装部署,完全是与用自来水一样,想用就用、想关就关,按使用量付费,费用可控。由于云服务平台以及云服务厂商提供了很好的安全防范,数据比保存在自己服务器上还安全,因为一般的企业根本没有网络安全的人才,系统都是在裸奔。通过云服务,无论企业的规模,在无大的前期投入下,都能很快验证自己的系统,看是否达到自己的预期,而不是商务谈判一轮接一轮,还没上线,就已经浪费了很多时间,系统还没有正式上线,就有很大的采购成本。

通过开源、云服务两个手段,传统的工业软件的市场格局一定会发生改变,而且彻底洗牌也完全可能。由于中国制造业体量是全球的30%以上,因此中国软件企业有得天独厚的机会去尝试新的途径,打破垄断。涛思数据专注时序数据的采集、存储、分析、计算和分发,我相信TDengine一定能让传统的工业实时数据库(Data Historian)、工业数据处理系统淘汰出局,TDengine每天超过500套安装实例的数字就是最好的证明,就是对我们团队最好的鼓励。但工业软件的其他领域,比如组态软件、设计软件、仿真软件等,我相信也会有新势力通过开源、云服务的手段冲杀进来,让工业软件市场焕发新的活力。

努力奔跑

四年前,我做出了一个正确的决定,将TDengine核心代码开源。现在我又做出了一个新的决定,为制造业提供新一代工业数据处理平台,而且希望通过云服务,让数百万家制造企业能快速启动,用的上、用的起、最大的减少前期成本。欢迎工业制造领域的朋友们向我们提出更多需求,比如工业数据接口、常用工具等,帮助TDengine 不断完善这个全新的工业数据处理系统,一起给行业赋能。

希望我和团队努力奔跑,不辜负这个时代赋予给我们的机会,让中国这个制造大国有全球领先的工业数据处理系统。

陶建辉
2023年9月3日写于北京望京

👇 点击“阅读原文”,立即免费体验新一代工业数据处理平台

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
刚刚,绝地反击!三大指数猛拉,移动、联通、电信飙涨!这一数据处于历史极低位,击球的时候到了?西墨尔本两栋永久产权的工业建筑,紧邻CBD与便利设施,特殊用途区划,卓越地产基本条件,稳定租金收入,且拥有巨大开发潜力!公共数据和企业数据估值与定价模式研究:基于数据产品交易价格计算器的贵州实践探索走进南京软件谷,探访智能创新行业标杆企业! 工信部工业文化发展中心工业强国“尚工”行动企业家培育第一期正在火热招募玫瑰花,美丽而娇俏临床科研耗时费力?高质量病例数据处理工具呼之欲出沙利文:2023年中国工业数字化软件白皮书企业怎么才能用上大语言模型?广东省企业数据资源会计处理典型案例研究工作启动工业互联网让工业老城焕发新活力——访济南市工业和信息化局党组成员、副局长文海生航班:美联航新增4个“环中国内地航班”,至少有一班大家能用上看完就能用上!我和儿子的“小众”旅游思路,这个十一就这么玩了!我穿了一个月的飞织鞋,现在69元清仓啦!真厉害一场 AI 引发的开源革命迫在眉睫?Hugging Face 更改文本推理软件许可证,不再“开源”为你做一个帆布袋财政部《企业数据资源相关会计处理暂行规定》起猛了,国外现在也能用上高德地图了。欧盟出手了,我们的手机能用上可拆卸电池了?随风而去掉粉百万的“野球帝”和涨粉百万的“出走”球员,体育MCN困局何解?星环科技向量数据库从 0 到 1 技术实践:提升数据处理的精确度是重中之重新泽西州大洋城海滩(Ocean City),往年场景动辄几千上万的研学旅行,有必要吗?赴华:今年年底前,欧洲赴华最低18.75k积分,还有商务舱选项。看看北美走能不能用上?我穿了三个月的飞织鞋,现在69元清仓啦!华为发布二十个高价值工业场景,打造工业智能体,满足工业数字化需求吓唬美国?郭台铭:若开战,华尔街股市10秒就崩盘博士申请 | 南洋理工大学张书豪老师招收系统和数据处理方向全奖博士/RA/访问学生终于曝光了!斯坦福最新研究:仅用1秒就能读懂你的压力值!每天勤做这件事,身体居然会发生这么大的变化!看完我震惊了...AI融入管理软件,是否会是下一个“ERP时代”的前奏?合并1000个单元格,同事累到手抽筋,我30秒就搞定!动辄上万的感统训练课,在家也能带娃做(附 20 个游戏清单)全文 | 国家标准《重要数据处理安全要求》征求意见在SASAKI内部传疯了!这个神器一秒就能生成AO白模!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。