云原生数据智能猫眼能实时录像吗平 台可以实现海量数据实时分析吗?

36Kr了解到,以流数据为核心的实时数据分析基础平台“Timeplus”已于日前完成种子轮融资。本轮融资由高瓴创投领投。其他联合投资者和专家顾问包括杰里米克兰兹;GICMT投资总监;苹果前高级副总裁罗里塞克斯顿(Rory Sexton),过去20年一直负责打造苹果的全球供应链能力;理查德蒂贝茨(Richard Tibbetts),实时流数据库专家,现任Tableau产品副总裁;BMC高级副总裁、数字服务与运营管理总经理、Splunk前副总裁玛格丽特李。

Timeplus成立于2021年11月底。它是新一代面向流数据的数据基础平台,专注于实时流数据分析。

科普一下,目前的大数据分析系统大致可以分为批量大数据和流式大数据。其中,批量大数据也叫历史大数据,流大数据也叫实时大数据。不同类型数据的处理时间不同。据资料显示,目前复杂的批量数据处理通常跨度从几十分钟到几个小时不等。基于历史数据的交互式查询,通常时间跨度在几十秒到几分钟之间;基于实时数据流的流数据处理通常需要数百毫秒到数秒。

时光创始人王婷向36Kr介绍,从行业趋势来看,以物联网/机器行为、应用行为、交互行为等为代表的实时数据。目前增长最快,预计2025年将超过30%。Gartner还预测,超过50%的企业应用需要实时数据分析能力,以提高企业的运营效率。同时,数据整体实际利用率不到5%,实时数据利用率更低,可挖掘的潜力和场景更大。IDC还预测,“企业正在寻找能够完全满足和拥抱这些实时数据的新一代数据基础设施”。就实际业务功能而言,能够满足实时数据利用需求的大数据基础设施,可以对内提高企业的运营效率,对外更好地了解客户、服务客户,从而生产出满足客户需求的高质量产品。

例如,王婷介绍,流大数据基础设施可以帮助企业在实时供应链可视化和物流监控、智能制造、实时财务欺诈、实时营销和个性化推荐、智能汽车实时监控等方面更好地利用流数据。比如智能汽车的实时监控场景,一辆智能汽车一天产生的实时数据可能超过10TB。

因此,对这些庞大的实时流数据、用户的驾驶和交互行为进行实时分析和监控,可以保证汽车的驾驶安全,提高用户体验。进一步说明逻辑。在智能电动汽车的电池监控场景中,一方面需要根据实时电池传感器流量数据中的一些指标快速统计出3354。例如,在最后一个小时内电压低于11V的次数被用作触发实时警告的初步异常信号。同时还需要与历史数据(像天气、时间段、路况等电池异常数据)进行对比,进一步明确或消除一些分析数据过短导致的误报和细节。

根据王婷的观察,传统的数据处理产品解决方案在性能、延迟、灵活部署等方面很难有效支撑这些需求。这只是一个例子。同样的需求也发生在金融、供应链、营销等场景中。总之,随着数据量的爆炸式发展,个性化服务、提升用户体验、智能分析、过程决策等复杂实时的业务需求对大数据处理技术提出了更高的要求,这也是流媒体数据基础设施进一步发展的必然。

相对于现有的产品,王婷认为,目前大多数集中统一的数据仓库和分析平台都是面向全量的历史数据的。由于大规模、全量的数据处理,整体处理需求耗时太长,数据新鲜度往往无法满足用户的时效性要求。因此,基于时间的数据实时分析和响应的实时智能化和自动化将成为新的行业趋势。

针对这些痛点,Timeplus欲打造新一代时序流数据实时分析平台3354,即一款既能高效低延迟聚合实时流数据和历史数据,又能提供高级分析场景的产品。至于企业客户对业务的价值,希望能够帮助开发全新的实时数据分析和实时运营自动化场景,体现实时数据驱动业务的价值。

从整体效果来看,判断实时流数据分析平台性能的一个核心指标是实时事件数据的处理分析延迟和吞吐量。

在目前的测试环境下,Timeplus实时复分析的端到端延迟在普通机器上小于100ms甚至小于10ms,性能超过行业水平20倍以上。同时,实时事件分析的吞吐量可以超过每秒1000万个事件。而且Timeplus整体部署成本低,可以从云端灵活部署到末端,甚至部署到设备端。“在完成强大复杂的分析功能和卓越性能的同时,数据计算和存储的消耗远低于当前行业解决方案。”王婷说。

之所以能达到这样的效果,与Timeplus基于流优先级的实时数据分析架构的设计和向量化分析的集成密切相关。从底层技术架构上拆解,Timeplus设计了以时间为核心的统一实时分析引擎,支持多层计算模型,兼顾流式和历史分析。该引擎旨在使实时数据收集、实时处理和实时洞察生成的整个过程变得简单而快速。

首先在速度方面,王婷告诉36Kr,Timepl

us的引擎可以对实时数据做到快速的存储,并反哺其整体分析速度。比如,在让实时数据导入到其流式分析平台的过程中,相较同业其引擎能提升40倍的导入速度。另外,这一引擎能同时处理实时数据和历史数据,使得最新的数据和历史数据联查变得可能而高效,且不需要大量预计算和重复计算。由此可见,这一引擎的作用首先是导入的高效,另外其在处理上也使得整体的分析速度更高。引擎也是公司的核心壁垒之一,在底层支持着整体数据的分析加速。

而且,Timeplus还可以按照特定格式对数据进行存储,这会让数据存储变得一致和高效。在更为具体的效果上,王亭介绍:"时间高度优化的新一代数据存储和分析格式 TDF(Timeplus Data Format),会让数据无论在内存、磁盘还是云存储下,无论是流式分析还是历史分析查询中,都能高度保持一致和高效。不但数据只存一份,而且还能做到超高存储和检索能力,高可用,无数据丢失,同时支持向量化分析 。" 这不但可以大幅降低服务器存储成本,而且让亚秒的实时分析变得可能。

同时,在易用性方面,Timeplus选择SQL作为统一分析查询语言,这会让绝大多数企业客户无需学习和使用新语言,无需编码就可以快速接入数据进行分析探索,获取实时洞察。当然,使用SQL这类标准语言,也会让Timeplus在汇聚不同数据库的数据时更加快速便捷。

另外王亭还强调,Timeplus的特点也并不仅在于速度。其认为,Timeplus作为实时数据基础设施平台的最大价值在于,真正把数据转换成企业的实时决策和实时自动化,促进业务的巨大增长,提升企业竞争力。在具体场景上,Timeplus可以通过自身产品帮助用户进行时间旅行——即用户可以自由查询几个小时前的统计分析情况等。也就是说,这类产品并非空有技术而无场景。针对流式数据的大数据处理、分析平台首先要能满足客户的业务需求,促进相应场景中业务的发展,在此基础上尽可能提升产品性能。

据介绍,Timeplus目前已经正式发布Beta版本的产品,吸引了一些全球客户和合作伙伴的参与,如AlphaStream,Aurora耀乘、datapm、gravitydata等。以AlphaStream为例,作为一家巴西金融科技公司,他们使用Timeplus做到了实时股票市场定价。Alpha Stream的执行董事表示:“我们能够简单地将源插入 Timeplus 并开始对流数据编写热查询以获得结果。无需编译和部署代码。我们还可以将结果引导到接收器以在仪表板中使用,甚至可以组合到另一个分析中。这使得原型设计能够非常快速地部署应用程序。”

产品之外,王亭也介绍了公司的整体特点。具体而言,Timeplus团队具备国际化基因,同时积累了较深行业产品和技术经验。其创始团队来自Splunk、SAPAmazon等业界头部数据平台公司。团队之间的合作时长达到10年。

其中,CEO王亭为Splunk前全球工程副总裁,2012年作为创始人,筹建和发展Splunk第一个海外研发中心,带领上百人团队。早前,其曾在SAP BusinessObjects担任产品工程全球副总裁,负责全球头部的BI平台主打产品线Crystal Reports和Dashboards的产品和研发,同时主导SAP新一代分析可视化平台软件,成为SAP Lumira Cloud的核心部分。另外,王亭也曾在TalkingData担任CTO。公司COO彭伟(William Plummer)毕业哈佛大学商学院,具备20多年在高盛等世界顶级战略咨询公司经验,曾任TalkingData首席战略官,负责公司的战略规划, 管理海外业务线以及KA客户、渠道合作。公司CTO陶刚具备20多年企业软件设计经验,曾担任华为加拿大Distinguished Engineer and Architect。其也是前Splunk总部AI/ML以及数据生态平台部门首席工程师和前SAP商务智能可视化首席架构师。

也因为这些背景和经验,王亭表示,公司接下来的一段时间内会先关注欧美等全球市场。同样由于公司团队在海外多年的积累,目前其已经有金融、供应链、工业互联网以及互联网行业的客户线索。另外,公司也在中国区设有研发团队,正在招募新成员加入Timeplus,也和合作伙伴一起在时机成熟时进行商机探索。

在不久之后,Timeplus也将发布正式的产品,以期触达、服务更多客户。

高瓴创投合伙人李强表示:全球数据增长进入持续爆发阶段,未来3年的增长总量将是过去30年的总和,其中又以流数据占比最高——达到了增长中的30%以上,而现有基础设施难以应对这一数据快速增长下的需求。Timeplus创始团队拥有超过15年的软件行业实战背景,基于多年工程实践和技术创新、打造出的云原生流数据分析平台,能够帮助企业实现更高的业务敏捷性。我们看好Timeplus有机会成为新一代数据分析基础设施,这也是我们为何从种子轮开始支持Timeplus的原因。相信在创始人王亭带领下,Timeplus将以顶尖技术、为更多行业和企业提供持续创新的数据服务能力。


版权声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。

}

亚马逊云科技大中华区产品部总经理陈晓建

今天,我们进入了大数据时代,大数据激活了全新的产品与商业模式,这些产品与商业模式往往都超出了人们的想象,可以用“黑科技”形容。

成立于2013年成立的华米公司,是一家基于云的健康服务提供商,提供智能手环等各种可穿戴设备。华米公司于2018年在纽约上市,是第一家在美国资本市场上市的中国智能硬件创新公司。截至2020年年底,华米科技智能可穿戴设备记录的累计步数超过了151万亿步,睡眠记录128亿晚,心率记录时长超过1208亿小时。目前,华米已经是全球最大的人体运动和健康大数据公司。

西门子工业自动化产品(成都)有限公司是西门子中国首座数字化工厂,主要负责工业自动化相关的产品,主要产品为PLC可编程逻辑控制器、HMI人机交互界面和IPC工业电脑。2013年上半年投产,作为首家中国的数字化工厂,西门子成都工厂通过数字化软件以及相关硬件实现了研发、制造、质量、管理系统的整体联动。该工厂使用OEE效率系统判定机器利用效率,过去需要资深人员根据复杂的设备故障代码分析,寻找解决方案、更新维修记录,对于工厂操作人员来说是很大的挑战。

文远知行是由人工智能驱动、以无人驾驶技术为核心的智能出行公司,其目的是能够实现基于L4的自动驾驶能力,为大众提供便捷可靠的出行服务。为了研发自动驾驶,需要进行大量的路测,每台路测车辆上装载各种设备、进行各种模拟,产生海量数据。当每天每台路测车的数据量超过TB级时,文远知行就无法通过自建服务器的方式满足数据处理需求。

在华米、西门子成都工厂和文远知行高速发展的背后,是亚马逊云科技提供的云平台,特别是云原生数据库,支撑了智能设备、无人驾驶、灯塔工厂等黑科技在过去十年间的爆发式发展。亚马逊云科技作为全球最大的公有云之一,提供了15种专门构建的云原生数据库,通过专门构建的数据库为不同的数据类型提供不同的数据库解决方案。此外,亚马逊云科技还为云原生数据库配置了无服务器技术,同时结合大数据、人工智能等提供完整的数据生命周期解决方案,实现数据的采集、存储和分析。

在2022年9月23日举办的亚马逊云科技云原生数据库分享会上,亚马逊云科技大中华区产品部总经理陈晓建介绍,当前很多企业期望成为数据驱动型企业,而Forrester的研究也指出数据驱动型企业每年平均增长可达30%。

陈晓建强调,相比传统商业数据库,云原生数据库降低了高昂的成本;通过云上托管的数据库服务,客户可以用开源数据库实现媲美商业数据库的性能,而成本通常只有商业数据库的几分之一。基于云端海量资源池的云数据库可以根据企业工作负载需求快速弹性扩展,无服务器的数据库将这一特性发挥到极致;企业可以按用量付费,无需预置资源。此外,云原生数据库可以利用云端的其它服务,包括计算、网络、存储、安全、大数据、AI/ML,通过深度集成,将各种能力融会贯通。托管数据库服务让企业集中精力于高价值的应用开发上,并借助全球数据库配合全球业务扩展。

Amazon DynamoDB是最有代表性的云原生数据库,也是业界第一个真正意义上的云原生数据库。2004年亚马逊电商因商用数据库负载过高导致扩展失败,出现数小时的服务故障,后续统计表明:70%的数据访问并不需要SQL事务级别的复杂性。因此亚马逊开始研究NoSQL非关系型数据库,并于2012年推出第一个云原生NoSQL数据库Amazon DynamoDB。在Amazon DynamoDB问世后的十年里,亚马逊云科技对其进行的持续完善,不仅涉及底层可用性、持久性、安全性和规模等特性,还包括易用性等。现在Amazon DynamoDB已服务于全球众多客户,也包括亚马逊自身。

华米选择了Amazon DynamoDB。Amazon DynamoDB很好地支撑了华米全球化业务的快速发展,华米本身业务的稳定性了得到了很大提升。在使用亚马逊云科技之后,相比之前的方案,华米的P0和P1的故障发生率减少了20%,故障恢复时长减低了30%,系统可用性指标达到了99.99%。无论是什么样的数据规模,在任何情况下Amazon DynamoDB都可以提供不超过10毫秒的一致响应时间;还可构建几乎无限的性能和几乎无限吞吐量的后台存储,并且提供了冷热数据分层,满足了华米的数据存储要求。

亚马逊云科技图数据库Amazon Neptune技术帮助西门子成都工厂成功应对了OEE系统数据分析的挑战。由于西门子成都工厂的设备信息分散,不同设备之间存在不同的关联关系和各种复杂的互动关系,加上产能扩展迅速、产线增长速度特别快,大量设备进入工厂导致设备的信息与数据规模猛增,而基于人工知识处理方式进行问题处理的能力有限,需要大量依赖于较有经验的员工,基于设备知识的运营管理困难。引入机器学习技术,结合西门子内部研发与算法等,基于Amazon Neptune图数据库技术可以快速定位故障的原因,帮助工厂操作人员进行高效处理。

EMR进行大数据分析,所有这些技术都在亚马逊云科技平台上无缝集成。采用亚马逊云科技云服务后:文远知行不用担心业务快速扩张对底层资源的要求,海量云资源可以很好地满足需求,其新业务部署从月级缩短到周级;文远知行的TCO降低了三分之一,运维效率提升了50%;提升了系统可用性,亚马逊云科技的多种跨区域可用灾备方案,为文远知行实现了更好的业务敏捷性和数据的持久性。

全球已经有数十万客户使用亚马逊云科技的数据库服务,为业务赋能。丰田汽车采用了Amazon Lambda以及Amazon DynamoDB来进行汽车数据处理,成功地节省了数百万美金。大众旗下企业MOIA,帮助大众旗下的电动汽车团队为客户提供拼车服务,MOIA在后台和车体内部都大量集成了亚马逊云科技的服务。Capital One是全美国第一家All-In 亚马逊云科技的主流金融公司,作为全美资产最大的金融控股公司之一,其业务已经全面上公有云。

艾瑞咨询研究总监王巍令表示:“云原生数据库将会成为未来数据库的重要趋势之一。在调研和走访中,发现不少企业尽管存在顾虑和实际困难,但是大多数也都表示愿意尝试云原生数据库。以亚马逊云科技为代表的公有云厂商,提供丰富的云原生数据库,使得企业可以安心地收数和用数,并聚焦核心业务。如果再考虑云上同时提供机器学习模型构建等服务,用数也变得简单起来。”

云原生数据库,正让更多的企业在大数据时代,尽情“奔跑”。

}


SeaTunnel 是一个非常易用的支持海量数据实时同步的超高性能分布式数据集成平台,每天可以稳定高效同步数百亿数据,已在近百家公司生产上使用。

SeaTunnel 尽所能为您解决海量数据同步中可能遇到的问题:

  • 简单易用,灵活配置,无需开发
  • 高性能、海量数据处理能力
  • 模块化和插件化,易于扩展
  • 支持利用 SQL 做数据处理和聚合

多个 Transform 构建了数据处理的 Pipeline,满足各种各样的数据处理需求,如果您熟悉 SQL,也可以直接通过 SQL 构建数据处理的 Pipeline,简单高效。目前 seatunnel 支持的, 仍然在不断扩充中。您也可以开发自己的数据处理插件,整个系统是易于扩展的。

  1. 如果您要在集群环境中运行 seatunnel,那么需要以下 Spark 集群环境的任意一种:

如果您的数据量较小或者只是做功能验证,也可以仅使用 local 模式启动,无需集群环境,seatunnel 支持单机运行。 注: seatunnel 2.0 支持 Spark 和 Flink 上运行

可以直接运行的软件包下载地址:

  • , 增值业务部数据平台 微博某业务有数百个实时流式计算任务使用内部定制版 SeaTunnel,以及其子项目 做 seatunnel On Yarn 的任务监控。

  • , 大数据运维分析平台 新浪运维数据分析平台使用 SeaTunnel 为新浪新闻,CDN 等服务做运维大数据的实时和离线分析,并写入 Clickhouse。

  • ,搜狗奇点系统 搜狗奇点系统使用 SeaTunnel 作为 ETL 工具, 帮助建立实时数仓体系

  • 离线、实时大部分任务场景。

  • 永辉超市子公司-永辉云创,会员电商数据分析平台 SeaTunnel 为永辉云创旗下新零售品牌永辉生活提供电商用户行为数据实时流式与离线 SQL 计算。

  • 水滴筹, 数据平台 水滴筹在 Yarn 上使用 SeaTunnel 做实时流式以及定时的离线批处理,每天处理 3~4T 的数据量,最终将数据写入 Clickhouse。

SeaTunnel遵守贡献者公约 , 通过参与,我们期望大家可以一起维护这一准则,请遵循 来报告不当行为 .

各种公司和组织将 SeaTunnel 用于科研、商业化产品使用。 访问我们的 查找用户页面。

}

我要回帖

更多关于 智能猫眼能实时录像吗 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信