基于云原生的物联大数据智能服务-yb体育官方

云原生是云计算的热点发展方向，其以容器、微服务、devops等技术为基础建立了一套新的云技术产品体系，强调应用的设计、实现和部署运维等方式应充分适应并利用及发挥云计算平台分布式、按需服务、弹性伸缩等特点。云原生可以物联大数据智能服务带来诸多必要的支撑和有益的基础。为此，我们需要有针对性地研究云原生背景下物联大数据特定的智能服务、应用集成、体系结构及标准规范等问题，特别是大量高并发事件驱动的应用自动关联和智能协作问题。

云原生下物联大数据运行环境

物联大数据处理涉及流式处理、批处理、流批混合处理等不同模式，同时需要大量结合新兴人工智能技术的物联大数据分析，这些处理和分析依赖mapreduce、spark、flink等不同计算模型和多样化机器学习模型，需要复杂的软硬件运行支撑环境，当前这些环境也大都没有采用微服务的架构设计。因此何建立一套融合物联大数据处理和分析需求的容器云及微服务管理与调度系统就成为一个关键挑战。

云原生下物联大数据服务体系

在物联网系统中将软件的实现与运维和用法相关部分（称为物联网服务）剥离，并纳入到云原生基础设施中（也是云计算的本质所在），这是大势所趋。针对物联大数据需求特征的优化策略、优化方法和涌现智能也将更多地以服务及服务组合的形式体现。如何设计与提供物联大数据服务已成为构建物联网应用和进行业务演算的基石。这些物联大数据服务的新形态，进一步推动云原生下服计算等相关学科的发展。

云原生下物联大数据系统的超级自动化

物联网智能服务发展期望能够实现大量高并发事件驱动的应用自动关联、智能协作和主动服务。超级自动化被gartner连续三年列为战略级趋势，其在物联网背景下可以理解为通过一系列技术打通数据流、控制流、事件流、协作流，打破碎片化物联网数据及应用的壁垒和孤岛，有助于帮助“数字孪生”的真正落地。如何在现有devops方法和服务编排技术基础上，使能最终用户“编程”实现超级自动化成为一个发展热点。

基于云原生的物联大数据智能服务平台

为了应对上述发展，需要探索基于云原生的物联大数据智能服务平台，在云原生背景下就去中心化的平台体系结构、主动式物联网数据服务的理论与模型、流批融合处理的云原生技术、基于行业服务库的集成应用开发框架等方面开展研究。物联大数据智能服务平台以物联大数据的接入、管理、计算、应用和维护的“接、管、算、用、维”的生命周期为主线进行设计，涵盖了多源异构物联大数据的接入与汇聚服务、存储与共享服务、混合处理计算与分析服务、云原生基础设施服务等内容。总体的平台架构设计如图1所示。

云原生基础设施服务

物联大数据智能服务平台主要核心功能定位如下：可根据运行时负载实现数据接入、存储、计算、分析等服务的自动部署与迁移，数据驱动资源虚拟化，通过虚拟机/容器的调度与优化，实现性能快速弹性伸缩。依托云原生技术手段，基于微服务架构来提高整个系统的灵活性和扩展性，借助敏捷方设施服务法、devops支持持续迭代动态调度、优化资源利用率。

多源异构数据接入与汇聚服务

应对多源异构数据的大规模并发、高吞量接入和多样化汇聚等挑战，支持多源数据并行接入对接收到的实时通信数据进行校验与解析，分拣不同类型实时数据，采用发布/订阅消息模型，通过总线实现了数据汇聚，并与存储与共享服务及计算服务间的数据传输。通过云原生实现对并发的伸缩管理与可靠性保障

物联大数据存储与共享服务

通过nosql存储实现海量的结构化数据和相关文件的管理，对历史数据的快速查询及提取。支持海量数据的实时存储与维护，面向多用户的数据进行组织、索引与管理。通过云原生实现对存储的伸缩管理与可靠性保障。

物联大数据计算与分析服务

支持基于大规模物联感知数据的批量计算和流式计算，提供透明化并行计算编程模型，支持多计算任务的调度执行并提供不间断计算能力，大幅减少感知数据计算任务的开发复杂度和开发周期。通过云原生实现对计算的伸缩管理与可靠性保障。

物联大数据开放接口及开发框架服务

能够按照不同的物联网应用领域表示和组织相关的服务资源，同时根据业务协作需求实现跨域的服务自动关联，并支持用户快速实施基于感知数据的创新应用与服务交付，支持应用的快速开发与部署执行。通过基于云原生的开放接口实现的物联大数据应用快速发布与迭代的devops方法。

社会各类基础设施的发展都经过上百年还未完善，同样可以断定，物联网“后端”的发展完善也是一个长远的事情。因此，人们不能把云原生的愿景当作现实。我们建议在考虑长期战略目标的同时，以价值和典型应用为牵引，先建立特定领域中统一运营的“行业物联网云原生”和第三方（非物联网应用建设方或数据所方）运营中心，以实现资源优化利用以及跨域的资源共享和应用集成。作者所在的大规模流数据集成与分析技术北京市重点实验室，自2011年开始，针对物联网大数据高吞吐量、时变连续、数据多源、时空相关、关联复杂、价值密度低等特征，在着力提升流批融合的物联大数据集成化处理能力的同时，以支持物联网大数据的动态集成与可控共享为重点，创新性地提出了利用服务提升价值密度和可控性、利用服务共享实现数据共享、利用服务超链实现主动式事件路由和联动、利用行业服务库不断学习业务模式的decloud路线，并重点研发面向物联网背景下行业大数据“接、管、算、用、维”全生命周期的物联大数据智能服务平台decloud，形成具有自主知识产权的软件产品体系。同时，特别结合交通（包括城市、城际和海上交通，如图2所示）和电力（包括电厂、电网）两个典型行业领域开展行业物联网大数据开发框架和实施方法研究，尝试打通了从“离散数据汇聚”到“集成化数据服务提供”到“基于服务的探索分析”再到“行业业务模型建立”的行业物联网大数据价值链。

物联大数据已成为当前物联网系统建设的核心，基于物联大数据的涌现智能和应用以及借此对物理世界的反馈和控制是未来物联网系统的建设目标。云原生作为云计算的新兴发展方向，其分布式、按需服务、弹性伸缩等特点可以对物联大数据智能服务的发展提供诸多必要和有益的支撑。为此，我们需要有针对性地研究云原生背景下物联大数据特定的智能服务、应用集成、体系结构及标准规范等问题，从云原生下物联大数据运行环境、云原生下物联大数据服务体系、云原生下物联大数据系统的超级自动化等方面开展研究，积极探索基于云原生的物联大数据智能服务平台建设与应用验证工作。