发布网友 发布时间:2022-04-23 13:07
共1个回答
热心网友 时间:2022-04-13 12:22
DOA 主要包括以下内容:面向数据的体系结构的机制、面向数据的体系结构的组成、数据注册中心的机制、 数据权限中心的机制、数据异常控制中心的机制、数据应用单元的机制等。
(1)面向数据的体系结构的机制
包括: 面向数据和以数据为核心的指导思想;大数据时代对体系结构的需求;数据的定义和分类;数据的载体及与云计算的关系;数据生态系统的含义及 DOA作用; DOA 与数据和应用的关系; DOA 对数据的管理和服务模式; DOA 与应用的业务逻辑和数据逻辑关系; DOA 下数据安全的基本原理;等。面向数据和以数据为核心的指导思想。 数据是有生命的,具有生命周期,生命过程需要全记录。数据是有属性的,具有安全属性、身份属性、时间和空间属性。数据要天生加密,穿戴盔甲,加密呈现,具有不同的加密级别和深度。数据是于系统的,数据是应用的基础,不依赖于特定的硬件环境和软件环境。同一数据可以支撑不同的应用。数据的访问和应用是基于授权的,特定的访问者,特定的场合(环境),特定的时间(时段),数据的使用和用户适合于网络安全的授权、认证和计帐( AAA, Authorization, Authentication, Accounting)机制。数据是加密存储与传输的(数据态),授权后解密使用(应用态)。数据系统是生态的,变化和发展的,是可持续发展的,自生长、自管理、自适应的。虚拟世界由数据组成,是真实世界的映射。建立数据生态系统,就要面向数据和一切以数据为核心。数据生态系统包括生态的各种应用,是“肥沃的数据土壤上生长着茂盛的应用森林”。数据生态系统需要构建逻辑的数据资源池,支持数据大平台与碎片化和不断增长的应用,支持数据共享和系统可扩展。基于数据:一切可测,一切可联,一切可操作,一切可实现。
大数据时代对体系结构的需求。 大数据时代,我们从信息技术(IT,Information Technology) 时代来到了数据技术( DT, Data Technology) 时代。从关注技术(T)到关注信息(I),再到关注数据(D)。信息是因人而异的,是功利性的、利己的,强调的是我,信息技术是为自己的;数据具有普适性,可以产生信息,是公益性的、利他的,强调的是我们,数据技术是为大家的。 马云提出,人类已经从 IT 时代走向 DT 时代, IT 时代是以自我控制、自我管理为主,而DT时代,它是以服务大众、激发生产力为主的技术。 数据技术包括信息技术,数据技术范围更广,内涵更丰富;信息技术更具体,针对性更强。数据系统包括信息系统,信息系统是数据系统的子集。云计算为数据技术时代的到来提供了可能:云存储具有几乎无限的海量数据存储能力。数据技术时代,需要新的世界观,即数据世界观,数据安全观。数据技术时代,也就是大数据时代,需要相适应的软件体系结构,支持数据安全,支持一切业务数据化,管理海量、异构、复杂、变化和爆发式增长的大数据,并提供挖掘有价值信息的支持。现有系统架构大都是小数据时代遗留和发展的技术架构,现有安全体系也是建立在小数据时代技术架构之上的。以信息技术(小数据时代)发展而来的技术和信息安全技术,不能适应大数据时代的要求。 Hadoop、MapRece 等技术,只解决了大数据的静态和量大的一部分问题。需要重新审视数据,站在数据的角度审视技术、架构、安全体系。
数据的定义和分类。 百度百科和维基百科分别给出的“数据”定义是: “数据就是数值,也就是我们通过观察、实验或计算得出的结果。数据有很多种,最简单的就是数字。数据也可以是文字、图像、声音等。数据可以用于科学研究、设计、查证等”, “数据,或称资料,指描述事物的符号记录,是可定义为意义的实体,它涉及到事物的存在形式。它是关于事件之一组离散且客观的事实描述,是构成信息和知识的原始材料。数据可分为模拟数据和数字数据两大类。数据指计算机加工的‘原料’,如图形、声音、文字、数、字符和符号等”。我们研究的大数据时代的数据是广义数据: 就是真实世界映射成虚拟世界的内容。 除了我们理解的计算机可以直接处理的数据外,还可以是能被注册的各类事物:如设备,服务,APP,人,物等。这就需要研究大数据时代下的数据定义或广义数据定义。可以从不同角度来分类数据:结构化/非结构化数据,关系型数据库/NoSQL,动态数据/静态数据,变化的数据/历史数据,简单数据/复杂数据,自有数据/共享数据/公开数据,不断变化和不断积累增长的大数据,等。
数据的载体及与云计算的关系。 云计算可以从弹性计算和存储服务两个方面来划分类型,典型如亚马逊的弹性计算云( EC2, Elastic Compute Cloud)和简单存储服务(S3, Simple Storage Service)。在架构上习惯上分为基础设施作为服务(IaaS, Infrastructure as a Service)、平台作为服务(PaaS, Platform as a Service)和软件作为服务(SaaS,Software as a Service)三层,本质上云计算就是云服务,但还应有数据作为服务(DaaS, Data as a Service)这重要的一层。从数据角度,云计算更多是数据的存储服务,是 IaaS 和DaaS,通过分布式和虚拟化技术,将基础设施与数据融为一体( I+D, Infrastructure plus Data),为终端用户提供弹性的、可计量的、个性化的数据和计算服务,可以简称“云”。一切皆在云中,包括所有的基础设施,如网络、服务器、存储设备等,更重要的是包括所有的数据,网络世界和物理世界的数据等。以数据为内容定义云,可以分为存储云、网络云和物理云。存储云数据举例:基础数据,影像数据,历史数据,行业数据等;网络云数据举例: QQ,微信,百度,博客,短信,淘宝,电子邮件, APP 软件等;物理云数据举例:雨量,温度,视频,PM2.5,交通流量,设备,人员等。数据生态系统的含义及 DOA 作用。 数据生态系统,是“肥沃的数据土壤上生长着茂盛的应用森林”, DOA 是数据与应用之间可持续发展的关系描述。一个数据生态系统能够成立,关键是要建立一种有效的作用机制,这就是面向数据的体系结构(DOA)。 DOA, “是一个信息系统的体系结构,针对任何数据类型,基于云服务的概念,与具体的硬件平台和软件系统无关,通过以数据为核心和面向数据的理念来建立构建复杂信息系统的机制,以数据标识作为数据的识别和定位标记,建立数据的分类体系和访问权限,通过数据注册和登记中心实现数据的管理和交换,通过建立各种数据功能单元,可以由简到繁、由易到难地构建复杂应用系统,实现多系统间的数据共享、访问和协同”。DOA 与数据和应用的关系。 人类通过包含计算机网络在内的计算机硬件和软件系统建立了虚拟世界,通过虚拟世界去认识、建设、改造和适应真实世界,于是产生了大量的数据和各种应用。 DOA 就是建立在云计算支撑的数据和各种应用之间的、分别可以对数据和应用进行管理和服务的一种机制、一个平台,形成一个以这种机制和平台的相对不变来应对数据和应用万变的数据和应用的生态系统。这种关系和机制,也可以实现从实时数据到实时应用的支持。数据、DOA 平台和应用所构成的三层架构如右图所示。
DOA 对数据的管理和服务模式。 DOA 面对的数据是广义数据。要对广义数据进行管理和服务,首先要解决对各种类型数据的统一标识和管理问题。其次,要考虑数据的价值保护,要对数据进行属性管理,对数据进行权限和授权管理。再次,在分布式应用和有数据冗余的情况下,要考虑数据的一致性问题。据此提出数据注册中心( DRC)、数据权限中心( DAC)和数据异常控制中心( DEC),互相配合实现对各种类型数据的统一管理,并为应用提供数据服务。
DOA 与应用的业务逻辑和数据逻辑关系。 传统的应用信息系统构建逻辑大都是面向业务的逻辑,即根据需求,按照业务流程进行需求分析,就事论事地对系统进行设计和开发。按照业务逻辑,要求信息处理流程、数据结构等都按照业务过程的要求进行设计,好处是信息流程与业务流程比较一致,但缺点是,在今后一旦业务流程发生变化,信息处理流程、数据结构等都要做相应的变化,给系统开发和维护带来不可预测的困难。 DOA 要求面向数据,即要将应用的业务逻辑转换为数据逻辑,这样,就要求将业务流程按照对数据资源池访问的周期梳理成一个个小的面向数据的流程,最后再将这些面向数据的流程整合成面向业务的流程,完成应用信息系统的开发。这样做的好处是一旦构建了数据资源池,构建面向数据的业务流程会比较便捷,而且业务流程发生变化,不会影响整个数据逻辑和数据流程,只需增加变化的部分或调整一些数据流程去适应新的变化即可。缺点是,要将业务逻辑转换为数据逻辑,需要做一个思想转变。
DOA 下数据安全的基本原理。 传统的信息安全,首先是建立一个封闭和相对安全的环境,通过各种方式来保证这个封闭环境是安全的或可信的,但在这里面的数据却大多是“裸露”的。一旦有不速之客通过漏洞进入到这个环境, “裸露”的数据就面临着极大的危险。在互联网和云计算的开放环境下,按照这种封闭环境下的信息安全策略进行数据保护,将面临着极大的挑战。
DOA 是面向数据和以数据为核心的。数据是有属性的,具有安全属性、身份属性、时间属性和空间属性。要明确数据的主人、朋友和敌人。从数据角度考虑安全问题,要保证数据的完整性、机密性和可用性。数据要“天生加密,授权使用”。数据具有自保护功能,要穿戴盔甲,以加密方式呈现,具有不同的加密级别和深度。数据的使用要经过授权。数据具有两种状态:存储和传输时的“数据态”以及授权使用中的“应用态”。 “数据态”是加密状态, “应用态”是解密状态。一旦完成“应用”或离开了应用环境,数据应立即“变”为加密的“数据态”。 DOA 提供一种加解密机制和授权使用机制,使得数据在存储和传输时是不可访问和使用的,而经过授权的用户在访问数据或通过应用使用数据时,是透明的,即感觉不到数据的加密和解密过程。因此, DOA 下的数据安全策略是, “数据态”的数据,既适合于封闭环境,也适合于开放环境,而“应用态”的数据,仅适合于“封闭”环境。这样,数据安全问题就化解为数据加密和授权使用机制、数据自我保护和自动加解密机制、应用环境安全等几个关键问题了。
(2)面向数据的体系结构的组成
包括: DOA 的组成及完备性;数据注册中心( DRC)基本功能;数据权限中心( DAC)基本功能;数据异常控制中心( DEC)基本功能;数据应用单元( DAUs)的基本功能;面向数据的软件工程原理初步探索;等。
DOA 的组成及完备性。 DOA 是一种构建在云计算环境之上的软件体系结构,不涉及直接对具体硬件的控制和访问。作为协调数据和应用之间的关系以及构建数据生态系统的一种机制, DOA 应具有对广义数据进行全面管理和服务的功能,以及对各类应用进行全面管理和服务的功能。初步考虑的 DOA 组成包括:对广义和各类数据进行登记注册管理的数据注册中心( DRC),对数据进行授权、认证和计帐(授权及访问过程记录)管理的数据权限中心( DAC),对数据的一致性进行管理的数据异常控制中心( DEC),以及对各类应用进行管理、服务提供支持的数据应用单元( DAUs)。这些中心和应用单元,构成了 DOA 的基本框架,它们之间既相互,又相互关联,形成一个有机的整体。相互,体现在它们的任务和功能互不相同;相互关联,体现在它们之间的互为依赖。例如,DAC、 DEC 和 DAUs,都要依赖于 DRC。
数据注册中心(DRC)基本功能。 数据注册中心对各种类型的数据和广义数据进行登记注册,形成逻辑的数据资源池,方便应用对数据的访问。其功能涉及但不限于:数据注册信息定义,数据属性信息,数据分类,元数据标准,元数据分类,不同类型数据的注册方法,数据索引,元数据索引,数据检索,广义数据模式识别,分布式部署,数据注册内容随需自适应机制,数据生成自动注册机制,历史数据注册与管理,等。
数据权限中心( DAC)基本功能。 数据权限中心对数据进行权限管理,功能涉及但不限于:数据安全属性定义,数据合法性鉴别,数据访问权限定义,用户权限认证,应用授权,用户授权,数据授权与 PKI,计帐算法及机制,数据透明加解密机制,高效数据加解密算法等。
数据异常控制中心(DEC)基本功能。 数据异常控制中心对分布式环境下有数据冗余时的数据一致性进行处理,功能涉及但不限于:数据维护,自适应管理,异常探测与处理,巡检,异常与冲突发现,同步处理,冗余处理,负载均衡等。数据应用单元( DAUs)的基本功能。 数据应用单元是在数据资源池之上的一系列应用单元模块,针对应用管理和服务,通过类似于基于构件的软件开发模式( COA)的搭积木方式和应用程序接口( API, Application Programming Interface)调用,以“数据驱动应用”,快速满足用户的各种应用功能需求。其功能应根据各种具体应用的需求,涉及但不限于:根据不同数据类型提供不同功能的数据功能单元( DFU, Data Function Unit),以推送方式提供服务的数据服务单元( DSU,Data Service Unit),数据加解密单元( DEU, Data Encryption Unit),数据授权调用单元( DIU, Data Invocation Unit),数据应用组合单元( DCU, Data CombinationUnit),数据可视化单元( DVU, Data Visualization Unit),数据处理单元( DPU,Data Processing Unit),等。
面向数据的软件工程原理初步探索。 面向数据的体系结构 DOA 为软件开发提供了新的方法。区别于传统的面向业务的软件工程,新的面向数据的软件工程具有新的活力。拟开展以下研究:具有生命周期的应用软件与数据生态系统的关系研究;业务逻辑转化为数据逻辑的开发过程研究;逻辑的数据资源池建设和运行维护机制研究;基于成长型数据生态系统的应用软件开发模式研究;基于DAUs 的面向数据的应用软件快速构建机制研究;已有系统的数据整合方法研究;等。
(3)数据注册中心(DRC)的机制
包括:数据注册内容定义及元数据标准;数据属性信息定义;数据分类及分类标准;数据注册方法;元数据索引和检索方法;广义数据模式识别;数据注册中心分布式部署模式;数据注册内容随需自适应机制;数据生成自动注册机制;历史数据注册与管理;等。
数据注册内容定义及元数据标准。 广义数据包括云中存储的各种类型的数据,也包括互联网中传递的实时变化的数据,还包括物理世界存在的实体对象和状态所表征的数据,如果用云的概念来表达数据,就是存储云(数据)、网络云(数据)与物理云(数据)。对这些数据进行注册,就要针对这些数据的特征定义注册内容,最重要的是要指出这些数据的名称和存在的位置,作为统一管理数据的唯一标识。此外,还需要有数据的描述、数据的属性、数据的权限等内容。这些内容体现为元数据,需要制定统一的数据注册元数据标准。数据属性信息定义。 数据具有属性,不同的数据具有不同的属性。数据都具有价值, DRC 需要管理数据的共性属性。例如,数据权人(数据主人),数据的生命周期,数据的权限,数据的状态,数据的性质,数据的合法性,数据的质量等。
数据分类及分类标准。 数据可以分为不同的大类和子类,对于分类的标准、分类的方法、分类的类别和分类的应用等,需要开展研究。为了提高数据检索效率,还需对元数据进行进一步的分类研究。数据注册方法。 根据不同的数据类型,不同的数据性质,要采用相适应的数据注册方法,可以分为手动注册、半自动注册和全自动注册方法。在数据注册的同时,建立数据索引。应用产生数据,应用产生的数据应该自动进行注册。
元数据索引和检索方法。 数据注册中心是为应用提供数据访问服务的,访问效率取决于索引和检索方法。由于数据注册中心的体量可以很大,根据不同系统,其规模可以达到TB级甚至PB级。因此,建立高效的元数据索引和检索机制和研究高效的索引和检索方法,是非常必要的。广义数据模式识别。 数据注册中心注册的内容可以是广义数据,例如物理世界的实体。要快速检索这些广义数据,需要采取新的识别技术。例如可以采用基于模糊理论的模式识别技术来建立索引等方法。数据注册中心分布式部署模式。 数据注册中心的数据虽然是数据的注册信息,其体量和实体数据相比约占千分之一,当实体数据达到 PB 量级,注册中心的数据将达到 TB 级,因此,数据注册中心也要部署到云的分布式环境中。为高效地运行数据注册中心,需要对其进行分布式部署模式研究。
(4)数据权限中心(DAC)的机制
DOA 意在从架构角度对未来数据系统进行全方位设计,包括数据安全在内。DAC 通过数据权限的管理对数据进行保护,并提供数据授权使用的机制,也可以保护数据拥有者的利益。因此,DAC 的机制涉及但不限于:开放环境下数据安全基本理论;数据的状态机制;数据固有安全属性;数据访问控制权限及管理机制;数据合法性鉴定;数据权限中心的作用和运作机制;用户认证机制及证书授权( CA, Certificate Authority)技术;数据授权机制及与公共密钥基础设施( PKI,Public Key Infrastructure)关系;数据使用记录及其溯源机制;计帐机制;多级授权及认证机制;单个数据与批量数据或大数据量授权使用机制;密钥体系;数据透明加解密策略和算法;加解密效率与安全性及授权过程的妥协关系;传统数据传输加密技术适应性;应用环境安全保障;数据非法使用识别及数字水印技术;数据权*利和知识产权相关问题;等。
开放环境下数据安全基本理论。 开放环境下,要做到数据本身的安全,并能够安全使用,首先就是数据要进行加密,数据应该具有“天生加密,授权使用”的特性。不妨假设数据在使用中是不加密状态,那么数据不在使用中就应该保持加密状态。因此,设定数据具有两种状态:存储和传输时处于加密状态的“数据态”以及授权使用中处于解密状态的“应用态”。 DOA 作为一种机制,就要保证数据能够在这两种状态中与授权和加解密技术关联起来。目前有关数据安全的理论和方法体系、网络的授权、认证和计帐的 AAA 技术、CA技术、PKI技术、密钥体系、加解密技术等,以及网络安全技术、系统安全技术、应用环境安全技术等,都是适用的,但要从面向数据和以数据为核心的角度进行重新梳理,从数据安全的理念、理论、方法和受保护数据的应用机制等方面,进行适应性研究和更进一步的探讨。
数据的状态机制。 可以以面向对象的观点来看待数据,数据除了其自身应具有的价值外,还具有内部属性和外部状态。从外部看,数据应具有“数据态”和“应用态”两种状态。要研究数据状态的定义,数据状态的设置和获取,数据状态的转化,数据状态的作用,数据状态对环境的要求,数据状态与数据加解密关系及作用机制,等。
数据固有安全属性。 数据的内部属性包括关键的数据安全属性。要研究数据安全属性的定义,数据安全属性的内容,数据具有的访问权限,数据安全性说明,数据状态,数据的主人(数据权人)、朋友(被授权人)、陌生人(未授权人)和敌人(不受权人),数据读写权利,数据追加历史记录,数据的数字水印与防伪鉴别,数据授权记录,等。
数据访问控制权限及管理机制。 数据访问控制依赖于数据安全属性,又与数据的加解密关系密切。过去的数据访问控制权限是由软件所控制,由访问软件控制数据的访问,而数据本身则有可能加密也有可能不加密。当另外的软件访问数据时,有可能绕过权限控制,例如越权访问数据,造成数据的非法访问和重要信息泄露。本项研究立足于数据“天生加密,授权使用”的观念,数据的访问依据数据的安全属性和访问者的身份,通过应用授权、用户授权,再确定数据授权,依据授权的方式和应用的环境,提供解密密钥或解密算法,实现数据的安全使用。涉及数据的使用,还有数据的读写权限、修改权限、追加权限、数据的获取及数据权人的确定,以及按照数据权人的身份信息进行数据自动加密和自动注册等。依照不同的应用类型、不同的应用场景、不同的用户表现方式,这种数据访问控制方法及权限管理机制,需要深入开展研究。
数据权限中心的作用和运作机制。 数据权限中心负责对数据进行安全保护,并对数据的使用进行授权管理和应用安全管理。因此,数据权限中心要管理数据安全属性,鉴别数据的合法性,设定数据的访问权限,认证用户和应用,对数据进行用户和应用授权,对授权过程进行记录和计帐,对数据进行加解密,等。数据权限中心要与数据注册中心配合,有关数据的属性和权限等数据,需要在数据注册中心进行注册和登记,数据权限中心根据注册的信息,对数据进行监控、授权、回收权利、认证、计帐、加解密和新数据安全属性注册等操作。从内部看,数据的使用过程就是数据的授权和不断扩大授权范围的过程,计帐就是对这些授权的记录,可以为后续的商业应用奠定基础。未来任何一个 DOA 平台,在提供数据管理和服务的同时,也具备了数据商业运作的基本能力。
用户认证机制及证书授权(CA)技术。 数据应用授权是建立在用户认证的基础上的。用户认证与用户的属性相关,认证过程是用户注册和管理维护过程。登记用户信息是数据注册中心(DRC)重要的数据注册内容,也是数据权限中心(DAC)需要用到的重要数据。用户认证技术,可以采用传统的 CA 技术,需要有第三方权威中心或局部中心向用户颁发用户证书(私钥)。同时,数据和用户之间通过数据安全属性建立关联关系。
数据授权机制及与公钥基础设施(PKI)关系。 向用户授权使用数据,就需要将经数据权人(数据的主人)公钥加密的数据转变成用被授权用户(数据的朋友)公钥加密的数据,再提供给被授权用户下载使用。当遇到体量较大的数据,为提高加解密效率,用公钥加密的应该是对数据进行对称加密的密钥,而不是数据本身。数据权限中心(DAC)要提供这种基于 PKI 的加解密授权机制和方法。
(5)数据异常控制中心(DEC)的机制
DEC对数据资源池(数据注册中心注册的数据)进行一致性管理,对数据资源进行维护,保证数据的唯一性和一致性。因此,DEC的机制涉及但不限于:数据一致性维护机制,数据动态变化自适应管理机制,数据一致性异常探测与处理机制,数据巡检算法,数据异常与冲突发现算法,数据同步处理算法,数据冗余处理算法,热数据自动复制技术,冷数据自动删除技术,系统负载均衡,等。
(6)数据应用单元(DAUs)的机制
DAUs在数据注册中心DRC以及数据权限中心DAC的基础上,建立一系列应用单元模块,通过类似于基于构件的软件开发模式(COA)的搭积木方式和应用程序接口(API)调用,以“数据驱动应用”,快速满足用户的各种应用功能需求,对各类应用进行管理和服务。因此,DAUs的机制涉及但不限于:数据应用单元的结构规范,程序调用参数规范,数据访问规范,应用注册管理规范,应用扩展机制,授权数据访问机制,非授权数据访问识别,数据功能单元,数据服务单元,数据加解密单元,数据授权调用单元,数据应用组合单元,数据可视化单元,数据处理单元,等。