浅谈数据密集型数据资源云平台的构建论文

萘普生 分享 时间: 收藏本文

【简介】感谢网友“萘普生”参与投稿,下面就是小编给大家带来的浅谈数据密集型数据资源云平台的构建论文(共13篇),希望大家喜欢阅读!

篇1:浅谈数据密集型数据资源云平台的构建论文

美国《福布斯》杂志称“如今,在浏览新闻网站或者是参加行业会议时,想看不见或听不到‘大数据’这个词几乎是不可能的”,大数据已经成为产业界、科学界和政府部门等各界的关注热点。近几年来, 《Nature》、《Science》等国际顶级学术期刊相继出版专刊来推动大数据的研究,中国、美国等多国政府也展开了对大数据的研究部署工作。产业界已经率先认识到大数据所蕴含的海量价值及其战略意义,Amazon、Google、IBM 等IT 巨头纷纷探索应对大数据的解决方案,云计算逐渐成为他们共同的探索方向。科学界也逐步意识到大数据的影响,认为随着大数据时代的到来,科学研究已经进入数据密集型科学研究( Data-Intensive Science Research) 阶段,中国科学范式的转变成为科学界的研究重点。本文探讨了数据密集型科学研究的内涵和特征,以及科学界面临的挑战,并构建了数据资源云平台以帮助科研人员应对数据密集型科学研究中的问题。

1 数据密集型科学研究的内涵及其特征

数据密集型科学研究是直接从海量数据中发现科学规律的一种研究范式,是在大数据环境下对实验科学、理论科学和模拟科学的继承与发展。它由三个基本活动组成: 科学数据的采集、管理和分析,其数据来源主要有大型国际实验,跨实验室、单一实验室或个人观察实验,个人生活等。在这一新的科学研究范式中,先利用科学仪器或者模拟方法采集数据,然后通过计算机软硬件设备进行数据的管理和分析,将处理分析后的数据、信息和知识存储在计算机中。信息科学贯穿科学活动的始终,而科研人员对数据的审视是在整个科学活动中比较靠后的步骤才开始的。数据密集型科学研究作为科学大数据环境下科学研究的新发展,具有以下三个特征:

( 1) 数据驱动,而不是假设驱动。传统阶段,实验科学、理论科学和模拟科学能够获得和使用的数据相对匮乏,只能采取假设驱动型研究方法,首先根据前人研究成果和自身知识进行假设,然后通过设计实验、理论推导或者是计算机模拟等定义好的方法获取相关数据,对假设进行检验。而现在科学研究已经从数据缺乏时代过渡到数据泛滥时代,数据密集型科学研究不需要模型和假设,科研人员的关注重点也从“我要怎么验证这个假设”转变为“我能从这些数据中发现什么关联”,数据成为科研活动的起点和驱动力。

( 2) 强调可重复性。科学研究是人类认识世界、改造世界的重要手段,保证科研结果的可靠性和真实性是科学研究的前提,而可重复性是检验科学研究结果可靠性和真实性最有效的手段。在数据密集型科学研究中,技术的进步使数据传播速度更快、范围更广,产生的影响也更大,所以为了更好地保障科学研究的可信赖性,必须更加重视科研活动的可重复性,从而尽快识别出错误的或者弄虚作假的科研结果,将负面影响降至最低。中国

( 3) 相关关系,而不是因果关系。数据密集型科学研究通过对科学数据的分析和挖掘,直接从科学数据中发现科学规律,认识事物的相关关系,其精髓在于客观,但不能像实验科学、理论科学和模拟科学那样检验逻辑上的因果关系。然而科学研究是人类认识世界的手段,其目的不仅是发现科学规律,还要探索规律运行的本质原因,得到相关性之后还需要结合前三种科学方法解释因果性。

数据密集型科学研究是对前三种科学的继承与发展,将其作为一个新的、科学探索的第四种范式,具有重大的价值和意义,当然也面临一些新的挑战。

2 数据密集型科学研究面临的挑战

2. 1 科学数据层面的挑战

科学数据面临来自诸多方面的挑战,但从研究的角度来说,根本挑战在于其规模性、复杂性和特异性。

( 1) 规模性是科研大数据最明显的特征,也是科研人员所面临的首要问题,主要表现在原始数据的规模性和数据增速的规模性: ①原始数据的规模性。科学研究是持续性的活动,传统科学已经产生海量数据积累,如澳大利亚的平方公里阵列射电望远镜项目自开展以来,每天都能产生好几个千万亿字节( PB) 的数据; ②数据增速的规模性。随着科研人员的研究方法和研究仪器越来越先进,科学研究能够生成和获取的数据量越来越多,数据量的增长速度已经超过了数据存储能力的增长速度,导致数据存储和处理能力与日益增长的数据量之间的矛盾愈加尖锐。

( 2) 复杂性是科研大数据的重要特征,给科学数据共享造成巨大困难,主要表现在数据类型的复杂性和数据结构的复杂化: ①数据类型的复杂性。美国国家科学委员从科研研究类型角度将科学数据分为4 个基本类别: 预测型、计算型、实验型和记录型,这种划分方式模糊了具体学术活动下所收集到的数据类型的复杂性。计算机技术和科学方法的进步使科研人员能够获得的数据类型愈加复杂化,如核磁共振成像、基因序列、电子显微镜数据等形式; ②数据结构的复杂性。传统科学数据主要以结构化的方式存储在关系型数据库中,但是随着科研人员获取数据的渠道和方式的多样化,非结构化数据成为科学数据的主流形式。与结构化数据相比,非结构化数据的组织更加凌乱、复杂,给数据处理和共享带来挑战。

( 3) 特异性是科学数据区别于其他数据的关键特征,对科学数据共享和学术信息交流提出挑战,主要表现在认识的特异性和价值的特异性: ①认识的特异性。由于科学数据与客观世界相分离,对科学数据的认识必然带有主观性,数据采集者认为是数据的采集物,接受者可能不这样认为,观测数据或者模拟数据可能是、或者顶多是“供述的证据”; ②价值的特异性。科学数据作为一种可重复利用的非消耗性资源,其价值增值需经过科研人员的利用来实现。影响科学数据增值程度的因素有两个,一是科学数据本身的价值,决定理论上的最大增值程度;二是数据使用者的能力,决定实际增值程度,而科学数据的交流和共享能够实现数据的多方利用,促使科学数据价值产生指数增长,所以如何实现科学数据共享成为科学界亟需解决的问题。

2. 2 科学研究层面的挑战

首先,科研人员缺乏将数据转化为知识的意识和方法。中国一方面,科研人员没有意识到科学数据的价值特异性,绝大部分科学数据会随着科研人员的退休、项目的结束等原因被遗弃,无法被其他人员使用。另一方面,数据密集型科学研究具有无参考性,科学研究方法需要从传统的假设驱动变为数据驱动,科研人员必须培养数据敏感性,以数据为本,转变自己的研究方法以实现数据价值最大化。

其次,科研人员缺乏设备和技术支持。目前科研项目呈现金字塔型分布,第一层项目能够得到国际财团机构或国家科学基金会的资助,获得超级计算和存储资源,而占大多数的第二层和第三层项目所获得的资助相对有限,数据密集型科学研究的资源需求难以得到满足。科研人员无法平等地获取保证项目所需的资源支撑,延缓了知识创新进程,不利于科学的持续发展。

最后,数据共享方面存在阻碍。一方面,不同地域、不同学科之间缺乏统一的交流平台,虽然科学研究的地理分布性和跨学科性不断加剧,但仍有接近87. 5%的数据未能形成数据源以供科研人员利用。另一方面,数据共享在具体实施层面,会涉及到各方面的利益,政策、制度等因素导致原始数据、研究方法等无法实现真正共享,跨国项目在此方面的问题尤为突出,因此,科学交流体系的完善值得引起科学界和国际方面的关注。

3 云计算在数据密集型科学研究中应用的必要性分析

云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池( 如计算设施、存储设备、应用程序等) 的计算模式,Gartner 公布的 年的技术成熟度曲线,Cloud Computing 正处于泡沫化的谷底期,已经度过了最危险的期望膨胀期,人们对云计算的认识逐渐趋于理性和成熟,业界也不再热衷于炒作云计算概念,而是将实现云计算的成熟和规模应用作为努力的方向。Gartner 的2014 年十大技术和趋势评选中的个人云时代、规模IT 都属于云计算的应用,云计算真正与实际应用和环境融合,实现从探索向应用转变,成为大数据时代个人和企业进行数据管理的必然选择。

在对数据管理的使用和认识上,很多科学领域都落后商业领域至少10 年,云计算在商业领域的广泛应用对于科学领域具有借鉴意义,将云计算应用于数据密集型科学研究中具有可行性和必要性。

第一,帮助科研人员应对科学大数据规模性带来的存储挑战。超大规模是云计算最基本的特点,其底层由数十万台乃至数百万台的服务器集群组成,如Google 云计算中心已经具有几百万台服务器,云计算中心通过运维管理、资源管理等机制整合和管理这些庞大的计算机集群,具备了海量数据存储能力,能够有效地应对科学大数据的规模性。此外,云计算采取横向扩张方式,即增加更多的逻辑单元资源,与传统通过增加单个逻辑单元资源性能的纵向扩展方式相比,中国横向扩展方式具有成本低、部署周期短、灵活性强等优势,能够更好地应对科学大数据增速的规模性。

第二,为科研人员提供面向非结构化数据的弹性计算能力,以应对科学大数据的复杂性。MapReduce 作为云计算系统中的关键数据处理组件,具有两个核心理念: 一是将问题分而治之,分布式处理是面对海量数据时的首要选择; 二是移动计算而非移动数据,避免数据传输过程中产生的大量通信开销。MapReduce 的设计初衷就是面向海量非结构化数据的处理,部署在海量基础设施之上,使云计算具有能够应对科学大数据规模性和复杂性的强大计算能力。结合虚拟化技术在云计算中的成功应用,云计算可以根据用户实际使用情况对资源进行动态分配,及时满足用户对计算资源需求的变化,帮助科研人员应对突发情况。

第三,实现数据的长期保存和可获得性,为科学数据共享提供保障。科学数据按照科研活动过程来划分可以分为原始数据、推导和组合数据、文献,这些数据是数据密集型科学研究的核心要素,因此必须保证科学数据的完整性、安全性和可获得性。云计算中心具有完善的保障措施,在硬件方面采用了计算节点同构可互换、网络和能源方面的冗余设计等措施,软件方面采用了多副本容错、心跳检测等技术来保证数据的可获得性和安全性。而且科学数据由云计算提供方统一管理,打破了原有数字资源分散的局面,有利于资源的有效流通、利用和共享,实现科学数据的价值特异性。

第四,为科研活动建立统一平台,使所有科研人员可以平等享有各种服务。服务是云计算的核心理念,也是云计算与传统的并行计算、分布式计算、网格计算的一个关键区别。云计算是为了让用户能够平等、透明地使用云计算资源,就像使用水电这样的生活基础设施一样便捷。云计算通过向用户提供统一的一体化平台,将传统的应用集成概念延伸为服务集成,从而将数据采集服务、数据存储服务、数据管理服务、数据处理服务、数据参考咨询服务等资源和服务能力集成到云计算系统中。

篇2:浅谈数据密集型数据资源云平台的构建论文

然而云计算技术并不能提供完整和通用的解决方案,为了满足可重复性、数据共享等需求,需要运用信息资源管理领域相关技术,才能在更大程度上帮助科研人员应对科学大数据的挑战。因此,数据资源云是以云计算为基础,以数据密集型科学研究为主体,以信息资源管理相关技术为补充,以数据为核心,以科学活动过程为导向,以数据服务为目标的服务平台。

4. 1 云基础服务平台

云计算基础服务平台是整个数据资源云的基础,将物理基础设施按照云计算平台标准构建而成,为上层服务提供硬件支持和环境保障,科研人员可以充分利用平台提供的软硬件设施便捷地构建出大规模应用。其中虚拟化技术是实现科研人员在使用数据资源云时如同使用本地资源一样的关键技术,它能够对计算资源、存储资源、网络资源、科研设备等进行分配封装,向用户提供接口,以虚拟的形式提供给科研人员使用。科研人员可以将他们保存在本地磁盘的数据转移到数据资源云中,交给专业人员进行集中管理,实现数据的长期保存,还可以通过接口访问和使用各种大型仪器设备,平等获取项目所需资源。

4. 2 科学数据处理与服务层

4. 2. 1 科学数据处理

鉴于数据密集型科学研究的特征,数据资源云并非按照传统的思路进行构建,而是遵循数据驱动的理念,以数据为起点,经过科学数据资源科学数据处理步骤之后才是科研人员审视,因此在科学数据处理方面,数据资源云采取的流程、技术都有别于传统的假设驱动型平台。

首先,需要对实验数据、模拟数据、科研人员信息等原始数据进行资源化。资源化的数据才能在后续的操作中产生更大的价值,通过数据集成消除数据之间的异构性,删除重复数据,对关联数据进行逻辑上的封装,减少后期处理中的资源开销。为了满足数据密集型科学研究可重复性的需求,数据世系管理成为科学数据处理过程中必不可少的环节。数据世系一般出现在包含多数据集的应用中,用于描述数据的产生并随着时间推移而演化的整个过程。对于项目实施者来说,数据世系配合分布式文件系统的容灾备份机制,可以在出现故障时,正确、快速地恢复数据。对于数据使用者来说,可以充分了解数据的`演化过程,加深对实验结果的理解,帮助实现科研成果的再现,保证科研活动的可信赖性和可重复性。

其次,科学数据分析是科研活动中的关键环节,主要包括海量语义分析、科研人员需求分析和海量数据挖掘。语义技术可以对概念、术语等进行明确的机器编码定义,并且能够对它们之间的相互关系进行陈述性和条件性的定义,使跨区域、跨学科的数据能够被科研人员、学生甚至是普通大众所理解和使用,是促进数据共享的关键。在海量数据中挖掘规律是数据密集型科学研究的重要手段,数据资源云能为科研人员提供弹性计算能力,MapReduce 在海量数据和非结构化数据处理方面的能力已经得到了各界的认可。而云科学工作流在重复性和流程性工作方面的表现更加优异,可以为科研人员提供可视化建模工具,使科研人员即使不具有程序设计知识也可以根据实际需要设计云科学工作流模型,表示科学工作流的任务及任务之间的关系。所以,MapReduce 和云科学工作流的结合可以帮助科研人员应对科学数据的规模性和复杂性。中国此外,为了提高后续服务质量,需要根据科研人员的问题和所处问题环境,利用数据挖掘的方法和工具对他们的学习层次、科研经历、研究方向等方面加以分析,挖掘他们的兴趣点和知识需求点,形成隐性需求分析文档,从而为后续的推送服务提供依据。

最后,科研人员对处理结果的价值进行判断和审视。在数据密集型科学中,科研人员不再直接参与科学数据的处理和分析,该任务由数据资源云来完成,他们的任务是在整个科学活动的后期审视和筛选处理分析的结果,将符合条件或者有价值的结果加工处理为知识,发布到数据资源云。如果结果不具有实际价值或者未达到预期效果,科研人员则向之前的环节反馈,数据资源云按照科研人员的反馈信息通过重新选择数据、调整云科学工作流模型等方式来重新进行数据处理,以获得满意结果。

4. 2. 2 数据服务

鉴于数据密集型科学研究具有数据驱动、可重复性等特征,仅仅向科研人员提供知识已经无法满足其资源需求,原始数据、推导和重组数据成为数据密集型科学研究中同等重要甚至更加重要的研究资源。数据资源云将数据服务作为特色服务,在保留传统云服务平台向用户提供知识服务项目的同时,又创造性地将原始数据、推导和重组数据添加到服务内容中,力求向用户提供更为全面的数据服务,满足科研人员在数据密集型科学研究中的需求。

知识层面的服务主要包括知识发布、知识推送和知识交流等环节。数据资源云能够自动地将不同科研人员在不同时间、不同地点生产出来的科技知识进行发布,实现知识的即时公开,缩短知识发现到知识应用之间的时间。知识发布是知识服务的第一个环节,为了实现知识服务效率的最大化,结合前期的科研人员需求分析结果,将最新知识推送给相关科研人员,加速知识流动速率,提高科研人员的科学生产力。数据资源云还为不同学科的科研人员提供交流平台,打破不同学科之间的壁垒。同时,为从事具体学科研究的科研人员与信息科研人员提供了一种科研场景,实现特定领域科研需求与信息技术之间的大量交互,有助于相应领域语义语言、工具和应用系统的改进和完善。然而,在数据密集型科学研究中,知识与科研过程中产生的推导和重组数据与原始数据相比只是冰山一角,数据是科学研究的基础,向用户提供数据服务,可以提高其工作效率,加速知识创新,主要包括数据共享、数据溯源和数据可视化。首先,数据的长期保存和可获取性保证了数据共享的可行性,语义分析、数据世系等技术保证了数据共享的价值性。数据资源云是一个开放合作的平台,科研人员可以按需搜索、理解以及利用自己需要的数据资源,实现更大规模的数据流动,实现科学数据价值增值。其次,数据资源云可以向用户提供数据溯源服务。数据资源云不仅可以发布研究成果等知识,还可以发布产生知识整个过程的源流信息和数据,即在提供知识的同时,还可以提供该知识涉及到的支撑数据以及中间过程产生的整合信息、推导和重组数据,以服务流的形式出现,加深对数据的理解和认识。此外,数据可视化将海量数据通过平面或者立体图形的方式呈献给科研人员,根据前期的数据资源化和分析处理结果,对可视化图形界面进行优化,既可以向用户提供数据的二维、三维的可视化效果,还可以添加时间维,向用户提供四维的数据可视化界面,即数据随着时间的变化而变化,产生动态感,实现过程可视化。此外,数据资源云在实现知识和数据同时在线的基础上,通过数据的生命周期管理,可将数据和知识同时联系在一起且可以交互操作。这样用户在查看某个研究成果时可以直接查看其原始数据,甚至是重做其分析,同样也可以从数据追溯到使用该数据的科研项目及其研究结果,提高科研活动的效率。

5 结束语

数据密集型科学研究是在科学大数据背景下产生的,传统的数据管理技术无法有效地应对科学大数据,云计算技术成为满足现代科研人员科研需求的必然选择。本文构建的数据资源云以云计算为主要框架,并结合了信息资源管理的相关技术,中国是面向数据密集型科学研究的数据管理和服务平台,能够帮助科研人员解决数据密集型科学研究中的科学大数据问题,有利于促进数据共享和知识创新。但是数据资源云中仍然存在一些不足之处,比如如何高效集成不同类型的数据源、更好地保护数据安全等问题,并且本文没有对数据共享、隐私保护等方面的政策制定问题进行探讨,这些都有待在后续的研究中继续完善。

篇3:基于大数据技术的班级管理平台构建论文

基于大数据技术的班级管理平台构建论文

一、大数据背景下的班级管理

班级是一个特殊的教育化的微型社会,是学生知识化、社会化、自我教育的基础资源。对于现代学校教育而言,就是整合班级资源而实现其整个教育功能。班级管理作为学校管理的最基层组织和最重要环节,必然是动态整合班主任、科任老师、学生以及与班级有关的所有资源,优化其组织结构、角色分配、人际互动等等,以促进其达成发展目标和共同愿景的一系列活动。因此,良好的班级管理不仅是学科课程质量和活动课程水平的根本保障,更是决定学生社会化发展的重要影响因素。

目前班级管理的数据来源于阶段性的、针对性的评估,其采样过程可能有系统误差;采集数据是随机抽样,以期用最少的数据得到最多的信息,但这种“最多的信息”有着很大的局限性,只限于诠释宏观、整体的班级管理状况,不适用于想了解班级管理更深层次的细分领域的情况。当大数据时代的班级管理对象上升为一个由学校(众多班级、学生、教师)、家庭(众多家庭成员)、社区(无数社会成员)所构成的庞大复杂的物联网时,根本就找不到一个“最优抽样”的标准,更不可能奢望抽样得到的小网络能够反映总体的所有结构特性。因此,目前班级管理的随机抽样已经失去了原有的意义,系统误差的也是必然地存在。

当今大数据时代,网络介入学生的班级生活已是客观现实,大数据技术使得教育面临新的一场革命。“样本=总体”的全数据模式、“量化两个数据之间的数理关系”的相关关系分析预测、以及“数据价值是其所有可能用途的总和”的数据利用与创新等特点,促使我们对于班级管理的思维方式和工作方式发生重大变革。这对班级管理来说既是一次机遇也是一场挑战,它使学生的教育内容、教育目的和教育方式等都发生了重构,要求班级管理必须与时俱进,更新班级管理观念,采用基于大数据的班级管理技术。

因此,基于大数据技术的班级管理平台的开发应用既是教育信息化的重要组成部分,也是提升学校课程实施水平的一个重要方面。对于信息时代大背景下的学校班级管理的实践创新和理论重建,以及拓宽学校课程实施的研究视野,都有着重大意义。

二、研究的基本框架

(一)概念界定

学校班级管理平台的开发和应用,就是利用云计算、物联网、大数据技术,在校园网环境下针对班级管理设计开发一套科学的软件系统,并在这个软件系统的平台上展开一系列班级管理活动,以调动班级成员参与班级管理的积极性和主动性,实现班级管理的自动化和精确化,提高班级活动的实施水平和班级管理的效率,从而促进学校管理的科学化和正规化发展。

(二)研究目标

1.设计开发一套既便于学校、班主任使用,又利于学生参与;既强调管理结果,又突出管理过程的学校班级管理软件平台。

2.探究大数据背景下基于班级管理平台促进学校课程实施水平提升的途径。

三、研究过程与方法

(一)研究过程

以“以人为本”理论作指导,完成学校班级管理软件系统各个模块、各个环节、各种功能的设计和实现,架构融教育理论、管理技术、大数据技术为一体的学校班级管理软件平台,探索基于大数据的学校班级管理平台研发的新方法;以实现“三维目标”为指向,充分利用学校班级管理软件平台自动化、人性化等技术优势,促使所有班级成员积极主动地参与班级管理,提高班级管理的效率和质量,探索互联网时代的现代班级管理的新策略;以“班级管理平台的开发应用”为驱动,探索学校管理现代化促进学校课程实施水平提升的新途径。研究的技术路线。

(二)研究基本过程

1.班级管理现状问卷调查

调查采用问卷调查法,从理论维度、设计维度、操作维度分别编制了针对教师和学生的班级管理现状调查问卷。为了保证调查的可靠性,在两套问卷中均设计了几道同质相关题,即反映同一方面问题的相关程度较高的题目;从1-6年级学生中随机抽取412人,发放问卷412份,回收有效问卷412份;发放教师问卷80份,回收有效问卷80份。通过对回收问卷统计分析,针对当前中小学校班级管理中存在的问题,把握了班级管理的迫切需求。

2.设计研发中小学班级管理平台

(1)具体界定班级管理的内涵:a.行政管理:b.班级环境管理;c.课程与教学管理;d.学生偏差行为的应对;e.常规管理;f.班级气氛;g.时间的管理。

(2)构架班级管理平台的理论模型。

(3)分层设计班级管理平台功能模块;写出源代码,并测试成型。

四、研究结果

(一)横向比较试验

10月-8月期间,从一至六年级各随机抽两个试验班应用“班级管理平台”,其他平行班为对照班。

从学生班级自我管理能力的六个维度“品德自检、学习自主、行为自控、管理自治、心理自调、体质自健”,抽检二、四、六年级的横向比较试验(如下页表1所示),结果显示:前四个维度,试验班明显高于平行班,管理平台在过程管理和自我管理方面产生了积极作用(不排除先行应用的心理暗示作用);后两个维度,试验班与平行班没有差异,管理平台在这些方面可能对小学生而言作用并不大。另外,从三个年段进行比较分析,其结果也显示:前四个维度,学生能力水平呈随年段上升而提高,这也许表明班级管理平台对于小学生来说,年段越高作用越明显。

(二)纵向比较试验

209月-4月期间,一至六年级推广应用“班级管理平台”,展开“本班纵向”“本年级与其他年级纵向”的比较研究。

从学生班级自我管理能力的六个维度“品德自检、学习自主、行为自控、管理自治、心理自调、体质自健”,抽检三、五年级(即原二、四年级)试验班的纵向比较试验(如表2所示)。结果显示:试验班在“学习自主、管理自治”两项具有明显提高,而在“品德自检、行为自控、心理自调、体质自健”四项则保持相同水平。这说明管理平台的应用促进了学生“学习自主、管理自治”能力提高,也相应地促使其他能力持续保持相当的高水平。

对教师应用班级管理平台后,其班级管理能力的提升从“学生品德自检指导、学生学习自主指导、学生行为自控指导、学生管理自治指导、学生心理自调指导、学生体质自健指导、教师之间沟通协调、家长/社区沟通协调”等八个维度进行测量(如表3所示)。结果显示:试验班在“学生学习自主指导、学生行为自控指导、学生管理自治指导、教师之间沟通协调;家长/社区沟通协调”等五项大有提高,尤其是“学生行为自控指导、学生管理自治指导、家长/社区沟通协调”三项显著提高,说明管理平台应用对于提高教师的隐性课程能力具有很好的促进作用。

(一)设计研发“中小学班级管理平台1.0版”

我们采取学校与教育软件企业联手,各自扬长避短、取长补短,学校发挥自身的教育优势,在调查研究的基础上,针对班级管理的创新需求,建立该平台设计的理论模型;教育软件企业则发挥其技术优势,根据学校班级管理需求和班级管理平台理论模型,共同设计班级管理平台的概念架构、体系结构、逻辑框架、功能与需求等,共同研发“中小学班级管理平台”.

(二)研究建立班级管理现代化与校长课程领导力的'关联模型

通过对“班级管理平台”应用试验结果的分析,我们发现,学校课程实施水平不仅与管理的技术支持具有很大的相关,而且与校长的课程领导力也存在着极大的关联--信息技术毕竟只是落地实施的基础支撑,一校之长的顶层设计是必不可少的。因此,我们在深入分析探究之后,初步架构出“班级管理现代化与校长课程领导力的关联模型”.

班级管理本质上是隐性课程(活动课程)的设置、实施与评价。从课程理论看,其管理水平的高低又不仅仅是隐性课程(活动课程)本身,必然涉及到显性课程(学科课程)的教学质量。因此,在“班级管理平台”应用中,班级管理水平直接受到教师课程能力的制约(教师包括班主任和科任老师,课程能力包括学科教学能力和班级管理能力),其关联度最大(班主任又明显大于科任老师)。

班级管理主体呈现为双主体:学生主体和教师主体。管理主体与管理水平的关联度,在传统班级管理方式中,教师明显大于学生;而在“班级管理平台”应用中,由于给学生的自我管理提供了技术支撑,学生的关联度明显提高,呈现出从低年级到高年级的线性增长趋势。

在传统班级管理中,家长基本上是排除在外。在“班级管理平台”应用中,由于网络技术的支持,使得家庭教育通过班级管理平台而与学校教育联通,家长得以介入班级管理之中,与班级管理水平产生了关联,其关联度视家长文化程度、学生行为表现、教师课程能力、“班级管理平台”应用时间而变化。一般来说,家长文化程度高,其关联度较高;学生行为表现不佳,其关联度更高;班主任、科任老师课程能力强,且配合密切,其关联度相对高;随“班级管理平台”应用时间的推移,其关联度逐步提高。

传统学校管理中,校长的课程领导力,基本上是通过领导教师的课程能力而体现。应用“班级管理平台”而实现班级管理现代化后,校长的课程领导力则通过教师的课程能力、学生的自我管理能力、家长的参与力三方而发挥,而且校长可以通过“班级管理平台”,过程性、微观性、个性化地观察、评价、指导这三方的课程能力、自我管理能力、参与能力,从而全面深刻地贯彻其课程领导力。

(三)为教育大数据

挖掘提供了数据来源和数据分析维度的借鉴当以往班级管理的随机抽样已失去意义时,基于大数据技术的“班级管理平台”获得海量数据则非常容易,我们可以分析整个班级乃至学校所有班级无数网络记录、分析整个数据库,能够提高班级管理微观层面分析的准确性,推测出某个班级、某个学生的状况,从而调整教育行为策略与实现个性化管理措施。

当以往班级管理的采样过程肯定存在系统误差时,在大数据技术的“班级管理平台”中,大量数据来源于过程性的、即时性的行为与现象记录,由第三方、技术型的观察采样的方式误差较小,所形成的相关关系的数学模型,其相关性相当高。比如,传统班级管理水平与班级学习成绩之间只能是宏观、整体的相关,且误差较大;而大数据技术的“班级管理平台”,班级管理水平可以具体到与学生个体学习成绩之间的相关,且误差小,十分利于个性化的教育管理,从根本上由单纯应试教育转变为综合素质教育。

当然,以往班级管理对于数据挖掘方式,采集方法,内容分类,采信标准等都已存在既有规则,方法论完整。大数据挖掘作为新鲜事物,还没有形成清晰的方法、路径以及评判标准。这在基于大数据技术的“班级管理平台”应用试验中,我们也只是对于班级管理的大数据挖掘方法、路径以及评价,做了一点很不成熟的初步尝试。

六、研究展望

(1)在校园网和教师、学生终端设备还不足的状况下,“中小学班级管理平台”的应用受到极大的阻碍,既使班级管理中隐性课程的实施及效果不佳,也使教师的课程能力(尤其是隐性课程能力)提高缓慢。目前许多省、市的教育云建设已经启动,“中小学班级管理平台”在其中的应用价值和意义都是不言而喻,具有十分广阔的应用前景。

(2)教育是大数据可以大有作为的一个重要应用领域,大数据让教育决策和管理真正建立在教育教学规律基础上。“中小学班级管理平台”在大数据挖掘分析方面的功能还不足,必须在后续研究中加以加强和完善:一是该平台的大数据收集和分析要加强;二是该平台必须与其他教育教学平台的大数据交流和分析要增强。从大数据的特征可知,隐性课程与显性课程的相关度是十分大的,班级管理所蕴涵的隐性课程关系到显性的学科课程的背景数据(元数据)。

(3)基于大数据技术的班级管理现代化,教师的班级管理能力结构必须有所变化,教师培训工作必须予以高度重视。这在“中小学班级管理平台”中也可以增加培训方面的自学习模块,以便教师在班级管理平台应用中边学边用,边提高自身的班级管理(隐性课程)能力。

参考文献:

[1]郭毅。班级管理学[M].北京:人民教育出版社,.5.

[2]林进材。班级经营[M].上海:华东师范大学出版社,.8.

[3]杨晓峰。我国中小学班级管理工作发展趋势[J].天津师范大学学报(基础教育版),2006,(4):10-11.

[4]陈朋基。网络环境班级管理的新平台[J].新课程研究(下旬刊),,(8):78-79.

[5]何伏刚,杨文婷。基于生态学视角的“一对一”网络班级管理的问题和策略[J].现代教育技术,,(11):27-29.

[6]李青,王涛。学习分析技术研究与应用现状述评[J].中国电化教育,,(8):130-132.

[7]许央琳,孙祯祥。基于信息共享的校长信息化领导力评价指标体系研究[J].中国电化教育,,(4):41-43.

[8]陆永来。基于ACCESS的班级考评系统的开发[J].中小学电教,,(3):63-64.

[9]李玲,何霖俐等。云计算基础教育质量监测与评价平台的设计与实现[J].中国电化教育,2013,(5):114-116.

篇4:电子商务税务管理的数据平台构建论文

电子商务税务管理的数据平台构建论文

摘要:在我国电子商务税收问题已具有相当舆论的基础上,针对电子商务这一特殊产业,运用文献查阅、比较分析和实证研究等方法,通过对我国电子商务税收征管现状进行研究分析,发现当前电子商务税收处于空白真空状态,电子商务税收征管无具体法律依据,线上电子商务税收征管难以与线下实体税收征管相对接等问题,在研究分析国内外研究现状的基础上,提出在传统税收征管体制上运用互联网大数据信息技术,构建针对电子商务的税收征管平台,以填补电子商务税收征管空白,实现传统税收征管和当代电子商务有效对接,有效防控国家税收流失,从而提高论文的应用价值和时间价值。

关键词:电子商务;税收流失;税收监管;电子商务税收管理平台

一、研究背景、目的和意义

(一)研究背景

3月我国第一笔网上交易成功,从此电子商务发展异军突起,该新兴产业的快速崛起改变了原有商业生态格局,已晋升为支撑我国国民生产总值的不可缺少的重要部分,在蓬勃发展的同时,电子商务创造了巨大的税源,但遗憾的是,电子商务至今并未纳入税收征管体系,由此造成我国税收大量流失,税收不公平等实际问题。因此,将电子商务纳入税收征管体系,加强电子商务税收征管,对维护税收公平,促进其长远发展具有重要意义。本文对此提出构建电子商务税收管理平台的对策,多角度对平台进行可行性分析,探讨平台的重要意义,提出补充性建议。

(二)研究目的

在我国电子商务产业迅猛发展以C2C为主的中小电子商务逐渐成熟的趋势下,基于电子商务交易模式的特殊性导致电子商务成为纳税盲区的现状,提出构建附属于税务局的专控电子商务交易流量的数据收集、存储平台。该平台以电子商务与消费者所依托的第三方支付平台为突破口,通过加强税务部门与第三方支付平台的合作,对从支付平台获取的电子商务货款交易数据进行整理、储存,达到对电子商务征税进行监控、督促的目的,同时为税务局的税务稽查提供可靠数据,从而实现从源泉上对以C2C为主的电子商务进行纳税控制,旨在实现税收公平,有效防控税收流失。

(三)研究意义

1、理论意义。互联网的快速发展,快递,第三方支付平台,电子商务交易平台的兴起对电子商务的发展都起到了推波助澜的作用。虚拟无形的互联网络销售方式使电子商务成为纳税的真空地带[]。信息收集平台恰恰做到了对电子商务资金流向进行监管,对实现以C2C为主电子商务税款的征收及税收公平具有重要的理论意义:首先,建立依附于税务局的信息收集平台为电子商务税收征管提供理论依据。C2C电子商务税收问题一直引起各专家学者的热议,但并没有具体提出该情势下的可行性方案,该平台的建立成为解决这一问题的理论创新。其次,利用信息收集平台实现了线上监管,线下征收的虚实结合,有利于我国税收体系的进一步完善。

2、实践意义。C2C电子商务交易模式的快速发展给我国财政提供了广大的税源,而由于对C2C电子商务很难控制而使电子商务税收仍处于空白状态,造成了税款大量流失。在这种情况下,建立信息收集平台具有重要的实践意义。

(1)有利于对电子商务交易信息进行监控。信息收集平台通过第三方支付平台获取商家销量信息,有利于税务局及时、准确地对C2C电子商务实时监控,掌握商家交易情况。

(2)为税务局后期税务稽查提供便利。税务管理数据平台对电子商务货款资金流向数据进行存储,使税务局在后期税务稽查中有据可循。

(3)有利于提高电子商务纳税人纳税意识。税务管理数据平台的监督作用将提醒电子商务纳税人及时承担纳税义务,缴纳税款,提高C2C电子商务纳税意识;大规模的征纳活动有利于宣传税法知识,提高全民依法纳税意识。

(4)该平台有利于挽回国家税收流失。平台的建立有利于挽回国家税款的流失,保证国家财政收入,维护国家财政利益;有利于实现税收公平,维护税法尊严,完善税收法律体系。

二、电子商务税收征管研究现状

(一)国内研究现状

随着我国电子商务市场的日臻成熟,新型商业模式广受大众欢迎,在电子商务蓬勃发展的同时,给我国带来巨大税源,将其纳入税收征管范围是未来的必然趋势。目前,我国各界专家学者对电子商务税收征管相关问题见地不一。

1、创建第三方支付平台代扣代缴机制。20李建英对电子商务税收征管本身进行分析,提倡从电子商务资金流出发,从源头对电子商务进行控制,这一模式依托第三方支付平台代扣代缴。朱军则提出在收取第三方支付平台的佣金和费用的基础上,建立个体电子申报与交易平台代扣代缴制度。

2、建立交易信息收集整合体系。2013年王肖肖从税收信息化水平出发,指出电子商务交易范围涉及全国范围,而目前我国各地区现有的税务化信息系统技术水平不高,各地间税务信息系统自成一体,大量数据不能及时共享,信息交流不畅,因此信息化将是电子商务税收问题解决方式之一。中国国际经济交流中心副研究员沈家文在分析提升税收管理效率的国际经验时提出加快互联网、云计算、大数据等技术在税务方面的应用,加强大数据的'收集、整理和使用技术,促进税务管理的技术进步、效率提升和组织变革。行政体制的改革研究部主任胡仙芝也认为在税收管理中充分应用数据整合将是我国未来征税技术手段的变革趋势。

3、组建电子商务税务管理部门和团队。中南财经政法大学张敬教授提出在面对税负失衡,税收流失规模大,税务监管力度不够等电子商务税收问题时,可以组建电子商务税务管理部门和团队。厦门大学侯莎提出税务机关应适应新形势的变化,通过加强与电信运营商及相关第三方平台等的沟通与联系,实现信息共享,也应适时建立一支专门能够对电子商务交易进行有效监管和执行的税务队伍,依法履行国家征税权力。

(二)国外研究现状

在经济全球化进程中,随着互联网的发展和广泛运用,电子商务为人类社会带来深刻变革,在推动经济发展的同时创造巨大税源,也对各国现行税收制度带来挑战。在研究中,国外大量学者从不同角度,不同维度对电子商务纳税问题进行了研究。经济学家Friedman表示,互联网本身具有的虚拟性和流动性的特点使任何政府想依靠一己之力对互联网进行管制难度都很大。StevenR。Salbu博士表示,电子商务的模糊性和复杂性让人头疼,对电子商务制定监管制度的道路不会一马平川。NagyK。Hanna则认为应充分利用信息技术,把ICT与税务信息结合,充分利用网络资源实现税务信息化。而他的观点深受各界专家学者的认可。

(三)国内外研究评析

通过对上述相关文献的搜索和整理,可以看出目前国内外讨论对电子商务与税收关系的文献,大多都肯定了对电子商务实施税收征管的必要性,并从如何对电子商务进行税收征管的角度进行探索。国外学者多推崇将互联网技术与税务信息化技术应用相结合来实现对电子商务进行税收征管。国内学者则在第三方支持、以信息流控税、专业团队的组建等方面提出相关对策,但结合我国具体情况考虑,以上理论观点在信息安全、操作成本及效率等问题上缺乏可行性。基于上述现状研究分析,提出构建隶属税务管理部门针对电子商务税收征管问题的数据收集平台,将电子商务交易数据进行收集整合,旨在安全高效地为电子商务税收征管提供信息化支持。

三、电子商务税收管理平台可行性分析

(一)将电子商务纳入税收征管体系成为必然趋势

当下,是否对电子商务征收税款仍众说纷纭。对于一小部分对电子商务征收税款持反对态度的专家学者,他们以美国为依据,认为中国应同美国一样对网上支付予以免税,推动经济增长,但笔者认为,美国以所得税为税收的主要来源,电子商务税款对美国的税收收入影响不大,现阶段,我国以流转税为主要的税收来源,在电子商务流转过程中涉及大量的流转税额,对我国税收收入有较大影响,另外,对电子商务征收税款是一种维护税收公平的表现,不能因电子商务交易形式的特殊性而回避税收问题。就现阶段总体来看,无论是舆论方向还是现实状况都在说明着电子商务税收征管的必然性。

(二)大数据的发展为税务监控提供可能

以容量大、类型多、存取速度快,应用价值高为主要特征的大数据,正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析。正是大数据的发展造就了信息技术和服务业态的融合。电子商务数据平台正是大数据环境下的税务与信息结合的产物。

(三)第三方支付平台的流水数据为税收征管提供依据

电子商务交易通过第三方支付平台进行货款的交易与结算,通过掌控第三方支付平台的数据流,获取商家电子商务交易信息,对电子商务交易信息进行有效存储,整理及格式转换,通过再次的只能匹配,完成信息与税务部门金税三期系统的智能对接,实现税务机关对电子商务交易的有效控制。

(四)当前税收法律制度为电子商务的税收征管提供保障

尽管现今还没有针对电子商务的税收法律制度,但从现有法律制度来看,现行税法应同样适用于电子商务,不能因电子商务交易的特殊性而不征或者免征税款。以现有税收法律制度为依据,电子商务应承担并执行必要的纳税义务。

(五)在互联网交易税收征管方面是对金税三期系统的补充

现今税务机关施行信息一体化税收征管体系,在金税三期系统中记录各纳税个体的税收征管情况,电子商务税收管理平台将电子商务数据进行有效处理,经过格式转换及智能匹配,将电子商务纳入金税三期系统中,使电子商务在金税三期系统中同传统税收在征管方式上保持一致。

四、电子商务税收征管数据平台基本架构及分析

①为网上交易消费者。消费者从购物平台上挑选商品并下单,是整个链条的开端。

②为电子商务第三方支付平台。在交易过程中存储消费者所交货款,确保消费者资金安全。

③为电子商务商家。电子商务商家是在购物平台上开设店铺销售货物的纳税人。

④为电子商务数据管理平台。电子商务数据管理平台用于收集整理存储电子商务交易数据,是连接金税三期系统和电子商务支付平台的枢纽。

⑤为金税三期系统。金税三期系统是隶属于税务局的当下纳税人税务处理的通用系统。

⑥为税务局。税务局是掌控④电子商务数据管理平台和⑤金税三期系统的机关。

(一)电子商务税收征管数据平台功能分析

电子商务税收征管平台以国家政治权利为依托,由各地区税务部门直接操控,在互联网迅猛发展及大数据背景下,平台利用电子信息技术,集大数据信息收集,整理,存储功能于一体,其中以平台的信息收集和整理功能为核心,以信息存储为辅助。平台对来自各大第三方支付平台大量的电子商务交易流水数据进行收集,通过平台内部智能处理,将信息进行整合,格式转换后与金税三期系统进行智能对接,另外平台拥有自己内部巨大的数据库系统,作为电子商务线上虚拟档案,用于存储整理后的电子商务税务数据,以备后续税务稽查调用。在实际中,消费者在网上选购商品,经过下单,商品邮寄,收到商品,网上确认收货的一系列完整过程。事实上,只有消费者在网上确认收货后,价款才会从第三方支付平台转移至商家账户中,实现一个完整的电子商务交易过程,如果期间由于质量等其他问题导致消费者退货,则货款不能从第三方支付平台转移至商家账户,也就无法构成销售货物的完整过程,不能确认为商家收入。电子商务税收管理平台正是以货款由第三方支付平台转入商家账户为确认依据,即一旦在电子商务交易链条中货款进入商家账户则此次交易数据会立刻被加密传输至电子商务税务管理数据平台中,经过信息整理与智能匹配,录入平台中的商家交易信息库中,商家每一条交易记录都会经历如上过程,待纳税申报日,平台会将每个商家信息处理后进行格式转换传至金税三期系统。电子商务商家可同其他传统纳税人一样到当地税务部门申报纳税,也可网上自助办理税务相关业务。例如,某经营服装销售的网店商家甲,在开业时已到⑥税务机关进行税务登记,本月共完成150笔交易,且每笔交易都会经历如下过程:①消费者在网上选购商品并下单,同时消费者所付货款进入②电子商务支付平台,商家接到消费者订单后开始发货,①消费者收到商品后网上确认收货,②电子商务支付平台中消费者货款在消费者确认收货时进入③为电子商务商家账户。这150笔交易流水都会通过加密传输至④电子商务数据管理平台,平台自动汇总甲本月150笔交易的销售总额,在纳税申报日前,平台会将甲的销售总额及其相关的其他有用数据传输至⑤为金税三期系统中甲的账户里,甲可利用金税三期系统网上自行申报纳税,也可到税务部门办理相关报税业务。

五、配套措施

(一)完善电子商务税收法律制度

现行税收法律制度虽从宏观上大体适用于电子商务,但由于电子商务的特殊性,现行税收法律制度对于电子商务的税收征管存在无法补足的缺点,完善电子商务税收法律制度可从现今覆盖面最广的增值税税种开始,逐步向消费税,企业所得税等其他税种扩展,逐步完善电子商务的税收法律制度。

(二)加强对电子商务的监管力度

各相关部门加强对电子商务的监管力度,提高电子商务准入门槛,营造良好的电子商务网上交易氛围,规范电子商务交易行为,提高网上交易水平,为电子商务税收征管提供便利条件。

(三)通过加强电子商务税收宣传力度提高网上交易双方的纳税意识

积极宣传税收无偿性,强制性和固定性的基本特性,强调税收公平性,使广大电子商务纳税人意识到电子商务同传统产业一样,同样具有纳税义务,纠正电子商务可以不进入税收征管体系的错误认识,提高电子商务纳税人纳税意识,从而使电子商务纳税人自觉纳税。

(四)加强税务机关与第三方支付平台的合作与联系

电子商务税收征管平台作为信息处理中心而存在,真正的电子商务网上交易数据来源是由第三方支付平台提供的交易流水数据,数据能否获取,数据真实与否,很大程度上取决于第三方支付平台是否配合。从第三方支付平台获取交易数据应以国家政治权利为依据,加强税务机关与支付平台的联系,使第三方支付平台成为电子商务税收征管支柱力量。

参考文献

[1]李建英,谢思博,李婷婷。C2C电子商务税收征管问题研究[J]。南方期刊,,(4)

[2]张敬。浅议我国C2C电子商务税收征管体系构建[J]。税务研究,,(3)

[3]李叶华,国外电子商务税收问题研究综述[J]。财经界,2015,(2)

[4]王文清,王鲁宁。“互联网+”电子商务税收征管的国际借鉴与制度改革[J]。税收经济研究,2015,(2)

[5]范伟红,刘霞。C2C电子商务税收征管流程创新探索[J]。财会月刊,2015,(9)

[6]张中帆。我国电子商务税收管理体系面临的挑战及对策研究[J]。时代金融2015,(11)

[7]李汉,马竹。我国B2C电子商务税收征管若干问题的研究[J]。商场现代化,,(7)

[8]杨小倩。电子商务税收问题及对策探讨[J]。对外经贸,2016,(2)

[9]刘继虎,王湘平。“互联网+”语境下电子商务税收征管的立法对策[J]。中南大学学报,,(3)

篇5:大数据下旅游管理平台的构建论文

大数据下旅游管理平台的构建论文

1目的与意义

旅游是现在旅游行业发展的趋势,国内各省市都想对本省的旅游资源进行整合,同时将旅游各项资源提供方联合,使政府管理部门,旅游企业、旅游者能够方便的获取到自己所需的资源。在当前旅游活动趋于散客化、常态化的前提下,对如何解决应用新媒体为潜在游客提供旅游信息,推广当地的旅游资源

旅游企业如何从过去游客(特别是散客)的旅游行为中抽取出不同的行为特征,以此为依据设计出满足不同需求的旅游产品,提高企业经营效率;旅游管理部门层面如何有依据的进行旅游规划方面存在的不足,需要从旅游大数据分析视角对平台进行改进。由政府旅游部门主导建立一个旅游信息服务平台,利用在互联网、业务系统形成的大量旅游即时数据,进一步指导旅游行业实践,更好地服务旅游者。既可以为潜在旅游者提供准确的,不同目标的旅游信息,还可以为旅游目的地的管理部门提供深度数据挖掘,实现高效的管理和游客营销。

2现有旅游管理平台数据方面存在问题

旅游管理平台的核心是数据,现有平台中数据是依据业务功能产生,数据之间的关联程度低,包括外部填报数据,旅行社数据,内部基础数据。数据在时间,空间上处于不同跨度,对游客旅游全流程数据缺乏统一规划,在未来需要完善旅游过程中的数据采集、统计、分析。

现在旅游平台中数据源普遍存在三大类数据问题:第一、数据来源问题。主要包括:数据之间或和游客其它行为数据关联度不够,无法在数据统计中产生更大的作用;关键数据未被结构化和对象化;系统外部获取的数据较为单一,和系统内数据建立联系困难。第二、数据的关联性问题:旅游平台现有的统计对象与平台数据之间的关联简单,对象与对象之间的关联也缺乏以游客关键字段作为主线来串联,使得对现有数据挖掘,只能针对不同阶段的数据进行不同维度的基础统计描述来获取对游客特征的概要描述。第三、数据主要是结果性数据,缺乏过程性数据。

3旅游数据改进建议

大数据的潜在价值可以通过数据的“复杂性”和“关联性”体现出来的,如果从平台中能够得到想要的复杂数据,我们可以为景点画像,知道什么消费水平的游客爱在什么时间段会进入景点,这样景点根据游客数量与消费习惯进行资源调配和营销活动。可以针对性为游客画像,比如通过对强相关数据的分析,一个可以提供这样数据的平台才是改进的目标。需要从以下几点对平台数据发展提出对策。

3.1增强多方数据的关联性,完善数据网络,从注重旅游数据的“状态和结果”,到注重旅游数据的“过程”。从非旅游政府到旅游企业,从不同角度和视野,反映出整个旅游行业的游客的流向。旅游平台如果具备了从多个数据源采集来的关联化、结构化和过程化的数据集,就可以充分了解和掌握旅游的总体情况。再对这些累积形成的大数据按不同主体,例如某旅游区对全国各省市吸引度模型分析,基于时间序列的到某城市旅游游客数量预测模型,旅游游客消费行为特征模型,旅游游客满意度分析模型等。这样旅游过程中的规律就能很清晰的呈现出来,从而反作用于旅游业,实现真正的。

3.2丰富数据采集方式,由单一被动采集变为主动收集+被动采集双管齐下利用信息化手段,丰富数据采集方式,提升数据的时效性。必要时利用行政手段,建立以主动数据搜集为主,被动数据填报为辅所谓综合数据采集机制,在此基础上,加强数据同步反馈,及时应对旅游突发事件。通过主动+被动采集的架构,实现两种采集方式的数据自我校验。

3.3平台应建立专门的旅游数据中心当旅游数据实时采集机制建立后,数据的关联关系更为关键,如果平台缺少自身具有关联的数据采集,仅仅数据价值的增长率远远小于数据量增长率,大数据分析也就无从谈起。针对游客,平台数据服务可以提供更加自主的`、参与度强的旅游体验与服务。针对旅游服务提供者,平台数据服务可以通过平台的大数据形成游客识别和分类模型,景区可以依托平台数据分析能力,实现景点客流趋势监测预警、景区检测、游客导航服务等功能。针对旅游监管部门,平台数据可以针对旅游行为的各个环节监管模型,量化为旅游指数。监管部门通过定期对各层级的旅游指数监控就可旅游行为的健康程度。

4发展方向

受构建的历史因素影响,目前的平台数据主要以监管和登记备案为主要用途。在当前大数据和信息化的时代,旅游的不断发展,应在保持原有功能和用途的基础上,逐步将需求从监管为主,转变为一个综合的旅游数据中心。搜集各方面旅游相关数据;整理、关联和结构化搜集的数据;统计和挖掘数据所包含的有价值的信息,为各种相关的分析、决策和应用提供服务。

【参考文献】

[1]曹宁,郭舒.大数据时代旅游产业链的重构、产业趋势与对策[J].渤海大学学报(哲学社会科面向大数据的旅游微观数据信息平台研究学版),2015,(4):64-67.

[2]张凌云,黎逶,刘敏旅游的基本概念与理论体系.旅游学刊,,27(5):66-73.

[3]张建涛,王洋.大数据背景下旅游管理模式研究.管理现代化,2017,(2):55-57.

[4]王赛兰,杨振之.面向大数据的旅游微观数据信息平台研究.四川师范大学学报:社会科学版,2015,(1):54-61.

篇6:跨平台的数据交流论文

跨平台的数据交流论文

随着PC以及手持设备在日常工作中使用频率的增加,用户对数据与资料的把控度的需求也越来越高,只要存储空间中的文件或资料发生变化,那么同步工作就需要及时展开。对于这种高强度的数据把控需求,以个人手动的同步很难保证数据即时且有效的同步。通常情况下,备份与同步大多发生在两台或两台以上的设备之间,且平台不相同。按照传统的方法来进行数据的交流,大都是采用网盘或是数据线连接等方式,而且不利于多用户之间交流,鉴于这种情况,我们就可采用新型且跨平台的通信方式。

在之前,《电脑迷》曾为读者介绍过这款采用BT下载的P2P分布式技术同步数据的方式,它最大的特点就是不需要借助第三方存储空间,所有同步文件都是加密后直接点对点传输,并且只有知道密钥的用户才能同步到这些数据,存储空间仅受本地硬盘容量的限制。正因为 BitTorrent Sync无需中间服务器,因此相比传统的同步网盘产品,它对文件安全要求高,不希望文件容易外泄;不方便连接互联网;在局域网内进行文件同步;用于点对点之间直接备份文件;文件数据体积太多或太大,网盘空间不够用等场景中更具优势。

首先,我们在需要实现点对点数据交流的移动设备或电脑中下载安装BitTorrent Sync的客户端,目前它支持Windows、Mac、Linux以及 Android平台,所以不用担心多平台之间的互通问题。安装客户端时,需要在设定安装路径和是否开机启动后,就会要你设定同步文件夹了。这里分两种情况,一是本地计算机有文件/文件夹要同步到其他计算机或移动设备中(Standard Setup),二是本地计算机要接受来自其他设备的同步文件 (I have a secret)。

这里我们选择 Standrd Setup,因为需要将本地的文件分享到其他设备中。点击Next进入下一步,这时就需要我们选择一个源文件夹,注意,这里只能选择一个文件夹(如图1),如果你有多个不同位置的文件夹要同步,稍后可以从软件里另行添加。完成后继续“Next”进入下一步;确定需要同步的文件夹后,就会得到随机生成的一个同步密钥,其他计算机只有输入这个密钥才能同步文件(如图2)。每个文件夹的密钥都可以随时更换,甚至可以生成一个只有24小时有效期的临时密钥。

至此便已成功添加了一个文件夹,而上面的.那一串密钥就能给别的电脑接收同步之用。在BitTorrent Sync的主界面中的 Folders 页面会显示当前拥有哪些同步文件夹(如图3),当然,我们可以通过“ Add a Sync Folder”按钮添加本机的文件夹或者接收别的电脑同步过来的文件夹,也就是说,BitTorrent Sync 能支持多文件夹同步。

BitTorrent Sync可以让你通过密钥方便地将文件/文件夹快速地分享给不同的设备进行同步或下载文件,并且,同一个文件夹可以获取不同权限的密钥,发给不同的用户,Read only serect 是只读权限,而One-Time secret是24小时内使用一次性密钥,在添加文件夹时输入别人的密钥即可获得其共享的文件夹。如果需要将本机的文件夹同步,就需要先点击“Generate”生成一串密钥,再点击“Browse” 选择文件夹位置(如图4)。如果是将别的电脑上的文件夹同步到本机,则是先在 Folder secret 文本框处粘贴文件夹的密钥,再点 Browse 选择保存的位置,这样即为接收别人的文件夹同步。

局域网传输工具

局域网内的文件传输方式相信是使用频率最高的,不管在宿舍、公司还是团队间等环境下,我们都需要通过局域网来传输各种文件/文件夹,从普通的电影、音乐、软件、学习材料、工作资料甚至大型的游戏等,我们经常使用的Windows共享或QQ文件传输都不及专业工具那样方便。

Dukto 是一款非常简单实用的局域网文件传输工具,它类似于比较常用的飞鸽传书、飞秋等,不过还要出色几分。应用不仅完全开源,而且支持 Win、Mac、Linux、iOS、Android 等系统的跨平台传文件。只要电脑/手机们位于同一个局域网下(不必连接互联网),就能通过它来互相聊天或传文件甚至文件夹。你所要做的,只是一个简单的拖拽操作,就能实现文件传输。

Dukto是一个非常简单实用的文件传输工具:打开两台设备,连接到同一网络(局域网或无线),一端拖拽文件,另一端立刻就能接收到,这就是Dukto展示出来的“易用性”和“跨平台”。

虽然Dukto目前没有中文版,但是有易用特性,任何人即便是不懂英语都可以轻松上手。只要在同一局域网下的两台或多台电脑/电脑同时开启了该软件,就可以在软件的 “Buddies(伙伴)”的列表中看到对方(如图5),选择其中一个人即可进行发送 ,“Send some text (发送文字)”, “Send text from clipboard (粘贴并发送剪贴板上的文字)”,“Send some files(发送单个或多个文件)”,“Send a folder (发送文件夹)”(如图6)。

由于Dukto拥有iOS和Android移动版本(如图7),我们就能很方便地在手机与PC之间相互传输文件,Dukto几乎适用于任何场景,手机到电脑、电脑至平板、电脑至电脑,甚至Mac与Win之间都能实现文件的传输,通过这样的方式绝对能让你的工作与生活变得更加方便和轻松。如果你经常需要通过局域网传送文件,那么你实在没有拒绝它的理由。

手机电脑双向推送

双向发送指的是将手机、平板上的任意文字、网页链接、图片、文件等快速传送到电脑上,或者从电脑传输到移动设备中,很多用户都会使用QQ、网盘以及邮件的方式来实现,不过这类方式操作步骤和实时时间都很烦琐且漫长。而消息推送是 iOS 和 Android 等移动系统中的通知方式,它让你的移动设备(手机、平板)等能像传统的短信一样,不必一直开启着软件来保持登录,也能被动接收到消息。因此我们利用推送的方式就能简化双向发送的烦琐步骤。

Pushbullet是一个强大免费的跨平台消息推送服务,它能在Android、iOS、Windows、Mac 等系统正常运行,它最大特色是能支持消息双向甚至是多向推送。你可以在不同设备间来回互相推送文字、图片、网址、地址、短信、电话号码、待办事项列表等,在转换设备使用时特别方便。

Pushbullet 目前在移动端支持 Android 以及 iOS,而在电脑端则是提供网页版以及 Chrome 谷歌浏览器插件和 FireFox 浏览器插件(由于 Chrome/FF 支持多平台,因此也就可以在 Windows、Mac 下使用了)。通过浏览器插件可以更加快速地在电脑上给自己不同的设备间发送信息,而且也只有安装了浏览器插件后,电脑在收到其他设备推送过来的消息时才会有提醒。Pushbullet Chrome浏览器插件可以快速推送 Link 链接、Note 文字笔记、Address地址、List待办事项、File文件(如图8)。其操作也非常简单,打开Chrome浏览器,让浏览页面停留在需推送界面,点击地址栏右侧的PushBullet推送按钮,在弹出的推送信息窗口中系统会自动填写当前的标签页的网址和标题,你所需的就是点击“PUSH IT!”。现在你只需要下拉手机通知栏,就可以看到推送的文字信息,点触通知条推送的网页就会立即打开。并且在右键菜单中还能将网址推送出去,而且选择 “Push a screenshot of this tab”还能将当前网页截图推送到手机或其他设备(如图9)。

Pushbullet的Windows桌面版的独立客户端的功能比插件还要强大不少,除了手工发送消息之外,Pushbullet 还拥有通知镜像服务 (Notification Mirroring Service),就是可以把手机上接收到的来电、短信、闹钟等等 App 通知都全部推送到电脑的桌面端去(如图10)。这样一来,在一些公司办公场所,即便手机开启了静音,你也能在电脑上看到手机的各种通知了(现阶段仅支持Android 系统),当然了我们也能利用桌面版的属于鼠标右键菜单中的“Send with Pushbullet”将电脑中的数据推送至手机当中(如图11)。

由于 Pushbullet 能够同时支持 Android、iOS、网页版以及 Chrome 浏览器插件,再加上多向通讯的支持,因此特别适用于拥有多台设备的用户,在电脑上查询到某电话地址想发到手机上。以便出门时使用,或者手机拍的照片或手机号码想快速传到电脑上发给别人,iPad上网看到的网址想发到电脑上再看,一个应用就能实现三种平台的设备间的图文传输。

篇7:Flash数据资源回收策略论文

Flash数据资源回收策略论文

摘要:

介绍了一种嵌入式设备的Flash资源回收策略。该策略的实现需要嵌入式系统支持多任务,在后台实现两个任务,一个用来统计CPU占有率的CPU负载检测任务,一个是Flash资源回收检测任务。Flash垃圾回收策略能够自动根据CPU负载情况、资源剩余情况来调整垃圾后台回收的频率,并在Flash资源严重不足的情况下报警,能够有效避免设备在资源不足的环境下运行造成大的损失,保证了设备运行的安全性。

关键词:嵌入式设备;Flash资源回收;时间粒度滑动窗口;CPU负载

嵌入式设备对其本身的可靠性要求极高,由于一些不可预测的因素或者是没有发现的潜在危险导致Flash的垃圾资源回收不及时,会出现文件操作耗时较长等异常情况,会导致嵌入式设备产生不可预知的危险,在这种情况下很难保证设备的可靠性、安全性,甚至会对整个嵌入式系统造成严重的后果。

鉴于此,本文提出了一种Flash资源回收的策略:设备能够在运行过程中根据CPU负载情况和Flash的有效资源空间剩余情况,自动调整后台回收的频率,能够有效利用CPU的空闲时刻进行垃圾回收,尽量避免异常情况的发生,但是如果一旦有异常情况发生,设备会将异常情况记录并报警,帮助现场工作人员尽快定位并解决问题,避免问题扩大而造成不可挽回的损失[1――3]。

一、时间窗口和时间粒度。

本文提出一种嵌入式设备的Flash资源回收的策略,能够通过实时检测到的CPU负载率和Flash空间利用率(Flash已被占用空间与Flash总空间的百分比)来确定后台资源回收的周期(即设备每次清理内存的时间间隔),定时清理内存。在具体介绍该方法之前,首先对本回收策略的时间粒度滑动窗口和时间粒度进行说明。如图1所示,嵌入式设备后台资源回收的清理周期按照大小顺序依次排列,形成时间粒度(资源回收周期)进度条,进度条上面每个具体的时间粒度的大小是由设备特性如CPU主频、CPU负载、Flash空间大小、Flash空间利用率、系统的资源回收能力来决定的。其中T表示清理周期,coefficient为与具体工程应用有关的经验系数,free_block表示有效的Flash资源剩余量,complexity表示业务的系统复杂度,erase speed表示块擦除速度,gc_ability表示嵌入式系统本身的垃圾回收能力,fCPU表示使用CPU的主频,need_space表示业务对Flash空间大小的要求。如图1所示,时间粒度滑动窗口表示在当前CPU负载率情况下,能够选择的资源回收周期的范围,然后根据Flash空间利用率等因素,在时间粒度窗口的范围内确定具体的时间粒度值。资源回收时间粒度滑动窗口是根据CPU的负载情况,实时地在时间粒度进度条上滑动[4]。

在CPU负载比较低的状态下,资源回收时间粒度滑动窗口向时间粒度进度条的左侧(时间粒度值小的一端)滑行。在CPU负载比较高的状态下,资源回收时间粒度滑动窗口向时间粒度进度条的右侧(时间粒度值小的一端)滑行。Flash空间利用率的大小决定了时间粒度在资源回收时间粒度滑动窗口上取值的位置。在Flash空间利用率比较低的情况下,也就是Flash可用空间剩余比较充分的情况下,垃圾资源回收的需求不迫切,时间粒度就在资源回收时间粒度滑动窗口偏右的位置取值,即时间粒度取得相对较大的值,垃圾资源回收频率就变小。在Flash空间利用率比较高的情况下,也就是Flash可用空间剩余比较少的情况下,垃圾资源回收的需求就变得很迫切,时间粒度就在资源回收时间粒度滑动窗口偏左的位置取值,即时间粒度取得相对较小的值,垃圾资源回收频率就变大[5]。设备运行期间,根据CPU负载率和Flash有效资源空间剩余程度自动判断垃圾资源回收的频率,在不影响设备性能的情况下保证设备运行的安全性和可靠性。

二、方案。

1、方案实现基本思路。

本方案的实现需要两个任务配合实现:CPU负载监视任务、资源回收检测任务,如图2所示。CPU负载检测任务负责实时检测CPU使用情况(占有率)、完成对资源回收时间粒度滑动窗口滑动趋势的判定和控制。资源回收检测任务主要负责Flash资源回收的具体事务,并且根据时间粒度判定模块确定的具体时间粒度确认回收资源的快慢[6]。资源回收时间粒度是由CPU负载率和Flash空间利用率共同决定的,CPU负载率负责判定资源回收时间粒度窗口的滑动趋势,Flash空间利用率负责确定在滑动窗口上定位具体的时间粒度值[4]。

2、CPU负载检测任务。

CPU负载检测任务负责实时检测CPU的负载情况,并决定时间粒度滑动窗口的滑动方向和初度。当CPU负载小的时候,时间粒度向时间力度条的左端滑动,减小后台资源回收检测任务的时间、增大回收粒度,这样做是为了提高垃圾回收速度。当CPU负载大的时候,时间粒度向时间力度条的右端滑动,增大后台资源回收检测任务的间隔时间、减小回收粒度,这样做是为了降低垃圾回收速度,减轻CPU负载。

3、资源回收检测任务。

首先,资源回收是每个嵌入式文件系统自身应该具备的功能。资源回收检测任务实现了一个优化使用资源回收的策略。任务初始化时需要定义垃圾回收时间粒度的默认值,比如回收间隔时间(时间粒度)默认值定义为400ms,那么每隔400ms就会进行一次后台的垃圾回收。其次,任务的每次循环都需要检测有效资源剩余,根据Flash有效资源的剩余情况来确定资源回收时间粒度。在CPU负载检测任务控制的时间粒度滑动窗口上面确定具体的时间粒度,根据时间粒度调整下次后台垃圾回收的时间。

三、实现。

1、时间粒度初始化。

首先,设备需要实现时间粒度条和时间粒度滑动窗口的初始化:时间进度条上的时间粒度保证从小到大的趋势,具体的时间粒度值和相邻值之间的跨度由用户根据设备特性(CPU速率和基本负载、存储空间大小等)来决定。时间粒度滑动窗口根据CPU负载的变化在时间粒度条上滑动,该窗口的大小可以由用户自定义,如图1所示的示意图,窗口的大小定义为7,即窗口每次包含7个时间粒度值。

2、CPU负载检测任务。

在嵌入式设备上电之后,系统初始化阶段,启动一个最低优先级的任务:CPU负载检测任务,该任务在初始化期间记录一段变量递增算法的时间间隔T1,由于初始化期间其他任务都没有开始运行,所以可以获取一个比较精确的标准参照时间间隔[7]。CPU负载检测任务运行期间,记录同样一段变量递增算法(与CPU负载检测任务初始化时的算法一样)的时间间隔T2,由于CPU负载检测任务的优先级最低,所以嵌入式设备运行期间,只要有其他任务运行,该任务就会被打断去执行其他任务,直到其他任务都执行完毕并处于挂起状态,该任务才会被继续执行。

所以CPU任务越多,执行越频繁,实际统计的时间间隔就越长。当CPU负载减小的'时候,说明空闲时间较多,有能力处理更多的任务,这时时间粒度滑动窗口向左端滑动,减小后台资源回收检测任务的时间粒度(间隔)、增大回收粒度,这样做可以提高垃圾回收速度,同时也提高了CPU的利用率[8]。当CPU负载增大的时候,说明空闲时间减少,这时时间粒度滑动窗口向右端滑动,增大后台资源回收检测任务的间隔时间、减小回收粒度,这样做可以降低垃圾回收速度,减轻CPU负荷。

3、资源回收检测任务。

资源回收检测任务最重要的功能就是根据策略判定资源回收的时间粒度,然后调用系统本身的资源回收功能进行Flash垃圾资源的回收。该任务初始化时需要定义垃圾回收时间粒度的默认值,比如回收间隔时间默认值定义为400ms,那么每隔400ms就会进行一次后台的垃圾回收。任务的每个循环都需要检测有效资源的剩余情况、业务对资源的需求情况,由此在时间粒度滑动窗口上面确定具体的时间粒度,任务根据时间粒度调整下次后台垃圾回收的时间间隔。举个简单的例子(实际应用中各门槛值都可以根据自身具体的业务更加细化)。当CPU占有率小于30%时候,此时负载比较低,时间粒度滑动窗口向数值小的一端滑行,可以看到窗口的范围是200――700ms,共包括7个时间粒度值,具体选择哪个粒度值就需要由剩余的有效Flash资源、业务需求决定。当有效资源剩余量充足的时候,说明资源足够,垃圾回收的需求不迫切,可以选择700ms的粒度。当有效资源剩余量比较少的时候,垃圾回收的需求就比较迫切,可以选择200ms的粒度,加快垃圾回收。

当CPU占有率在60%左右时CPU负载适中,时间粒度滑动窗口向右端滑行,可以看到窗口的范围是500――1200ms,共包括7个时间粒度值,具体选择哪个粒度值由剩余的有效资源决定。当有效资源剩余量比较多的时候,说明资源足够,垃圾回收的需求不迫切,可以选择1200ms的粒度。当有效资源剩余量比较少的时候,垃圾回收的需求就比较迫切,可以选择500ms的粒度,加快垃圾回收。当CPU占有率大于90%时CPU负载很大,时间粒度滑动窗口向数值大的一端滑行,可以看到窗口的范围是1000――2200ms,共包括7个时间粒度值,具体选择哪个粒度值由剩余的有效资源决定。当有效资源剩余量比较多的时候,说明资源足够,垃圾回收的需求不迫切,可以选择2200ms的粒度。当有效资源剩余量比较少的时候,垃圾回收的需求就比较迫切,可以选择1000ms的粒度,加快垃圾回收。一旦检测到Flash剩余有效资源减少到需求门槛以下、CPU负载比较重、资源回收不及时的情况,任务触发嵌入式装置报警。

四、模拟测试。

为了方便测试和说明问题,将资源回收时间粒度、Flash剩余空间、CPU负载组成三维坐标,模拟出示意图说明CPU负载、Flash剩余空间和回收时间粒度的变化趋势之间的关系。条件如下:

①将时间粒度进度条长度限定为3000ms,即时间粒度只能在0――3000ms范围内选择。

②将时间粒度滑动窗口长度限定为500ms,滑动窗口的滑动粒度是25ms,即CPU负载每变化1%,滑动窗口就会滑动25ms的范围。

③时间粒度最小选择单位为5ms,即Flash剩余空间每变化1%,时间粒度选择就会有5ms的改变。在时间粒度的三维分布入中,存在安全区域和报警区域:在安全区域以内说明Flash剩余有效空间充足,或者是CPU对垃圾资源的回收速度大于Flash剩余空间的使用速度;当Flash剩余空间不充足并且CPU回收粒度跟不上Flash空间使用速度的时候,就会触发报警,警告设备可能会存在异常情况。

结语:

本方案在保证嵌入式系统正常运行的情况下,做好了垃圾资源回收工作,为资源的有效利用做好了准备。这样就能够尽量提高CPU利用率,在不影响高优先级实时任务的前提下尽可能快速回收Flash资源,保证有效资源剩余空间并保证在资源紧张时候报警,提高了设备运行的安全性、可靠性和高效性。

篇8:数据信息安全体系构建论文

数据信息安全体系构建论文

摘要:随着各个领域对计算机云服务的广泛运用,不仅有利于促进政务的系统化建设,还能够促进服务性综合管理整体效用的提升,为了能够在市场经济体制下有小构建数据信息服务管理体系,有必要注重基于计算机云服务的数据信息安全体系构建,由此实现不断创新信息数据的运行,为数据信息安全管理水平的全面提升提供保障。

关键字:计算机;云服务;数据信息;安全体系;数据挖掘;模块

信息技术随着社会经济的发展进步而日益发展,各行各业也在广泛应用计算机云服务技术,云服务的发展为广大公司提供了各种特性化产品,使得当前市场的个性化发展得到了相应的满足,成为社会IT部门重点研究的领域之一。尤其是政府部门,它不仅对于政务系统的优化进程发挥着重要的推动作用,同时也提高了政府政务信息梳理安全管理难度,因此,必须在注重综合化发展服务管理体系的同时,也要注重多元化发展服务管理体系,由此对其政府建设进行优化,促进集约性政府建设的同时,也能够有利于高效性和便捷性政府建设的实现,为政务信息管理系统效率的提升提供保障,这对于快速发展我国市场经济也具有重要的促进作用。为了能够在市场经济体制下有小构建数据信息服务管理体系,有必要注重基于计算机云服务的数据信息安全体系构建,由此实现不断创新信息数据的运行,为数据信息安全管理水平的全面提升提供保障。

一、运用数据挖掘系统技术

在合理构建数据信息安全体系的过程中,数据挖掘具有一定的综合性,可以体现出计算机云服务技术的不断推广,尤其是合理运用计算机云计算处理技术,既能够全面提高数据仓库的运行效率,还能够有利于提高知识库系统的运行效率。随着系统化发展的数据信息管理,基于计算机云计算的技术处理可以在结合信息数据运用的前提下得以突出;数据系统分析模块可以在运用数据仓库以及知识库系统的技术手段中得以形成;知识信息数据可以在共享信息数据资源的强化下实现整体挖掘;个性化的服务模式主要是围绕用户信息而开展的,它主要形成于系统的开发整合运用中;统计报表的自动化生成构建则出现计算机软件的操作层面等等。除此之外,智能手机、电子显示屏或者网站等资源能够与信息系统的应用平台有限实现互动,促进沟通交流有效性的提升,从而为其整体服务水平的提高提供保障。

二、基于计算机云服务技术的模块运用

随着信息化时代的到来,信息化技术逐渐趋于智慧化转变和发展,越来越高的数据信息管理的信息化程度,不仅能够有利于提升数据存储能力,还能够有利于提升分析能力和挖掘能力的提升,由此实现合理运用各种数据信息的目的,使其服务效率和服务质量能够在各种数据信息的收集、整理基础上得以提高。市民众的服务需求在不断完善的经济体制下变得不同,除了迅速增长的数据量会给药要求数据信息安全体系的构建之外,不断增多的数据应用需求也会使其构建要求提高,由此需要对这些困扰和挑战积极应对,采用多样化的数据处理方式,使其计算机云服务技术的应用需求得到更好满足的同时,也能够对民众的各种服务需求进行满足。因此,数据信息管理受快速推广信息技术和网络技术的影响下提出了更高的要求,为了能够进一步促进未来信息数据研究效率的提升,需要注重高效、有效的运用各种信息,这样才能够为各种数据应用价值的充分发挥提供保障,由此促进提升信息化水平。

三、对其安全信息基础设施建设方案进行合理制定

随着各个领域对云计算技术的广泛推广和应用,加之不断完善的相关法律体系建设所影响,确保了数据信息的管理与应用。而提高管理技术水平的重要性也不容小觑,这对于服务水平的提高具有重要的意义。所以,为了能够为阿全体系的正常运行提供保障,需要合理制定信息安全基础设施方案,注重其服务标准规范化的同时,也要注重服务标准的统一性,由此使其综合管理的安全性能得以突出。比如说,政府政务数据信息受云计算网络安全防范协议以及数据保护法等保障得以更加规范化的运用,换言之,云计算网络安全防范协议以及数据保护法等还能够有利于充分发挥政府政务数据信息安全体系构建中云计算的保障作用,由此对政务信息平台的安全性能提供了保障。随着不断扩大服务范围的'云计算影响,逐渐提升了信息管理的难度,有必要对存在于计算机云服务技术中的安全问题进行有效解决,由此不仅能够对其相关规范制度进行构建,还能够使其信息分类分级管理进行实现,职责分工的相关标准也可以通过使用范围、服务对象等方面进行实现,由此促进数据信息化管理水平的提升,确保顺利构建数据信息安全体系。

随着综合运用计算机云服务技术的影响,通过融合数据信息安全体系构建,不仅能够有利于改革传统数据信息安全管理体系,还能够实现全面运用智能化、信息化模式的目的,由此使其无线通信技术连接无线终端设备得以形成,切实落实计算无处不在的环境构建,这样既能够有利于对信息资源的获取,又能够提高信息处理技术水平的提高,使整个系统安全能够在技术和行政双重方式的影响下得以有效维护。再者,人员作为计算机云服务的数据信息安全体系构建中的重要组成部分,需要注重相关人员专业水平的提升,可以通过培训的方式提高相关工作人员信息安全知识水平,从而为网络安全管理有效性的提高提供保障。

参考文献:

[1]赵震,任永昌.大数据时代基于云计算的电子政务平台研究[J].计算机技术与发展.(10)

[2]刘旸.浅谈电子政务安全保障体系的构建[J].计算机光盘软件与应用.(24)

[3]李安裕.基于计算机云服务的煤矿企业数据信息安全体系构建[J].煤炭技术.2014(01)

[4]冯宁.基于计算机云服务的数据信息安全体系构建[J].中国培训.(06)

[5]陈洁.基于计算机云服务的政府政务数据信息安全体系构建研究[J].山东工业技术.(03)

[6]毕健欢.基于计算机云服务的政府政务数据信息安全体系创设研究[J].数字技术与应用.2016(02)

篇9:如何构建云计算电子政务云平台论文

如何构建云计算电子政务云平台论文

【摘要】电子政务工作模式在不断发生着变化,尤其是现在信息技术的高效应用,政府工作内容以及作业模式在持续更新,有必要基于新型技术来建立全新的工作平台,以求更好的适应各种变化。基于云计算来构建电子政务平台,对提高工作效率,降低工作强度具有重要意义,确定平台构建内容,以满足实际应用需求为目的,做好各层次设计优化,本文对此进行了简单分析。

【关键词】电子政务论文范文

电子政务模式的建设与实现,可以进一步促进政府职能的转变,为满足此项转变需求,必须要建立相应的政务平台,作为各项工作展开的基础。以云计算技术作为核心,构建功能完善的电子政务平台,加强各项信息技术的应用,促使电子政务模式的创新,提高应用支撑服务能力,对各项资源进行优化配置,有效避免了各自为政以及信息孤岛等问题的发生,可进一步提高政府工作效率。

1电子政务云平台构建分析

1.1云计算技术

云计算技术即通过宽带网络连接,利用“云”基础部分、与其连接数据中心网络和操作部分实现。并且按照服务资源所处基础层不同,可以分为基础设施即服务、平台既服务、软件既服务等服务。用户无法在本地实现云服务,而是需要将宽带网络作为媒介,与“云”可靠连接后在数据库内获取各项资源,同时云内地各节点之间也需要内部网络作为媒介进行连接。并向用户提供快速且具有弹性的服务,用户可以根据自身需求来选择相应的.资源,并依托需求对资源进行扩展。

1.2云平台优势

1.2.1财政控制基于云计算技术来构建电子政务云平台,可以实现对各类电子设备设施的高效整合,不仅可以为政府工作提供保障,同时还可以为新业务系统的创造有利条件,避免资源重复应用,进而可以节省更多成本费用,提高财政管理效率。1.2.2系统运行以云计算为代表各项新型技术的应用,可以进一步提高电子政务工作的效率,能够向应用系统双机热备以及系统冗余提供有力支持,避免因某部服务器宕机对政府业务产生影响。并且,通过云计算技术的应用,还可以提高系统部署速度,提高电子政务作业智能化水平,更好的应对各种问题。1.2.3均衡发展电子政务云平台的实现,可以满足各项基础功能实施的要求,为各部门提供针对性服务,实现各地方区域之间信息的共享,尤其是信息化建设相对落后的区域与部门,通过电子政务云平台,可以及时掌握相关信息,以免因为信息断层而影响各项工作的开展效果,实现不同地区电子政务的均衡发展,缩小不同地区之间的差距,实现信息化建设的均衡发展。

2云计算在电子政务云平台构建中设计要点

2.1基础设施层

2.1.1服务器虚拟化对网络基础层进行设计,要在保证硬件配置高效化的同时,灵活应用虚拟化技术来将政府部门所有业务数据上传到云网络内。最为常见的服务器虚拟化,可通过抽象分离技术,来对实体物理机进行虚拟化,减少硬件配置的同时实现更多资源信息的存储与应用。对于服务器虚拟化来讲,对比传统物理机虚拟化后服务器可以存储更多资源,同时一台物理机还可以与多台虚拟机连接,但是相互之间保持相互独立,用于完成相应工作任务。将其应用到电子政务平台的构建中,可以提高资源信息以及物理机运行效率,节省更多运行成本,可以按照实际需求动态部署和分配各项资源,充分发挥出各类资源具有的功能性。2.1.2交换机虚拟化应用云计算技术来架构服务器,可以应用虚拟化构建方案来对资源进行优化配置,对比传统网络结构中的多层结构运维难度大特点,此种构建方案具有更高的适应性。可以对多台进行组合管理,然后利用一个逻辑点来对该组设备进行统一配置,能够最大程度上来实现网络架构的简单化设计,定义了一个全新的网络结构模式,为平台构建提供一个新标准,提高了平台架构的灵活性,对优化资源应用具有重要作用。

2.2数据资源层

数据资源层为电子政务云平台构建的要点,不仅具有强大的数据服务交付能力,通过建立集群应用,可以有效整合系统内不同类型的存储设备,达到数据高效率存储以及业务高度访问率目的。基于市政业务作业要求,系统设计时应就医疗卫生、地理信息系统、人口基础数据库等子系统的数据库进行整合,获取内部相应数据信息,作为市政业务平台数据共享的基础。同时,还应科学规划市政各部门高性能数据库集群分区,为各类政务系统工作的开展提供基础。常见的设计方法为分布式存储,对同一份数据进行多个副本存储,并将存储设备作为系统设计核心,对网络设备、存储设备、服务器等进行高效集合,同时配置各项应用软件,为用户提供数据访问、应用服务。

2.3平台服务层

平台服务层可以提供用于开发、测试以及运行功能,基于云计算技术来构建一个功能完善的系统,为不同应用服务构建提供支持。利用平台服务层所具有的服务访问功能,组成各类硬件资源,形成虚拟数据中心,并且个虚拟数据中心均有唯一独立的自服务门户。用户可以根据个人需求来定义任何应用系统,正常访问配备虚拟机或虚拟机组实现相应业系统虚拟机角色与功能的归类和设定。

2.4信息安全管理层

信息安全是电子政务平台构建的要点,同时也是限制云计算技术应用发展的主要因素。为满足电子政务对信息安全性的要求,在平台构建时,需要重视安全性要求,从技术与管理两个方面出发,实现系统平台功能的完善。保证平台全生命周期运行的安全性,将安全理念贯彻到云计算电子政务云平台建设、整改、评测、运维每个环节,满足各应用系统运行安全性需求。可应用安全模块设计方案,利用一台安全模块对连接所用安全区域进行统一安全防护,常见的为多虚一和一虚多两种安全虚拟化技术。一虚多即利用虚拟化技术,可以对网络节点设备上融合的安全设备对各安全防护区域提供安全保护。

3结束语

将云计算技术应用到电子政务平台的构建中,能够实现不同部门之间信息的共享,提高资源配置高效性,整体上提高电子政务工作水平。就需要确定云平台构建要点,对不同层次设计要点做好控制,争取实现平台功能化与安全化设计。

参考文献

[1]王宁.基于云计算的电子政务云平台构建探析[J].黑龙江档案,2016(05):104.

[2]李思瓯.基于云计算的电子政务服务平台构建研究[D].华东政法大学,2015.

[3]李志萍.基于云计算的我国电子政务服务平台构建研究[D].燕山大学,.

篇10:高职状态数据采集与管理平台的构建的论文

高职状态数据采集与管理平台的构建的论文

摘要:本文在深入对比高职状态数据采集与管理平台网络版和标准版各自优缺点的基础上,得出了在高职状态数据采集与管理过程中,网络版更具优势这一结论,探讨了网络版的程序开发模型、功能特点以及今后的发展方向。

关键词:状态数据;网络;数据源;数据检测

中图分类号:TP315.69 文献标识码:A 文章编号:1671―144001―0112―04

4月,《教育部关于印发<高等职业院校人才培养工作评估方案>的通知》(教高〔〕5号),推动高等职业院校人才培养工作跨入了一个崭新的阶段,其核心要点之一就是要求各院校建立“高等职业院校人才培养工作状态数据采集平台”(以下简称“状态数据采集平台”)。初期,状态数据采集平台采用单机Excel版的形式(以下简称“标准版”),各院校均采用单机版采集数据。由于单机版的局限,,教育部批准了“高等职业院校人才培养工作状态数据采集平台优化研究”的课题立项(教高司函〔〕234号),推荐部分省市陆续开始使用网络版,使得平台不仅成为采集状态数据的主要工具,而且逐步成为教育主管部门和学校日常管理、宏观调控、社会监督的重要工具,得到了有关方面的关注与重视。当前,状态数据采集与管理平台存在标准版以及网络版两个子平台。虽然教育部相关部门一直推荐和鼓励各院校使用网络版,但根据截止初的一个调查结果显示,全国仍有约700多所高职院校使用标准版采集状态数据。可见,网络版的推广普及仍需下苦功夫花大力气。自以来,在课题组系统研究与开发小组的努力下,网络版在原来的基础上进行了进一步的优化升级,使之在结构以及功能上都得到了全方位的提升。本文主要探讨该版本的构建思路。

一、网络版与标准版的区别

网络版是基于网络环境进行状态数据采集与管理的平台。数据范围包含标准版的所有内容,同时具有数据采集管理、用户管理、权限管理、数据备份以及数据恢复等功能,采用网络环境下的协同报表化采集方式。在使用及功能上,网络版与标准版存在如下差异(如表1所示):总之,在使用及功能上,网络版比标准版具有较大的优势。

二、网络版开发采用的程序设计模型

状态数据采集与管理平台涉及十二个大项,七十多个小项目,共一千多个字段,数据项丰富,但每个页面的风格基本相同。如果按照传统的程序开发模型,页面与数据项一一对应,会导致开发工作量大,程序难以重用。并且,当数据项调整时,需调整相应的页面,从而容易导致回归错误。为此设计了一个可以根据预定义的数据项对平台进行动态调整的程序开发模型。该模型采用如下形式构建(如图1所示)。(一)定义采集数据项定义每个字段的属性,包括:字段名、字段类型、字段长度以及是否允许为空、是否必填等条件约束。(二)定义平台数据中心定义符合预定义数据项要求的数据中心,它将成为平台数据存储交换的中心。(三)设计转换器转换器负责将预定义的数据项加载程序WEB页面,并且将WEB页面提交的数据交换传输至平台数据中心。它是平台数据处理的核心,包括:1.根据页面请求加载相应数据项及标准;2.将加载的数据项及标准生成用户操作的WEB页面;3.将页面提交的数据对比数据标准要求进行数据校验;4.将页面采集的数据转换、生成到平台数据中心。(四)设计采集的WEB页面设计平台与用户进行交互的页面:

三、网络版的功能特点

(一)操作界面与标准版一致。鉴于网络版的用户大多数都使用过标准版,且评审专家大多熟悉标准版,因此,从方便用户出发,网络版的操作界面应尽量与标准版一致。(二)三大用户角色及其工作分配。在网络版中,设置了如下三种不同的用户角色:状态数据负责人:负责整个状态数据采集与管理工作,通常可由该负责人负责分配其他用户角色以及相对应的工作任务;数据表负责人:负责特定的数据表的数据管理工作,通常可由该负责人负责特定的数据表中其所属部门数据的审核工作;数据表采集人:负责特定的数据表的数据采集工作,通常可由该负责人负责特定的数据表中其所属部门数据的采集工作。默认地,教师是其本人基本情况、授课情况以及其他情况的数据表采集人;(三)灵活多变的开关设置。为了适应不同地区及不同管理模式的差异,网络版应同时兼容多种采集模式。为此,在后台中设计了多个开关设置供用户选择(如图2所示),以方便各院校使用开关的不同组合形成各种不同的采集模式。(四)统一的数据源管理。为了保持数据的一致性,将机构设置、部门领导设置、开设专业、教师情况(教师的基本情况、教师的授课情况、教师的其他情况)作为数据源统一管理(如图3所示)。并且,一旦某个教师的性质发生改变,则该教师的所有相关的数据记录在平台中的位置将会自动进行切换。例如当一名教师由校内专任教师调整为校内兼课教师时,该教师的基本情况记录、授课情况记录以及其他情况记录将从6.1表自动移至6.2表。(五)二大数据检测机制。为了保持数据的合理性,设置了二大检测机制:1.数据合理范围检测:检测关键数据值是否属于合理值区间内,以尽量避免奇异数据的出现;2.数据逻辑校验:采取与标准版一致的数据逻辑校验机制。(六)数据的导入与导出。网络版数据中心的数据可通过以下途径与Excel文件的数据进行交换:1.将Excel中多记录数据表的数据导入至网络版相应的数据表中,以充分利用Excel在多记录数据输入时的优势;2.将网络版的数据导出成标准版,以方便用户存档。(七)统一的任务提醒以及任务监测。由于网络版需多人在网络环境下协同进行状态数据采集与管理,因此,它内嵌了一个任务推送机制。一旦工作任务分配后,相关的任务承接人将会在平台中得到任务提醒。此外,各任务执行者当前的工作状态以及工作业绩均会在平台任务监测栏目中得以显示。(八)内嵌数据智能同步。它将网络版数据中心的的数据上传至云端的国家高职数据监测中心。上传前,它会自动对数据进行案例分析操作。(九)数据一键备份。它对网络版数据中心的`数据执行全量备份操作。(十)数据万能查询。它提供对已采集的状态数据的万能查询。

四、网络版今后的发展方向

今后,基于以下的原因,网络版必将会成为各高职院校人才培养工作状态数据采集与管理的主流平台。

(一)它与当前“互联网+”思维相适应。(二)它能与各高职院校当前使用的业务系统(如教务系统、学工系统、科研系统等)对接,实现源头实时采集状态数据的目标。为此,需在网络版数据中心的外围封装数据交换总线,并设计数据交换接口,以实现与其他业务系统的数据交换。目前,状态数据采集仍采用按年采集的形式。当网络版的普及使用达到一定程度时,将逐步从以年度为周期的数据采集形式过渡到以季度、月为周期的数据采集形式,并最终实现实时的数据采集,从而将由业务系统自动生成平台数据,达到“采集数据于无形”的效果。(三)可将网络版进一步扩展至移动采集模式,如移动APP或微信等,以方便各高职院校的师生进行数据采集。(四)可进一步实现多平台共享。目前仅高职系统内部就有“状态数据采集平台”、“专业建设平台”(即中央财政提升高职专业服务产业发展能力项目配套的专业建设与职业发展管理平台)以及高基报表等多个平台分立运行。由于各平台采集的数据存在大面积的交集,从而导致各高职院校大量数据重复采集现象的出现。今后,应首先确定高职的数据标准,然后基于数据标准对网络版的进行调整,实现状态数据采集与管理平台与其他平台的对接,使采集的数据实现“一次采集,重复使用”。

参考文献

[1]杨应菘.高职高专院校人才培养工作水平评估实践回顾与思考[J].中国职业技术教育,,(16).DOI:10.3969/J.ISSN.1004-9290.2006.16.003.

[2]陈易宇.高职院校数字化校园建设实践与思考[J].福建电脑,,(10).

篇11:企业安全大数据平台建设及实现论文

企业安全大数据平台建设及实现论文

在不同的领域以及不同的时期,人们对于信息安全也具有不一样的认识,并且在对于安全问题的解决上仍然存在着一定的侧重面的差异性。因此需要借助于大数据技术,整合安全系统的安全信息进行关联分析以及威胁建模,从而将其计算提速,把有效的信息从大量的日志告警的信息之中发现,将其脆弱性以及安全的威胁进行定位,并且还需要将安全的场景模型进行设计,强化针对业务的安全威胁监控,实现俯瞰企业安全状况的安全全景视图。

一、企业大数据平台建设的目的与意义

现如今,企业业务的不断发展,已经渐渐地向着采集方式、数据源的分布化、多样化以及碎片化趋势发展,采集分析系统中的条块化分析将安全分析限制,将系统的分析效能严重的降低,因此数据采集分析的架构亟需优化,以便快速提取数据的应用价值。企业安全大数据的建设目标是基于大数据技术,实现对应用系统操作日志(4A日志)、各类设备的`安全事件日志(SMP日志)、业务系统流量数据等安全数据的采集、存储与管理的统一处理,实现4A、SMP、业务系统日志分析及报表功能的无缝迁移与性能大幅优化,进一步实现针对风险、事件等高维度的全新分析模型与技术,提供完整高效的进行安全事件的溯源和处理手段。

二、安全大数据平台设计与实现

1、安全大数据平台框架。通过大数据分析技术实现对企业网络与信息安全指标呈现、安全预测/预警以及事件分析体系的研究。安全大数据的总体框架包含统一采集、数据处理、搜索引擎、挖掘分析和统一展示等模块。

2、安全数据的集中采集。安全大数据平台采用大数据集中采集方式收集各类日志数据,日志采集主要分为4A审计日志、SMP日志、业务流量日志,实现由目前各系统独立采集向集中化大数据架构的转换。

3、业务系统旁路流量采集。业务系统旁路流量采集主要是以网络镜像流量的方式采集业务系统流量,根据http协议分析、过滤、格式化以及补全操作,分析出需要的数据提交给上层数据存储中,为业务安全模型分析提供数据基础。

4、业务安全模型分析。

1、异常登录行为分析,分析登录日志建立模型,其特征审计模型包括维度包括:非法密码猜解、使用程序账号登录、异常IP地址登录、非正常时段登录、维护人员共享账号、离职人员工号非法盗用等行为进行审计分析,及时发现运维人员的违规操作。

2、人员违规操作监控分析,关联登录日志、操作日志建立正常的人员行为特征模型:(1)学习建模;(2)冗余范围建立:标准模型*1.2范围;(3)根据模型的的规律,及时营业员的违规操作

5、系统安全事件分析。针对安全事件发生时研究范围中系统状态进行分析,分析不同安全事件时各系统运行状态与正常情况下差异。能够提供每个信息安全资产的安全态势,动态图表的形式展示,访问量趋势图、攻击走势图等可视化图,能够对攻击进行溯源分析,能够分析攻击的影响范围,并能够提供安全预警。

6、安全趋势预测。对研究范围内业务系统的安全数据进行统一采集整理、从多个维度综合分析,提升整体的预警能力,为系统安全预警与安全事件体系研究做出依据。同时对业务安全和系统安全所面临的安全风险定制化模型分析的结果进行安全量化指标排名,进一步将安全风险做到可度量、可视化的动态展示。

三、实现和应用效果

通过对业务安全和系统安全所面临的安全风险进行定制化模型分析,建立异常登录行为模型、内部人员违规操作模型、入侵攻击事件分析模型,完成后台运维人员、普通业务人员、外部攻击者的用户画像,进一步将安全风险做到可度量、可视化的动态展示,实现了信息安全整体态势感知以及发展趋势的有效预警。实现企业日常运行、维护中所产生的数据集中采集、汇总和标准化;基于大数据分析方法建立用户日常行为模型,为风险预测和识别提供基准数据;实现企业日常运行、维护等安全数据的海量数据分析,风险识别;实现基于大数据进行安全分析和对安全事件进行预测、预警的能力;实现企业整体安全态势的多维度展现,为安全管理决策提供支持。

四、结语

本文主要研究了基于大数据技术,实现对4A、SMP、应用流量等安全数据的统一采集、存储与处理,给出了安全大数据具体功能架构设计,实现了审计分析及报表功能的平滑迁移与性能大幅优化;建立了用户异常行为分析模型、入侵攻击事件分析模型、安全事件预测模型,提供高效的安全事件分析和预警方法。

篇12:Sem―给百度数据开放平台提交客服资源

今天在搜索一些品牌关键词的时候,无意中发现在百度自然搜索结果中,出现了品牌的客服电话号码,这个产品对品牌来讲,还是有一些用处的:一是品牌形象,二是可以抢一个自然搜索的位置——你也知道百度对自己的产品权重有多高。先来看看搜索效果:

搜索绿瘦:

搜索乐蜂网:

其他也还有很多,像中国人寿、国美等,也有些估计没到首页?点击链接,进入到的是网站的“关于我们”或者“联系电话”。

怎么申请这个东西呢?我走了个流程,一起来了解下。

第一步:进入open.baidu.com/coop/kefu.html,这是百度数据开放平台下面的一个子类,可以让品牌提交客服服务类的资源,

第二步:在“如何提交资源”那项,点击“立即提交”按钮,进入:open.baidu.com/data/index.php?page=wm.addResource&category_id=17

第三步:填写你的公司名称或者品牌名,以及服务热线号码。热线电话可以是400、手机号、座机。不过个人觉得,既然是品牌性的产品,填写400号码会更好一些。热线电话可以填写2个。最后填写你的

第四步:上传资质。所需资质有: 1、企业营业执照 或 个体工商户执照(须含年检部分);2、法人二代身份证 或 护照(正反两面);3、icp备案(非icp许可证);4、注册商标证(“商标注册受理书”或“商标查询结果”均属无效资质);这几类资质对于一些正规的品牌公司应该问题不大。

第五步:选行业类别、填写验证码,就大功告成,等待百度审核了。

不过我是一时兴起去走的流程,第四步所需资质没有拿到,所以不知道最后会是怎样。有机会再来分享。已经上了这个产品的朋友,可以分享下你的经验。

篇13:数据密集型科学环境下的情报服务与发展论文

大数据时代的到来,使得学术活动的信息数据来源、组成、价值以及处理技术都发生了巨大变化,数据就如传统价值认识中的“黄金”一样,变得无比重要和价值巨大[1],这些变化也影响到了学术信息的交流环境,使得科学研究向数据密集型科研转变,越来越多的科研工作是基于现有数据的重新分析、组织、认识、解析和利用,数据成为了科学研究的基础。虽然说从目前来看将数据比作“金矿”有夸大之嫌,但也充分的说明了数据的重要作用与价值。同时,我们也看到,在这种数据密集型科学环境下,变化的不只是科学研究,一些服务机构特别是信息服务机构的服务内容、服务方式也在悄然发生着变化,对能为用户创造价值与创新的科学数据日益重视,基于数据的服务也成为了它们的服务增长点,对新型科学环境下的服务发展学术研究也正在如火如荼的进行之中。基于此,本文从数据密集型科学环境出发,对科学研究的第四范式、数据密集型科学环境的形成与推动因素进行了概述,重点对数据密集型科学环境下的情报服务内容进行了陈述,同时也对情报服务的发展途径如数据建设、人才建设、协作机制建设进行了分析。

1 数据密集型科学研究兴起的社会环境

2007 年,Jim Grey在美国国家研究理事会计算机科学和远程通讯委员会( NRC- CSTB) 的演讲报告中首次提出了以数据密集型计算为基础的科学研究“第四范式”概念[2],并将其作为与实验科学、理论推演、计算机仿真三种科研范式平行的科学研究[3],但在对科学研究范式的发展及划分简单论述后,并未对第四研究范式的内涵、科学研究现状等进行深入论述。直到2009 年, 微软公司的TonyHey、Stewart Tansley和Kristin Tolle主编的《The Fourth Paradigm:Data- intensive Scientific Discovery》(第四范式——数据密集型科学发现)一书,才较为详细的登载了第四范式的内涵和意义等内容,并从地球与环境、健康与幸福、科学基础设施、科学交流四个方面展示了69 位学者从不同的视角观察、理解、分析和探讨[4]。

对数据密集型科学研究来说,科学研究第四范式强调传统的假设驱动将向基于科学数据探索的科学方法方向转变,并在这种数据的转变与方法实现中,数据依靠工具获取、分析与处理,依靠计算机存储。笔者认为,大数据时代的来临,数据的来源、类型、存在形态将异常丰富,可以是实验观察数据、实验数据、仿真数据、互联网数据,也可以是产生于智能终端如智能手机、社交活动如微博、虚拟社区中的信息行为数据等;类型和存在形态可以是已经可以灵活保存于数据库、机构库中的结构化数据,也可能是目前只能通过路径记录、现场拍摄才能记录的半结构化数据、非结构化数据。

从数据密集型科学研究的兴起与形成来看,数量庞大、类型丰富、价值巨大的数据产生即大数据时代的到来以及一方面产生数据、一方面又能实现对数据管理与应用的现代信息技术更新、发展是数据密集型科学环境兴起与发展的根本推动因素,而信息爆炸、关联数据运动、数据开放运动等直接推动数据密集型科学环境成熟的运动也都功不可没。

相关专题 数据浅谈