大数据在教育领域的应用与未来发展趋势：高校数据管理与挖掘的变革动力

hwyzw

    作为信息技术发展的新趋势，大数据已经渗透到学习、工作和生活的方方面面。在高等院校中，学习信息、学生信息、管理信息等数据逐渐增加，这些数据具有广泛的应用价值。

    利用数据挖掘和学习分析技术构建教育领域的相关模型，探索教育变量之间的相关性，为教育教学决策提供有效支持，将成为未来教育的发展趋势。

    高等院校拥有大量商业产生的数据，数据的应用将为大学的发展带来巨大的动力。

    近年来，国家相继颁布了教育数据管理与应用文件，积极推进教育信息资源整合，推动数据互联互通、共享开放，着力进行数据采集和挖掘，创新教育大数据应用，规范数据管理，构建标准体系。

    在信息化发展过程中，学校经过校园网络建设、信息系统建设、业务流程优化、服务集成等一系列工作，开启了数据治理的新阶段。

    哈尔滨工程大学（源学校官网）。

    数据支持的学校管理服务

    面临的问题

    目前，许多高校已经开展了数据治理和数据管理与服务建设，但大多处于探索阶段，还存在多种问题，具体如下：

    由于历史原因，大多数高等院校的信息系统都是由各部门在不同时期开发或购买的，数据分散在各种业务系统中，或以离线账本的形式进行管理，形成大量的数据孤岛，造成存储空间的浪费和利用率不均衡， 这对于需要跨部门协作的业务来说，更是不利。

    高等院校的运作需要各业务部门的协调配合，但是，在各业务部门之间使用和共享数据时，数据口径存在不一致，容易造成学校信息化管理的混乱。

    现有数据质量不理想，普遍存在数据缺失、不规范、不准确、更新不及时等问题。这些问题阻碍了学校更深入地挖掘数据并形成有用的信息。

    一些学校没有对积累数据的集中管理，或者缺乏协同管理机制，对数据的存储、使用、维护和深度应用缺乏统一的指导和规划。

    师生在教学、科研、企业管理、校园生活等方面都需要填写大量的表格，表格中的姓名、性别、身份证号、部门、工作经验、学习经历等基本信息往往需要以不同的表格重复填写，给教师增加了很多重复的工作， 教职员工和学生。

    当师生需要查询数据时，不知道哪个部门负责相应的数据，应该如何获取数据，甚至需要登录多个系统多次采集数据，这给师生获取数据带来了极大的不便。

    目前，大多数高校的数据分析与应用工作仍处于各业务系统之间简单数据交换的阶段，在教学、科研、管理决策等方面的数据分析与应用仍有待发展和改进。

    在线数据中心系统建设理念

    针对信息化发展新阶段高校数据管理与服务建设的新需求，哈尔滨工程大学针对数据治理与数据管理与服务建设过程中亟待解决的问题，推进数据治理和在线数据中心建设。

    构建贯穿全校数据的在线数据中心，实质上是基础数据资源的共建和综合利用，构建一体化统一的数据管理和服务门户，提供数据查询、数据纠错、数据管理、填报等数据服务。 数据状态监测，对学校、单位、教师和学生进行全面的学校态势分析和展示。

    通过对数据和服务的梳理、整合和优化，为报告填报模式的改革创新、数据资源提升与共享的改革创新、管理决策模式的改革创新提供充足的信息服务保障。在线数据中心系统的建设遵循以下理念：

    以服务师生为目标，有效解决师生及各单位重复填表问题，尽最大努力节省每一位师生的宝贵时间。在线数据中心可以为我校师生提供更便捷、统一、先进的信息服务，实现“让数据多跑，让师生少跑腿”，有效减轻师生和各单位填表负担，提高师生的获得感和幸福感。

    以学校管理和服务为核心，着力体现学校数据治理成果和特点，持续完善数据资源共享，推进报表填报规范化管理，对各单位“一式”工作进行实时督促考核，优化完善工作机制，提升学校数据治理能力。

   

    紧跟技术发展，整合信息服务，提供数据管理和服务的集中渠道，注重创新和时效性，充分发挥新兴互联网技术和大数据的优势，实现业务数字化、数据共享和在线服务，通过在线数据中心提高管理和服务效率。

    在为师生提供基础信息服务的同时，我们利用大数据分析技术，对师生的经验建议进行综合收集、整理、反馈、吸收，了解和预测师生的行为特征，实现更加规范、合理、准确、高效的公共决策机制，有效提高制度设计的科学法制水平， 为战略决策提供支持，提高资源转化率，真正服务学校发展。

    系统架构

    1. 微服务架构

    系统采用微服务架构，实现在同一技术平台上对各种业务系统和管理系统的开发和管理，实现业务模块的统一管理，基础数据和业务数据的统一标准统一管理，确保一源一源、一集合、终身可用、系统间数据高度共享、 并实现业务服务和数据开放服务的灵活配置;确保系统的正常运行以及数据的完整性、一致性和安全性。技术要求先进、成熟、可靠。降低业务模块耦合度，提高容错能力，实现敏捷迭代开发和自主部署。图 1 说明了微服务架构。

    图 1 微服务架构

    2. 系统架构

    在线数据中心以权威数据和历史报表数据作为底层数据源，通过数据中心提供的校级数据支撑平台的数据交换、存储、计算处理和数据发布能力，构建由校级数据管理、个人/部门数据管理、数据分析展示组成的数据支撑平台， 以及单表填写系统，以便为全体教师、学生、管理人员、教学部门、事业单位和直属单位提供各自职责和权限范围内的个性化数据服务。图 2 显示了在线数据中心架构。

    图 2 在线数据中心架构

    3. 技术实施

    数据连接。为了解决 ETL 数量增加后的工作量问题和发展门槛问题，业内一些厂商通过自动生成的 API 向应用系统提供“API ”等数据共享服务。

    每个基于 REST 或 SOAP 的 API 都只能提供固定结构的数据共享，应用系统的灵活性较低，需求发生变化时需要进行调整，更严重的是，在应用广泛实现之后，还需要维护大量为应用定制的 API， 这不少于 ETL 的数量，而且还存在严重的维护问题，这大大增加了诊断问题的成本。

    数据目录。实现校级数据资源目录，基于数据目录，通过可视化配置工具实现数据查询和管理功能。数据范围涵盖学生管理、教学管理、师资管理、科研管理、财务管理、资产和设备管理、办公与公共服务管理、国际交流与合作管理、图书与档案馆管理、基础设施与物流管理、资产管理、学校资源开发等12类数据。

    数据映射。支持数据目录中数据内容的可视化表示。用户可以在 Web 端直观地预览、搜索、排序和导出数据目录中的数据。对于支持修改操作的数据，您可以修改和删除数据。管理员可以配置可见数据列和搜索条件。您可以通过权限规则配置院系的二级管理权限。支持数据使用情况审计的 Log 和  函数。支持数据导入的历史查询。支持数据标准系统的显示和管理。

    4. 分级管理

    支持对数据资源目录进行分级管理。它包括学校和部门级别的分层数据管理，学校级别的管理员能够管理整个学校的数据资源目录，而部门管理员能够在其权限内管理数据资源目录。校级管理员具备对全校数据资源的查询和管理能力;各部门和部门的管理员都可以在自己的权限范围内查询和管理数据。

    5. 数据建模

    为了促进智慧校园的数据分析和利用，有必要对业务流程产生的数据和业务系统管理的数据包括分析数据建模的能力。项目中的分析数据建模将采用行业主流的 BI 技术和工具，形成与线上服务中心整体架构连接集成的整体解决方案，可直接对接符合标准的数据分析工具，实现业务人员可配置的个性化数据分析指标体系， 并实现由业务领域的专业人员而不是技术人员进行的数据分析工作。

    在线数据中心的建设内容

    后端依托学校搭建的共享数据库、数据交换平台和数据资源管理平台，收集大学内大量零散的数据进行存储和计算，挖掘数据背后的意义，把握学校内部资源的使用情况，刻画师生行为的数据画像， 为师生的学习、工作、教学、科研和生活提供帮助，也为学校管理者提高管理质量提供参考。

    前端设计设有四个中心：个人数据服务中心、部门数据服务中心、学校综合信息展示中心、一体化数据监控平台。

    1. 个人数据服务中心

   

    为教职员工提供15类个人信息信息查询和下载服务，包括个人基本信息、通信信息、学位信息、工作经历信息、职级、我的教学、我的科研、我的成就、我的财务、我的资产、我的出差、我的书籍、校园卡、校园网络和教师个人主页。

    为学生提供 15 类个人信息查询、下载和纠错服务，包括个人基本信息、学籍信息、联系方式、家庭信息、学习经历、我的课程、我的成绩、我的奖项、我的财务、我的助学金、勤工俭学、校园网络、校园卡等。

    2. 部门数据服务中心

    为各单位提供院系集中数据管理、统计数据填报、教职工基本信息、专业技术职务信息、年度考核信息、科研项目信息、科研论文信息、科研奖励信息、学生基本信息、学籍信息、奖学金信息、课程安排信息、选课信息、成绩信息、资产信息等类别的单位数据信息查询、下载和改进服务。

    3. 综合学校信息展示中心

    针对学校层面的决策层、中级管理人员和广大师生，及时、动态地提供教学、科研、学生、教师等不同主题的学校建设、发展、管理数据，并提供图文并茂的数据分析结果报告，包括学校教师、学生、科研项目、经费、成果、教学、学科、 招生、就业分析等信息，支持决策、实施、反馈、改进和推广的全过程。为决策管理、具体事务管理运营提供动态数据支撑。

    4. 集成数据监控平台

    对于教师、学生、各单位，数据的整体情况（包括数据总量、数据表数量、数据字段数量、数据条目数量）、数据共享的利用情况、各单位的数据集中管理、各单位数据集中数据的质量、在线工作报表、 实时展示数据需求，以及用户反馈的数据问题，以便监督和评估各单元“一表”工作的执行情况。

    研究成果

    智慧校园在线数据中心的研究建设对学校的改革发展具有深远的意义，是高校数据建设和治理的重要组成部分，是学校全面深化改革的关键环节，是学校信息化建设水平的重要标志。一

    方面通过在线数据中心为师生提供便捷的数据查询和填报服务，另一方面为学校的管理和工作决策提供支持，形成校园数据生态闭环。

    在线数据中心将为高校师生提供多终端、一体化的信息服务，在线数据中心架构将为其他高校提供有益的借鉴。

    1. 提高数据质量

    通过引进国际先进成熟的数据治理技术和理念，规划设计统一的数据标准体系，构建统一的数据质量检测体系，构建统一的校级共享数据仓库，强化数据管理能力，大幅提升数据质量。

    2. 加强数据管理

    基于数据标准体系的统一数据管理治理，可以保证数据的完整性、准确性和一致性，不仅便于向师生收集数据，也便于向上级部门提供统一的数据报告，全面提升全校师生的日常工作和学习效率， 也有利于数据的进一步挖掘和运营，从而提高学校的数据处理和应用能力。

    3. 加强数据应用

    通过构建成熟稳定的数据服务平台，构建统一的数据资源管理与发布体系和数据资源分析展示系统，使数据的使用更加便捷、高效、安全，为后续更深入的大数据平台建设提供坚实可靠的数据支撑、技术支持和服务支持， 并充分发挥数据资源在智慧校园建设中的重要作用，从而在信息化条件下提升学校的治理能力和公共服务水平。

    4. 支持智慧校园建设

    数据标准体系的建设是高校智慧校园建设过程中的关键环节，是关系到高校智慧校园建设成败的决定性因素。构建符合学校实际需求的数据标准体系，也将减少智慧校园建设过程中的重复投资，降低建设成本，加快建设进程。

    *基金： 黑龙江省教育科学“十三五”规划2020重点课题（No.:).

    作者：Wu ， Qu ， Zhu Yan （哈尔滨工程大学信息技术办公室）。