高校
高校大数据平台
一、什么是大数据？
大数据（Bigdata）是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，需要使用新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应这种海量、高增长率和多样化的信息资产。大数据能够帮助我们洞见隐藏在巨量、杂乱的大数据背后的知识、真相和行为，通过挖掘数据的潜在价值，透析过去，预测未来。
已经进入大数据时代，数据规模由GB级上升到了ZB级
大数据5v特征及其应用
大量化(Volume)：存储量大，可从数百TB到PB、甚至EB的规模
多样性(Variety)：来源广、格式多，包括各种格式和形态的数据
时效性(Velocity)：在一定的时间限度下得到及时处理
准确性(Veracity)：处理的结果要保证一定的准确性
价值(Value)：大数据分析挖掘和利用将带来巨大的商业价值
二、高校大数据平台的建设意义
高校作为高科技人才以及创新技术的摇篮，承载着科研攻关和人才培养的双重使命。在新的科技浪潮中，高校应瞄准时代最前沿，将教学科研创新、专业人才培养与大数据紧密融合在一起，在更高起点上推动学校在大数据教学、科研以及创新方面再上新台阶。
高校面临的大数据问题
1、数据规模日益庞大
数据来源多元化，共享数据库涵盖系统多，高校生源不断扩张，信息不断积累，致使数据库中的信息不断增加，进而为数据挖掘、管理和分析带来了困难。
2、缺乏稳定高效的大数据环境
高校不同学科与专业采用的大数据环境大多依赖现有的IT环境，导致大数据运行的基础软硬件环境比较混乱且极其不稳定，缺乏有效的运维管理，严重影响教学和科研工作的正常进行。
3、数据利用不充分
校园的信息仍然停留在收集和累积阶段，尽管移动终端系统的不断发展为信息采集带来了极大的便利，但采集后的数据仅仅停留在查询阶段，并没有对数据进行整合、分析和梳理，使得这些信息仍未被管理者采用，作为决策依据的信息则少之又少。
4、数据驱动带来的科研新挑战
数据剧增由量变引起质变，使科研人员的思维和行为模式在传统的学科研究领域发生转变。如何借助大数据相关技术以及资源，找到本学科研究成果的新视角，已经成为当前高校研究的重要课题。
高校大数据平台建设意义
1、实现个性化学习
集成教育数据挖掘与学习分析技术，持续采集学习行为数据，智能分析，推送适合的学习资源并进行个性化学习建议。
2、实现教育评价体系重构
采集教与学的全过程数据，全面客观记录学生成长轨迹，引导学生培养模式和教育质量管理方式科学健康发展。
3、实现科学研究范式转型
解决科研经费等科研管理难题，提供便捷的技术支撑与人性化服务，提高研究的效率和结果的可信度。
4、开启“大数据 创客”新模式
完成创新应用及发布，完善高校信息化建设，提升高校实力，加速创客成果转化，推动创意实现产业化，打造具有影响力的“创客校园”。
5、实现教学模式改革
教学数据分析与预测，改变教学模式，实现个性化教育，调整教
学方案，优化教学方法，提高教学质量。
6、实现科学化教育管理
注重相关关系识别，强调因果关系的确定，发现隐藏的、有用的信息，做好教育管理和决策工作的数据支持。
三、高校大数据平台的三大用途
1、培养大数据人才的平台
近年来，移动互联网、云计算、大数据、物联网等信息技术取得了突飞猛进的发展，已经在深刻地改变着人类社会的方方面面。“互联网 ”、大数据更是已经上升到了国家战略层面，成为提升全社会的创新力、生产力，促进经济发展新形态的基础设施和实现工具。高校作为人才培养、技术创新的前沿阵地，需要充分感知最新技术发展方向，掌握和创新最前沿科学技术，培养时代迫切需求的创新型人才。
根据国内外高校开展大数据课程建设经验以及现有大数据技术就业市场需求而构建的大数据人才培养平台，以大数据为方向，引进国内外先进大数据技术、成熟解决方案以及管理与教学内容，搭建云计算、大数据管理技术、大数据应用软件开发等技术平台，培养学生研究大数据科学与工程领域问题、解决大数据实际应用问题的能力，系统掌握大数据主流的存储、管理、分析处理技术，以及大数据平台架构和建设，实现科研、教学与社会服务的顺畅衔接，逐步打造以培养大数据人才为核心的科研、教学基地。
创新意识、创新精神、创新思维、创造力或创新人格等创新素质的培养需要一个长期的过程。创新教育与学科教育相结合，纳入人才培养体系，利用大数据、“互联网 ”、云平台的优势，构建大数据人才平台、打造创新教育人才培养新模式、创新教育教学组织新形式，使学生掌握企业运作的规律与本质，增加师生良性互动，真正培养出社会、企业所需要的创新型人才。
2、深化高校管理促进高校改革发展的平台
数据挖掘算法：集群、分割、孤立点分析还有其他算法让我们深入数据内部，挖掘价值。
预测性分析能力：预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性判断。
语义引擎：语义引擎需要能够从“文档”中智能提取非结构化数据信息，并利用一系列的工具去解析，提取，分析数据。
数据质量和数据管理：通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
数据存储和数据仓库：便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。数据仓库提供数据抽取、转换和加载，为联机数据分析和数据挖掘提供数据平台。
可视化分析：可视化可以直观的展示数据，让数据自己说话。
3、提高高校科研水平和效率的平台
大数据科研平台提供多场景数据计算和分析挖掘的科研基础环境，充分结合行业课题的相关数据，利用大数据技术深入挖掘分析，满足行业大数据的科研工作需求，进一步提升高校的大数据科研水平，借助完善的产学研体系，实现科研成果向业务价值的转化。大数据技术在高校科研管理创新中的应用主要有以下几个方面：
实现高校科研选题科学化
挖掘社会公众、工商企业、政府和事业单位以及其他非盈利机构对科学知识和技术的需求情况，辨别哪些科学知识和技术需求是最为迫切和社会经济效益极为突出的，提高科研选题的针对性，实现科研选题的科学化。
避免重复研究
挖掘不同层级、不同类别和不同区域之间科研选题申报和立项情况，结合科研选题申报高校及其研究团队的研究特长与特色，监控科研项目重复立项风险，避免重复研究，节约科研经费，减少资源浪费。
实现研究数据共享复用
实现不同层级、类别和区域研究项目之间数据共享复用，节约数据采集成本，加快项目研究进展，提高效益及效率。
推动高校研究成果转化
搭建开放式大数据科研平台，充分融合教师的科研需求，提升教师的科研创新能力，充分提高“研”的成效，提供行业数据及案例解剖用于基础研究，提供数据分析方案及流程，提供数据更新接口，为科研工作提供数据支撑。
监督学术道德和诚信
高校科研管理人员在课题申报阶段，对申请书进行学术道德与诚信的监督，避免学术不端行为发生。
四、“国子数据魔方”业务开发平台
为提供众多便捷易用的开发框架和服务引擎，使用户可以迅速地掌握、认知以及使用平台上开放的数据，针对不同的应用场景选择合适的服务引擎进行二次开发，公司自主研发“国子数据魔方”业务开发平台，在提供开放数据的同时，也允许用户通过该平台进行大数据应用的开发，为用户提供一体化应用开发、测试、部署、运行、管理、监控等托管环境，使应用开发人员无需关心应用的底层硬件和基础设施建设，从而提高工作效率。其架构图如下：
大数据数据中心
大数据数据中心不是简单的硬件设备集成，也不仅仅是数据存储的中心，而是数据流通和应用服务的中心。它具备十分丰富的信息资源、安全可靠的机房设施、高水平的网络管理和十分完备的增值服务，数据中心是高校信息化建设的基础性项目之一。
数据中心通过统一的数据格式实现应用系统之间的数据交换和共享。高校数据中心具有以下建设意义：
1.收集、存储各类数据的同时有效地将数据管理起来，打破“信息孤岛”的存在，为高校各个应用系统提供统一的数据服务，保证数据的一致性。
2.为学校部门和各位领导提供实时数据。各部门之间可以很方便地查看其他部门的公开数据；领导可以统筹查看全校所有部门的业务数据，能够直观地了解学校的情况。
3.便于后期的应用系统开发，将应用与数据分离开来，降低应用系统扩展开发的难度，为全面整合高校应用系统打下坚实的基础。
大数据业务平台层
大数据业务平台由组件、大数据处理引擎、APP、BI引擎构建而成。大数据业务平台是基于PAAS思想构建，并遵循SAAS标准。
1.组件
组件是大数据业务平台的最基本元素，在大数据业务平台中内建组件接口标准，所有的组件都遵循该标准。在标准中定义组件的输入、私有项和输出。在业务开发过程中，通过图形化界面对一个或多个组件进行创建、编辑和关联，从而组合成一个数据处理服务对外发布。
2.大数据处理引擎
大数据处理引擎是整个业务平台的执行中枢，通过对发布服务中的关联组件进行解析、调度、执行、迭代、合并等操作实现整个服务的平稳运行。
3.APP
APP是由一个或多个发布的数据处理服务组合而成的轻应用。用户通过图形化界面编辑APP展现的数据和图表形式。
4.BI引擎
BI引擎对构建的APP的数据绑定服务和图表形式进行解析和展现。
五、大数据业务应用方案
大数据业务应用基于Hadoop生态集群，将数字化校园相关的人、财、物、网络等结构化、半结构化和非结构化数据，利用HDFS、Mapreduce进行分布式文件存储及计算，采用关联规则分析、聚类分析、相关分析等分析方法，以各种可视化图形的方式，将结果展示给用户，为领导决策提供数据支撑。大数据业务应用包括教学创新的应用、科研创新的应用、管理创新的应用以及其他方面的创新应用。
大数据教学创新
1、教学质量评估：对学生给予教师的评价、学生活跃程度、学生成绩和教师授课情况等数据进行分析研究，帮助教师更好地进行教学活动。
2、上网行为：对各年级同学上线次数、上网时间段、总流量以及在线课程的欢迎程度等数据进行分析研究，引导学生合理运用网络资源，树立健康的上网理念。
3、学生成绩分析：对学生成绩以及排名等数据进行分析研究，更加清晰地了解学生成绩的整体分布状况以及学生的学习状况。
大数据科研创新
1、科研成果：对科研成果的获奖比例、科研成果的学科背景和科研成果的论文级别等数据进行分析研究，清晰统计科研获奖情况。
2、科研项目：对科研项目的负责人年龄、学历、以及院系等高校科研项目信息进行分析研究，更全面地了解学校科研项目情况。
3、科研经费：对科研经费的投入、科研论著的发表数量以及各学院经费的投入和支出等数据进行分析研究，直观地了解科研经费、科研成果以及科研奖励等方面的信息。
大数据管理创新
1、招生分析：对学生的生源地以及招生的学生类型等数据进行分析研究，发现哪几个地区的考生是历年招生的主力军，进而为学校做到有重点、有突出、有成果的招生指导。
2、就业分析：对学生就业的地区分布、就业行业以及就业专业排名等数据进行分析研究，为高校决策者提供指导或数据支持，改进现有的教育模式，提高对毕业生就业指导的实效性。
3、住宿分析：对学生住宿过程产生的数据进行分析研究，帮助学校相关管理人员更加合理地分配宿舍资源，更加科学地进行宿舍管理。
4、资产数据统计分析：对资产的数量、资产的分类以及资产的年增长率等数据进行分析研究，为各类资产的购置和合理分配提供了决策支持，便于校领导从全局上把握资产信息，加强成本核算，对固定资产进行系统的规划、建设和管理。
大数据创新应用
1、学生轨迹分析：对学生各学年的成绩、餐厅消费、购物、进出图书馆的次数、借阅图书以及吃早餐的次数等数据进行分析研究，利用这些数据，不仅能预测出学生的学习状况，而且学校还可以依此引导他们更好地规划各自的学业和就业方向。
2、学生画像：对学生在校生活和学习状况等数据进行分析研究，掌握学生的目标动向，无论是学习还是参与社会活动，都能够有的放矢地帮助学生做进一步规划。
