汪琼：高校数据治理常见挑战与对策
发布时间：2020-11-02 18:57作者：小编来源：中国教育网络点击量：
高校数据分析最早是 IT 人员用于改进学校信息化基础设施的管理运用，现在越来越多的学校开始使用数据分析来帮助推动学生获取成功。
以数据分析项目为代表的数据治理领域已经成为全球高校信息化发展的新热点。“大数据和学习分析的使用会改变教育领域”，这已经成为众多高校领导人的共识。在高校开展数据治理时会遇到一些挑战（如数据质量、数据获取权限、数据运用伦理），先行者们也已经探索出一些解决之道，提出了数据治理成功的关键因素。
高校数据治理常见挑战与对策
在谈到高校数据治理实践时，一些受访者提出常遇到如下的挑战：
挑战 1：如何让各级领导层建立数据分析思维？
很多领导只是把自己作为数据的消费者，等待技术团队提供可用的直观工具。但是一个机构要实现数据治理，是需要业务部门提出需求和想法，并参与数据分析工具的设计与开发的，为此，就需要各级领导参与相关的培训首先从建立数据素养和数据分析思维开始，提出业务工作中想利用数据解决的问题。
对很多大学来说，数据治理需要梳理决策逻辑、清理数据，从哪个业务先开始往往不能统一意见。据 2018 年 6 月美国的一项 200 所高校领导人调查发现，教学部门（如校长、教务长）会更关心学习产出、学生保持率和毕业率，信息技术部门则更关心如何提高大学的运营效率。在实践中，可行的做法是优先与能够应用数据分析解决问题的团队合作。
加州州立大学长滩分校（California State University， Long Beach）利用数据来提高毕业率。2015 年，启动了the Data Fellows program，一个 55 人的团队两个月开一次会，讨论与学生学业成功相关的指标。这个团队成立的目的是建立数据所有权文化，形成推动变革的解决方案。在长滩分校，四年毕业率在过去两年（2016~2018） 从 16% 跃升至 28%，与此同时，少数族裔和非少数族裔学生的毕业率差距从 12% 下降到 4%。
挑战 2： 如何保证所基于的数据具有高质量？
基于数据决策的前提是数据可靠且相关，数据必须是“真实可信的”，否则“输出将是误导和无效的”。但是学校所收集的数据可能不完全，或者更新不及时。不完全的数据，特别是不准确的数据，可能会带来更危险的决策。但是，所收集的数据来源多样，种类丰富，也很容易出现同一个数据（比如一所高校的在校生人数） 从不同的部门得到的数值不一样的情况。IBM 认为，高质量的数据具有以下四个特征：
完整性（Completeness）： 要从所有可能的来源中关联相关的数据。
准确性（Accuracy）： 数据必须是正确的、一致的，没有输入错误。
可用性（Availability）： 数据必须在需要时可以获得。
时效性（Timeliness）： 当下的数据必须可以获得。
为了提高数据的质量，可能需要多管齐下。
首先要制订数据治理政策，其次要开发和部署专门的工具来简化数据收集过程。美国的大多数高校会选择数据质量工具通过数据清理、匹配、监控和其他方式， 让质量保证过程自动化。
2013年圣母大学(University of Notre Dame)建立了商业智能（business intelligence）项目dataND ，经过摸索，发现制订数据治理政策非常有必要，即要定义数据是什么，如何使用这些数据，谁应该有权访问这些数据。其经验总结如下：
1.如何统一数据定义：雇佣了一个数据治理管家（a campus data steward）在部门之间协调，建立关于数据的共识。
2.如何确定谁能访问什么数据：正确的问题不是这个业务是否需要这个数据，而是获取这个数据是否会给大学带来风险，因为数据治理的目的是为了支持更广泛地使用数据，为了避免使用数据带来的风险，要加强对能够获得数据的人进行培训。当数据可能对大学造成重大伤害时，要有严格的限制。
2013年圣母大学(University of Notre Dame)建立了商业智能（business intelligence）项目dataND ，经过摸索，发现制订数据治理政策非常有必要，即要定义数据是什么，如何使用这些数据，谁应该有权访问这些数据。其经验总结如下：
1.如何统一数据定义：雇佣了一个数据治理管家（a campus data steward）在部门之间协调，建立关于数据的共识。
2.如何确定谁能访问什么数据：正确的问题不是这个业务是否需要这个数据，而是获取这个数据是否会给大学带来风险，因为数据治理的目的是为了支持更广泛地使用数据，为了避免使用数据带来的风险，要加强对能够获得数据的人进行培训。当数据可能对大学造成重大伤害时，要有严格的限制。
挑战 3：如何获得各部门系统的数据？
不少学校在开展数据治理的时候，会遇到部门数据共享的问题。一方面，一些部门不愿意分享所管理的数据，比如，认为拥有某些数据是特权，或担心数据安全； 另一方面，即使部门愿意共享数据，信息系统之间数据互通也会有技术障碍，比如，学校的信息系统有些是采购或定制的，供应商往往不太愿意做数据开放或数据导出接口，即使学校愿意在这方面做追加投资，也需要逐个系统去谈。有些系统有数据导出功能，可以定期导入到数据分析工具中，只是这些数据在利用时很难做到及时更新。数据需要在整个机构内共享-- 分析不应该以竖井的形式进行，也不应该被视为机构内部门的独有特权。
范德比尔特大学 (Vanderbilt University) 建立了“自动数据质量流程”，其信息系统能够识别数据输入错误， 所有数据问题最终都由学校数据治理团队 (institutional data governance team) 解决。根据大学的说法，该团队的任务是“建立数据治理政策、程序、标准和指南”，以最大化学校数据的价值。
范德比尔特大学 (Vanderbilt University) 建立了“自动数据质量流程”，其信息系统能够识别数据输入错误， 所有数据问题最终都由学校数据治理团队 (institutional data governance team) 解决。根据大学的说法，该团队的任务是“建立数据治理政策、程序、标准和指南”，以最大化学校数据的价值。
挑战 4：数据使用边界与伦理
使用学生数据进行学习分析会在多大程度上引发有关学生数据隐私的问题？高校如何使用和共享这些数据 ？ 如何审查依据数据的行动是否有伦理风险？当机器学习算法出错，无意中引导学生走向错误的方向时，会发生什么情况？
目前有很多数据分析项目是基于历史数据而做预测分析，但所有预测模型都受人类判断的影响，数十年来对隐性偏见的研究表明，潜在的认知偏见和系统性种族偏见，既影响数据模型的设计，也影响对研究结果的解释。比如，预测模型如果过度依赖关键的学生人口数据，如财务状况、家庭经济状况、种族、性别或文化背景， 很容易使教育机会存在的历史性结构不平等永久化。预测分析模型另一个潜在偏见是“确认偏见”，当设计预测模型的人倾向于寻找并使用信息来支持他们自己已有的想法或信念时，就会发生这种情况。在这些情况下，不能支持他们思想的信息将被忽略或丢弃，“确认偏见”既会影响选择（或未选择）的数据类型，也会影响对那些数据相关的解释。因此，“深入理解分析方法背后的假设”至关重要。
消除预测模型中偏见的一个方法就是承认它。要认识到数据的选择、模型的定义、对发现的解释，以及基于这些模型采取的行动不可避免地受到“隐性偏见”的影响。在数据上贴上预测分析标签并不能确保判断错误不会发生，也不能减轻这样一个事实，即这些偏见在多样性背景下是极其成问题的。因此，我们必须不断挑战数据的来源、假设、数据收集方法、数据的解释和使用，特别是当数据涉及代表性不足群体或少数民族群体方面时。在高等教育中，我们不仅要注重模拟结果的轨迹， 还要注重改变或破坏现有状态结果的创新方法。在继续推进数据驱动决策和预测模型分析的同时，必须牢记数据是可能有偏见的。
数据治理项目成功关键
已经有一些数据分析项目获得成功的高校总结出以下成功经验：
1.管理层支持：学校管理层是真正希望获取数据，并努力尽可能多地使用这些数据。为此，要专门成立数据治理管理机构，组织人力花时间有效地挖掘数据。
普度大学(Purdue University)的“院校研究、评估和有效性办公室”(Office of Institutional Research， Assessment and Effectiveness) 设立了几个委员会，专门负责高校数据治理政策和标准研究，甚至还设立了一个数据质量小组（data quality subcommittee），专注于寻找数据质量问题的解决方案。
2.有强大的、标准化的基础设施：数据分析需要更强大的技术架构和熟练的专业人员。
3.直观的用户界面和报告：研究用户友好的数据分析产品，使更广泛的校园工作人员参与设计和展示数据分析成为可能。当目标明确、可衡量的结果有针对性时，分析效果最佳。
4.供应商透明度：为了确保模型和算法是健全的、透明的、没有偏见的，必须密切参与或了解预测模型和算法是如何构建的。
5.持续培训：持续介绍有什么数据分析系统可用，如何使用，持续培训会提高使用数据做决策的能力。
除了确保这些因素到位之外，重要的是确保教师、员工和学生具有数据读写技能，能有效地解析数据，从而在所有领域实现性能改进。
作者：汪琼（北京大学数字化学习研究中心）
《中国教育网络》2020(10)
本网站资源由北京师范大学智慧学习研究院发布，采用 知识共享署名4.0国际许可协议进行许可。