国网黑龙江电力以数字化示范为契机,率先利用人工智能平台识别数据深层次关系,自动形成数据中台贴源层各表之间的关系图谱,并利用算法模型发现数据异常情况,挖掘出新的数据质量核对规则,有效的提高了数据质量。
一是数据关系自动识别。基于公司数据中台贴源层数据,通过字段特征识别、数据抽样比较等算法,自动识别数据中台现有数据之间的拓扑关系,为后续数据质量比对奠定基础。
二是构建数据质量模型。设计了多套有监督及无监督数据质量算法模型,并开展了模型验证工作,通过模型自动发现数据质量疑似问题。采用了线性回归、支持向量机和决策树等模型,通过深度学习进行模型集训练,监测单字段间和字段与字段间的异常数据,降低误差。
三是对数据质量问题进行确认和完善。通过数据主人视图模块,将疑似数据质量问题直接推送至数据主人视图,并通过奖励的方式让数据主人对疑似数据质量问题进行确认,对于确认较快的数据进行额外奖励。人工智能数据治理模块上线以来,训练、拟合数据内部规律得到了数据模型9个,发现了13种数据质量核查规则,确认3.9万个数据质量问题,有效提升了公司数据质量。
1
共赴绿色未来,施耐德电气吹响“锂响中国”号角 2023-03-06
2
突发!蔚来停产! 2023-02-27
3
慧悉全站,卓效智控 施耐德电气发布全新POI 2023站控终端系列新品 2023-01-17
4
施耐德电气:直流配电加速发展,需用好“敏捷创新”的利器 2023-01-17
5
充电11分钟 车跑320公里 2022-10-31
6
重磅消息!比亚迪被曝偷换电池! 2022-07-08