企业数据质量成AI落地瓶颈,80%项目因数据问题失败

在经历了数年的技术狂飙突进后,人工智能产业正进入一个全新的发展阶段。从2023年到2025年,企业主要关注点是探索AI技术的可能性;然而到了2026年,决策层的关注焦点已经转向了更为实际的问题:如何确...

互联网/IT

在经历了数年的技术狂飙突进后,人工智能产业正进入一个全新的发展阶段。从2023年到2025年,企业主要关注点是探索AI技术的可能性;然而到了2026年,决策层的关注焦点已经转向了更为实际的问题:如何确保AI系统的输出准确可靠?这一转变凸显了一个核心事实——AI的成功不再取决于模型本身的复杂度,而是依赖于支撑它的数据质量。

根据Gartner的预测,到2025年,80%的数据和分析项目将无法在规模化层面实现商业价值,主要原因集中在数据孤岛和数据质量低下这两个方面。这种预测虽然显得悲观,但与当前企业在部署AI项目时遇到的实际困境高度吻合。尽管AI模型已经训练完成,推理框架也已搭建就绪,但当它们接入企业的实时内部数据时,系统性缺陷便暴露无遗。

Denodo全球销售副总裁兼大中华区总裁何伟(He Wei)分享了一个典型案例。一家大型汽车制造商尝试启动一个基于AI的对话式数据分析项目。该公司使用的是顶级云服务商提供的单一数据仓库,理论上应该能够提供干净、统一的数据源。然而,在实际测试中,相同的查询请求却得到了完全矛盾的结果。这一现象揭示了一个关键问题:即使数据被集中存储在一个看似整洁的平台上,但如果缺乏有效的治理和清洗,其内在的质量仍然可能严重受损。

图片

这种数据质量问题不仅限于单一案例。许多企业在推进AI项目时都面临着类似的困境。一方面,数据分散在不同的部门和系统中,形成了难以跨越的"数据孤岛";另一方面,即使数据被整合到一起,由于历史遗留问题、格式不一致或缺乏标准化处理,数据质量往往难以满足AI模型的要求。这些问题导致AI系统的输出不可靠,甚至可能引发错误的商业决策。

专家指出,解决这一问题的关键在于建立全面的数据治理框架。这包括数据质量管理、元数据管理、数据血缘追踪等多个维度。只有当企业能够确保数据的准确性、完整性和一致性时,AI系统才能真正发挥其潜力。此外,还需要投入资源进行数据清洗和预处理,以消除噪声和异常值,为AI模型提供高质量的输入。

对于企业而言,这意味着需要重新审视现有的IT基础设施和数据管理流程。传统的数据仓库架构可能需要升级为更灵活的数据湖或数据平台,以支持多样化的数据类型和快速变化的业务需求。同时,企业还需要培养数据驱动的文化,让各个部门都能够意识到数据质量的重要性,并参与到数据治理的过程中来。

总的来说,虽然AI技术本身已经取得了显著进展,但要实现真正的商业价值,企业必须克服数据质量这一最后也是最艰难的障碍。这不仅是技术层面的挑战,更是组织变革和文化转型的过程。只有当企业能够建立起高质量的数据基础时,AI才能真正成为推动业务增长的新引擎。