近两年来,我频繁遇到一个类似场景。
某企业投入数百万元开展数据治理,制定了标准、搭建了平台、清洗了历史数据。项目验收会上,演示材料显示:数据完整率从62%提升至96%,一致率从71%提升至94%,还获得了一项行业奖项。
半年后回访时,业务部门反馈:“数据仍然不准确,我们还是用Excel手动处理。”
问题究竟出在哪里?
若仅从质量指标看,该项目堪称成功。但换个视角审视——那些干净的数据存储在数仓第三层。业务部门要获取它们,需要提交工单、等待排期、经过两个部门审批。等数据到手时,那场促销活动早已结束。
质量高、距离远、时间已过。三个变量中,只有一个被认真对待。
数据的价值,并非其本身固有的属性。
它由质量、距离、时间三个变量共同决定。我称支配这些变量的规则为数据的三大定律。
你是否思考过:你当前处理的数据,早已不是最初那份数据。
给数据添加版本、年龄、生命周期,你会发现它会老化、分裂、被复制、被改写。一份数据从诞生起,只要开始流转,就不再是原来的它。
这就是数据惯性定律:低质量数据一旦进入流通环节,其影响不可回溯,也无法避免。后续的清洗、建模,只是在为最初的那次“偷懒”反复买单。
我常将数据质量比作分娩。生产时多花些力气,得到一个健康的孩子,远比事后一点点弥补要划算成千上万倍。
用公式表示,质量变量Q ∈ [0, 1],衡量数据的**“出生即健康”**程度。其特性为:源头污染是不可逆折损。这是一个只能下降、难以提升的变量。
该定律破除的误区是:“事后能洗干净”。
典型症状是:同一字段反复清洗,始终无法彻底净化;每次治理项目结束,半年后问题重现。因为污染源未动,你只是在下游不断稀释。
行动指向:将治理动作前置到业务源头,而非入湖那一刻。 字段在哪个系统首次被录入,治理就应发生在那里。
数据越集中越值钱?
恰恰相反——离业务越远,它就越不值钱。
数据每远离业务现场一层,价值就衰减一次。公式为V(d) = V₀ · e^(−λd):V₀是数据在业务现场产生瞬间的价值,d是距业务现场的层级数(业务系统 → 采集 → 清洗 → 建模 → 报表 → 决策),λ是语境衰减系数。
为何会衰减?因为通用性和价值,天生互斥。
你将其抽取得越干净、越通用,它赖以值钱的业务语境流失得越多。当它被抽象到彻底脱离业务语境时,保留的是形态,流失的是意义。
该定律有四条推论,每条都能在企业中找到对应物。
推论一,中台悖论。 数据中台为复用而生,但复用度最高的一层,单点价值最低。这是设计目标决定的,并非实施不到位。
推论二,口径僵化。 离业务越远的口径,越没人敢改,也越没人敢用。最终变成一份谁都能背、但谁都不信的数字。
推论三,成本放大。 在下游补救数据质量的成本,等于在上游省下的成本乘以经过的环节数。这与第一条定律是同一件事的两面。
推论四,最后一公里。 数据九成的价值,只产生在回到业务动作的最后那一公里。
行动指向:将指标定义权还给业务。 不是让业务评审IT的指标,而是让业务自行定义、修改、承担责任。
数据越新越值钱?
错。它有两个黄金期。
公式为V(t) = A · e^(−αt) + B · (1 − e^(−βt)),两项相加,形成双峰。
第一个高峰在产生瞬间——那时它能改变结果。决策窗口一关,价值断崖式下跌,α是业务节奏,节奏越快,衰减越猛。一个实时风控模型,若算出结果时交易已完成,其准确率再高也无意义。
第二个高峰在足够久之后——当积累足够长的历史,它又能用于建模、归因、判断趋势,价值二次上升。β是历史厚度,厚度达到何种程度能释放价值,取决于要回答的问题。
麻烦的是中间那段。既不新鲜,也不够老——这就是价值的断层带。
多数企业的数仓中,80%的存储成本,压在这段价值最低的数据上。
这是最常见、也最不易被发现的浪费。
还有一条易被忽略的推论,我称之为连续性溢价:历史数据的价值在于“连续”。断掉一年的历史,损失远不止1/N,因为规律推断直接失效——你无法用有缺口的序列判断周期。
行动指向:分层存储不应仅按“访问频率”设计,应按时间价值曲线设计。 此外,三件事现在可做:实时化投入先看决策窗口长度,只有窗口以分钟计的业务才值得做秒级链路;归档策略要保留低成本但可回热的复活通道;别为节省存储费删除历史,那是最昂贵的省钱方式。
将三条定律合并,数据的价值函数为:
V = Q × D × T
展开为V(d, t) = Q · V₀ · e^(−λd) · [A·e^(−αt) + B·(1−e^(−βt))]。
请注意中间的符号:是乘号,不是加号。这一点至关重要。
若是加法,可用一项的长板弥补另一项的短板。但乘法不行。
质量再好,离业务太远,价值仍趋近于零——一份完美干净却躺在数仓三层之外的表,无人使用,价值为零。距离再近,过了决策窗口,价值归零——实时计算再准确,等结果出来,促销已结束。既不脏也不远,但卡在断层带,价值最低——这条最隐蔽,也最烧钱。
由此得出一个令人不适的推论:数据治理不能“单点突破”。
许多团队的失败正在于此。他们将质量治理做到90分,但数据离业务三个层级,Q = 0.9,D = 0.1,乘积仅为0.09。投入产出比极差,从而得出“数据治理无用”的结论。
这其实是最小因子定律(李比希定律)在数据领域的映射:三个变量中最低的那个,决定整体价值的上限。向另外两个变量投入资金,天花板不会移动。
四条实操建议,按顺序执行。
第一,先诊断,别先立项。 为Q / D / T三个变量分别打分,找出团队当前最低的那个。此步耗时不超过两周,但能节省一年预算。
第二,最低的那个,就是当下唯一值得投入的方向。 不是“重点投入”,而是“唯一”。其他两个维持不恶化即可。
第三,不要同时铺开三个变量。 那等于将预算摊薄在三张桌子上,每张桌子都不够用。
第四,每半年重新诊断一次。 因为最低的变量会变化。质量补上来后,距离往往成为新瓶颈——这其实是好事,说明前一阶段做对了。
三条定律速查,建议保存:
(图片链接)
讲了三条定律,其实说的是同一件事:数据的价值,从来不是它本身固有的。
它是质量、距离、时间三个变量的函数。而治理的全部工作,就是让这三个变量同时朝有利方向移动。
回到开头那家企业。问题不在于不舍得投入,而在于只投入了三个变量中的一个,然后期待整体价值翻三倍。乘法世界里没有这种好事。
所以下次再有人问“数据治理到底有没有用”,我建议先反问一句:你团队现在最低的那个变量,是哪个?
答不上来,说明还没开始。
你所在的团队,三个变量中最低的是哪一个?欢迎在评论区讨论。
附:这三条定律,我各录制了一段约40秒的口播版,已发在视频号上。想快速了解的可去那边听;想看推导和落地动作的,本文已涵盖。
本文来自微信公众号“数据驱动智能”(ID:Data_0101),作者:王建峰,36氪经授权发布。在使用开云平台进行数据管理时,上述定律同样适用。