埋点治理：从方法论到实践，打造一站式管理平台的创新功能

hwyzw

    介绍

    本文的核心内容主要集中在隐点治理的原因、隐点治理的方法论与实践、以及一站式隐点管理平台的建设与创新功能等方面。读者可以从全局的角度深入了解埋葬管理的总体思路和实践方法。所实现的埋设工具和创新功能具有较高的实用参考价值。本文作者团队遵循隐性治理的方法论，在实践中取得了优异的成果，在行业中具有突出的创新功能。未来，将持续打造数字化、智能化管理能力，持续创造更好的服务。

    01 埋点管理背景

    在今年的敏捷团队建设中，我通过Suite执行器实现了一键式自动化单元测试。除了Suite执行器之外，Juint还有哪些执行器？我的探索之旅就从这里开始了！

    1.1 埋藏数据的价值

    随着线上流量红利高峰逐渐到达瓶颈，在精细化运营、数字化智能运营的背景下，越来越多的企业开始认识到数据的重要性，并将其打造为公司的核心资产，以数据为中心驱动业务发展。作为企业内部最重要的两个来源（隐藏数据和业务数据）之一，隐藏数据的重要性不言而喻。

    埋点是一种常用的数据采集方法。基于业务需求或者产品需求，在应用页面中植入数据采集代码，监控各种用户行为事件（页面浏览、关闭、元素暴露、点击等），然后将采集到的数据上报给服务器，并服务器分别下载它们。发送到大数据平台以及搜索、推荐等各种业务系统。通过分析数据，跟踪用户行为和应用使用情况，促进产品优化或指导运营；通过实时获取用户的点击、浏览、停留等行为作为关键特征，提供给搜索、推荐、广告等系统，提高智能分发的转化和用户体验。

    埋藏数据会影响业务运营数据分析、智能推荐、AB实验的准确性，会影响数据采集团队的数据仓库结构设计和维护成本。

    1.2 行业主流埋置方式对比

    从技术层面，埋点分为代码埋点、可视埋点、无埋点/全埋点。目前国内主要第三方数据分析服务商和大公司普遍支持。代码埋藏催生了声明式埋藏、无痕埋藏、服务器端埋藏等多种埋藏方式。

    通过多个埋点的组合，可以灵活应用于不同的业务场景。例如，使用前端代码在页面上埋入元素或页面事件；在具有长调试链接的搜索和推送代码中使用服务器端埋点；将视觉埋点用于产品运营等非研发领域。

    1.3 为什么要管理隐藏数据？

    但随着业务的迭代变化，一些埋藏的数据失去了有效性。为了保证数据的质量、效率、安全、标准和易用性，需要对埋藏数据进行管理。不仅是现有数据的管理，新数据也要从源头保证正确。在嵌入式数据的生命周期中，针对各个环节制定了原则性的管理方法和具体的实施措施。稳定的治理环节是嵌入式治理的基石。

    从平台角度来看，嵌入点管理要解决的问题如下：

    质量问题：最重要的是，大多数公司数据部门发起数据治理的原因是数据质量问题。例如数据仓库的及时性、准确性、规范性，以及数据应用指标的逻辑一致性等。

    成本问题：互联网行业的数据膨胀速度非常快。大型互联网企业在大数据基础设施上花费的成本比例非常高，而且随着数据量的增加，成本将会不断上升。

    效率问题：在数据开发和数据管理的过程中，会遇到一些影响效率的问题，大部分都是通过“盲目”推人力来完成的。

    安全问题：业务部门特别关注用户数据。一旦泄露，将对业务造成巨大影响，甚至影响整个业务的生死存亡。

    标准问题：当一个公司有多个业务部门时，各个业务部门和开发团队的数据标准不一致，数据连接和集成过程中会出现很多问题。

    从业务角度来看，嵌入式治理要解决的问题如下：

    “全”隐藏数据：由于整体协助链很长，很多时候需要数据分析时，发现页面上某些功能遗漏隐藏点、产品需求没有覆盖等。

    准确的数据：在需求开发和测试阶段，重点往往是业务逻辑。对于报告等辅助异步流程，设计评估不准确。由于验证不足，可能会出现数据不准确的情况。

    “快”的埋藏数据：推荐算法主要依靠数据驱动，隐藏的数据需要及时上报和反馈，让推荐等智能应用系统能够根据用户当前的行为做出精准的策略决策。

    数据统一：智能场景往往需要多个业务线的交叉数据作为输入特征或算法画像。如果各业务线没有统一的标准规范，数据处理和计算逻辑将会复杂，迭代维护成本较高。

    埋藏数据的“长环节”：从生产到使用，埋藏数据涉及运营、产品、研发、测试、数据分析师或算法工程师等多个环节（如下图），问题沟通和排查的环节较长。

    埋点数据“历史悠久”：页面埋点随需求快速迭代更新，历史埋点设计文档缺乏统一管理，不利于长期维护。

   

    02 埋地治理实践

    了解一下，首先，MCube会根据模板缓存状态来判断是否需要从网络获取最新的模板。当获取到模板后，就会加载该模板。在加载阶段，产品将被转换为视图树的结构。转换完成后，将通过表达式引擎解析表达式并获取正确的值，通过事件解析引擎解析用户自定义事件并完成事件绑定。完成解析赋值和事件绑定后，渲染视图，最终将目标页面显示在屏幕上。

    为了解决上述问题，本文作者团队经过多次探索和总结经验，制定了一套完善的埋点管理标准体系。遵循相应制度，确保隐患点管理工作有序有效开展。

    2.1 制定全链路标准

    作者团队制定了一套涵盖数据生产到使用全链路的数据标准方法。建立了从埋点数据定义、采集、验证、指标定义到数据生命周期管理相应环节的标准化研发规范，并发布了《点埋流程标准》。

    2.2 制定埋点工艺规范

    作者团队制定了完整的报告点标准流程，并通过电子邮件通知各产研部门按照流程和标准报告数据。报告流程包括五个环节：埋点方案设计、埋点方案配置、埋点开发/测试、数据存储/服务、数据应用。每个链接必须通过必要的步骤才能继续执行。

    2.3 搭建一站式积分管理平台

    奇点管理平台是技术内统一的点位管理平台，涵盖点位数据定义、采集、生产、验证、基础指标应用、数据质量监控管理的全生命周期。实现埋点元数据统一管理、简化埋点信息查询、埋点一键上报和验证、埋点数据质量可视化跟踪。

    2.4 建立组织保障实施

    通过与数据技术产品部的合作，在两部门领导的支持下，作者团队成立了盘古埋点管理项目和埋点数据管理委员会。平台研发团队是埋藏数据采集工具的产研方。数据仓库系统是由数据技术部门搭建的，所以这两个团队是核心，这两个团队负责联合各个业务线团队共同完成项目。数据治理各方面工作和流程的保障。

    团队作为数据采集和管理的主力军，负责数据采集SDK、数据上报、清洗、存储、查询、数据管理平台。

    2.5 促进焦点和数据文化

    过去，由于缺乏数据文化，很多业务方并没有意识到标准化埋点的重要性。未能正确录入页面埋藏信息以及使用劣质采集SDK版本导致大量数据不符合标准。组织培训、传播隐性数据标准，促进数据合理规范报送也是隐性数据管理的重点工作之一。

    03 重点治理取得阶段性成果

    了解一下，首先，MCube会根据模板缓存状态来判断是否需要从网络获取最新的模板。当获取到模板后，就会加载该模板。在加载阶段，产品将被转换为视图树的结构。转换完成后，将通过表达式引擎解析表达式并获取正确的值，通过事件解析引擎解析用户自定义事件并完成事件绑定。完成解析赋值和事件绑定后，渲染视图，最终将目标页面显示在屏幕上。

    除了京东科技旗下的金融科技、京东云、数字城市等所有业务线外，笔者团队提供的数据采集服务范围还延伸至京东物流等姊妹部门。

    奇点多年来专注于金融业务，拥有多种数据安全、稳定、实时性的保障解决方案，已成为业务运营过程中不可或缺的重要环节。奇点管理平台现已集成点管理和数据分析。每个环节都有相应的埋藏数据上报查询、数据监控、数据计算、可视化展示等管理工具。

    3.1 埋点验证工具

    过去，为了验证上报的数据是否准确，测试人员需要申请数据库表权限，然后手写SQL来查询数据。为此，作者团队开发了一个验证工具，不仅可以扫码查看本机的实时数据、查看所有上报的实时数据，还可以检查上报的数据是否符合要求一键查看规格。该工具为测试人员节省了大量的时间，同时对于隐藏点管理、促进用户标准入门也起到了辅助作用。 服务器使用Lua脚本代替传统的Web服务进行并发处理，可以更快地处理请求并减少服务器资源的使用。实时数据存储在ES中，相比MYSQL数据库可以容纳更多的数据，查询速度更快。

    3.2 埋点验证工具

    作者团队在客户端数据上报、服务器数据转换、数据发送、入库等每一个环节都增加了监控，保证整个链路的数据质量。监控并定期检查和计算成功率、缓存率、数据上报丢失率、数据处理和清洗后保留率、放置率等。一旦数据浮动超过设定阈值，将自动向发送报警邮件研发人员。通过数据监控，可以及时发现数据量问题并进行高效处理，减少数据丢失，节省人力，大大提高数据质量。

    3.3 实时数据一站式仪表板

    过去，作者团队只关注重点范围内的研发业务。平台升级后，用户输入焦点信息后，可通过仪表板即时查看PV、UV、点击率等指标的实时数据。对于用户来说，省去了从各种数据库表中取出数据进行分析的步骤；对于埋点管理，不仅降低了成本，提高了效率，而且鼓励用户以标准化的方式录入页面信息，指标计算结果比各业务方自己的分析更加准确。精确的。

   

    04 奇点埋点 行业创新功能比较

    4.1 埋点可视化展示

    要查看某个页面的隐藏信息，通常会使用分页列表，详细数据需要跳转到仪表板进行浏览。这种方法虽然在页面上列出了所有埋点，但是每个埋点的输入者都是不同的。当埋点太多时，别人不知道每个埋点的具体含义。

    为此，作者团队开发了埋点可视化工具，完美解决了上述问题。只需输入页面URL，选择合适的设备尺寸，页面的哪些元素有隐藏点就会显示出来。每个坑的隐藏点ID，点击浮框就会看到暴露的数据。埋点可视化工具还支持查看实时报告的日志和汇总的实时数据。

    通过数据采集脚本—— JS SDK自动加载可视化插件，实现埋点的可视化显示。使用and（''），可以双向发送和接收埋点可视化工具和查看页面的数据，从而实时显示埋点数据和埋点。单击日志。为了减少加载SDK的页面开销，作者团队进行了优化，使得只有在可视化工具中打开页面时才会加载插件。

    4.2 H5与原生App全链路数据连接

    与京东金融等使用WEB技术开发的混合应用类似，之前H5页面和原生页面的数据是通过不同的SDK收集的。当用户在两端页面之间跳转时，数据是碎片化的，只能单独统计，无法从整体上统计分析用户行为。利用归因统计可以将两端的部分数据进行关联，但会导致数据统计不准确，不仅会增加数据分析的人力物力成本，不可靠的数据也会导致运营无法精准投放广告，从而影响最终收入；

    目前团队已经实现了H5页面与原生页面的数据集成，包括以下集成点：

    访问次数：访问次数是指用户在当前设备上的累计访问次数。在京东金融App中，用户每次重新打开或切换到后台超过2分钟，访问次数就会加1。可以根据访问次数来统计用户活跃度。

    访问顺序：访问顺序是指用户在本次访问内访问页面的顺序。 H5与原生页面对接后，页面的访问顺序是连续的，可以更准确地查看用户对页面的访问路径。

    源埋点：源埋点是指用户在上一页点击点的最后一个埋点ID。根据源埋点，可以准确定位上一页的触发点。数据连接后，即可确定当前页面的热点源。

    首次访问点：首次访问点是指用户打开App时第一次点击的点。根据首次访问点，可以定位进入某个H5或原生页面的起始点。

    上一页URL或原生页面CTP：为了准确分析用户行为轨迹，会收集上一页URL或原生页面CTP。数据连接起来后，就会形成一个闭环。即使是后退操作也会记录上一页。这样可以更好地进行路径分析、页面可达性分析和用户流失率分析。

    开放其他采集字段：为了统一口径和指标，开放的字段还包括以下字段：设备ID、手机品牌、手机型号、App名称、App版本。

    两端连接前：

    两端连接后：

    数据集成的好处是巨大的。下面是一个实际使用案例——小金库页面流量来源归因分析：

    4.3 页面ID的自动匹配和报告

    过去在统计PV时，使用访问页面的URL作为唯一标识符。需要在  管理平台中输入该 URL，然后才能进行计算。然而，这种方法有很大的缺陷。遇到以下场景时，按照哪个URL计算，边界不清晰。

    针对这个问题，作者团队提出了使用替代URL的解决方案。即业务方在将URL输入到管理平台时指定URL的哪一部分是动态的还是固定的，并生成唯一的页面ID。访问页面时，根据输入的动态规则计算当前页面的链接，找到最匹配的链接，然后上报数据，最后用于数据统计，大大提高了指标计算的准确性。

    为了保证这个方案的鲁棒性，作者团队还做了很多细节处理。例如，为了防止CDN JSON文件拉取失败，增加重试机制，在未获取文件时将上报数据缓存在本地。例如，对未匹配成功的URL进行单独标记。还有监控站点更新页面、同步生成最新的配置关系等。

    05未来规划

    在埋藏数据管理方向，团队和数据团队实施了一系列解决方案来自动管理埋藏数据。例如，对非标准数据进行标记，使数据不进入数据分析模型层；每端采用唯一的页面ID上报方式；输入信息不规范的页面会自动声明到页面站点；并向未进入页面的用户发送定向推送邮件。等方法不断提高数据质量。

    在平台能力建设方向上，首先从精细化运营的角度出发，要持续打造可视化嵌入点，并与页面活动构建平台对接，提供组件化嵌入点能力，提高嵌入点开发效率。其次，从埋点生命周期管理的角度来看，平台提供的埋点设计管理、扫码、埋点验证、埋点指示牌等系列工具应该更好地融入到流程中，提高效率生产、经营、科研等各方。协作效率。最后，从智能化建设的角度，在交通数据仪表盘上增加智能分析和智能预测能力，提高数据应用效率。以埋藏数据为基石，赋能业务场景，更好地服务和支撑公司整体数字化、智能化运营能力建设。