快手内容冷启动：解决的问题、挑战与方案及未来展望

hwyzw

    文章主要包括四个部分：

    1. 快手的内容冷启动解决什么问题

    2.冷启动建模的挑战与解决方案

    3.未来展望

    4.问答环节

    分享嘉宾｜丘志杰 快手 内容增长推荐算法专家

    编辑整理｜段上雄

    内容校对｜李瑶

    出品社区｜

    []

    []

    首先来看一下快手冷启动要解决的问题。

    短期内，平台需确保新增视频能顺利获得流量，确保其得以发布。同时，还需确保已发布的流量具有较高的利用效率。长远而言，我们还需努力发掘更多具有潜力的新视频，为热门视频库注入新的活力，以减轻生态中的马太效应。通过提供更多优质内容，我们可以提升用户的使用体验，并促进观看时长和日活跃用户的增长。

    通过实施冷启动策略，旨在激发UGC创作者获取一定的互动反馈以激励其创作热情，进而保障生产者群体的稳定。在此过程中，存在两个限制因素：一是整体探索成本，要求流量成本在大数据环境中保持相对稳定；二是我们仅对处于低vv阶段的新视频进行干预。那么，在上述限制条件下，我们该如何实现整体收益的最大化呢？

    视频的冷启动分发对其发展潜力至关重要，尤其是当内容与目标受众兴趣不符时，将带来双重后果。首先，创作者的进步将受到阻碍，由于长期缺乏有效的互动和流量激励，其创作方向和投稿热情可能会发生转变。第二个原因在于，初期流量缺乏有效的互动率，系统便会将其视为质量不高的内容，因此长期难以获得充足的流量支持，进而导致其无法实现成长。

    持续如此，生态环境将面临较为恶劣的状况。以某地特色美食为例，必然存在一个与之最为契合的目标受众群体A，他们的参与度普遍较高。然而，对于另一群与之毫不相干的人群C，在向他们推广时，往往需要精心筛选，其参与度可能极低。当然，存在第三类群体B，他们拥有极其广泛的兴趣领域；尽管这类群体的规模颇为庞大，然而，总体来看，他们的参与度相对较低。

    若能及早接触目标受众A并提高内容初期互动，便能引发自然流量的有效传播。然而，若过早将流量导向C群体或B群体，将使得整体参与度下降，进而阻碍其发展。简言之，提高冷启动分发效率是促进内容增长的关键路径。为了提升内容启动的效率，我们将设立一系列中间阶段的评估指标以及最终的长期目标。

    过程指标主要涵盖两大类，首先涉及新视频的观看表现，这其中包括了流量和互动的比率；其次则是出坡指标，它又细分为探索、利用和生态三个方面。在探索方面，重点在于确保优质新视频不被遗漏，主要关注曝光量超过0次以及超过100次的一些视频数量的增长情况。至于利用方面，则是观察那些热门且质量上乘的新视频，其高VV出坡视频数量的增长趋势。而在生态方面，主要关注热门视频池中优质与普通视频的比例。从长远角度考量，鉴于这种变化是由生态效应引发的持续演变，因此我们计划在量化分析方面，通过实施长期性的组合实验（Combo实验），细致监测并分析一系列关键指标的发展动向，诸如应用使用时长、作者日活跃用户数以及整体市场日活跃用户数。

    02

    冷启动建模的挑战与解决方案

    总体而言，内容冷启动面临三大挑战。首先，内容冷启动的样本区域与实际求解区域存在显著分歧。其次，样本数据极为稀疏，这会引发学习的不精确性，偏差极大，尤其在曝光偏差方面更显劣势。再者，视频成长价值的建模存在难题，这亦是我们在计划中正努力推进的工作。本次讲座将着重阐述前两个问题。

   

    1.样本空间远小于真实求解空间的问题

    在处理内容冷启动优化这一问题时，样本空间往往小于求解空间，这一现象尤为显著。尤其是针对内容冷启动的推荐环节，我们需要着力提高索引内容的触达率，从而让更多的视频内容得以展现。

    在解决这一问题的过程中，我们认识到，提升召回阶段视频的覆盖面和展现效果尤为关键。针对冷启动视频的召回效率问题，行业普遍采取的策略有：一是基于属性的倒排技术，二是运用语义相似度的召回手段，三是构建基于双塔模型和泛化特征的召回模型，四是借鉴CB2CF方法，通过行为空间与内容空间的映射来实现。

    本次讲座将着重探讨两种颇具特色的创新技术，它们分别是依托图熵自增强机制的异构图网络模型以及基于I2U理论的星河模型。在技术路线的选择上，我们起初采用了图神经网络（GNN）作为内容推荐领域冷启动的U2I基础模型。这是因为GNN本质上是一种归纳学习的方法，它对新增节点的处理表现出极高的友好性，并赋予了模型更大的灵活性。此外，在GNN模型中，通过增加属性节点数量，成为提升冷启动内容覆盖范围的关键策略。在具体实施上，我们采用了用户节点、节点以及物品节点，实现了信息的有效整合。引入这类泛化属性节点之后，新内容的整体覆盖效果得到了显著提高。然而，那些泛化能力过强的中间节点，比如tag类别，可能会使得视频的感知范围缺乏个性化，进而带来过于流畅的风险。通过案例分析，我们发现，对于一些偏好观看羽毛球视频的用户来说，当前基于GNN的刻画方法往往难以有效区分羽毛球视频与其他如乒乓球、足球等类型的视频。

    为了克服在图神经网络建模阶段因过多泛化信息导致泛化能力过强的问题，我们采取了以下策略：首先，我们计划采纳一种更为精细化的邻近节点描述方法；其次，在图神经网络中，我们将融入语义自增强的边连接机制。观察右下角的图表，我们计划针对冷门视频，探寻其在热门领域内的相似热门视频。随后，这些热门相似视频将成为冷启连边的起始点。在实施聚合操作时，我们将遵循图熵递减的原则，对自增强边进行构建与筛选。具体的选择策略可从公式中窥见，主要依据的是上述连边邻居节点与当前节点信息的详细描述。两个节点越相似，它们所携带的信息熵就越低。在这些节点中，分母所指的是邻居节点所覆盖的整体感知范围，这同样可以理解为，在筛选过程中，我们倾向于找到那些感知欲望较为强烈的邻居节点。

    在实施过程中，我们采纳了两种策略：首先，将相似视频的特征域与item id的特征域置于同一空间；其次，自增强节点仅保留热门视频，以排除因学习不充分而产生的噪声节点。通过这一改进，模型在保持泛化性充分的前提下，显著增强了个性化水平，同时实现了离线与在线效果的同步提升。

    这种方法实际上都是基于用户到内容的视角来构建模型，以增强内容的传播效果，然而，它们并不能从根本上解决视频内容难以触达的问题。

    若转换思考角度，以item为出发点去寻找目标受众，或者说切换至I2U的观察视角，从理论上讲，每段视频都具备吸引流量的潜力。

    具体操作涉及训练一个I2U检索系统，该系统能够动态地为各视频定位目标受众。依托I2U的编排方式，反向构建U2I的逆索引，最终依据用户的即时查询，输出item列表，形成冷启动推荐清单。

    关键在于培养一个I2U的查询系统，而我们推出的首个版本采用的是一种双塔架构的模型。在实施过程中，为了解决用户分布过于集中的问题，我们决定不再使用uid，转而采用list和self-方法，以此有效减轻用户聚集现象；同时，为了减少在学习过程中由item-id引发的曝光偏差，我们决定放弃使用item-id，转而引入更多的语义向量、类别、标签等泛化特征，以此有效缓解item-id的聚集问题。从用户的角度出发，引入此类损失函数，并实施批次内的负样本抽取，从而更有效地缓解用户数据过于集中的现象。

    我们的首版实践是基于双塔的I2U模型，但在实施过程中，我们发现了若干问题。首先，双塔模型在user与item的交互上存在一定的局限性，这导致了整体检索精度的受限。此外，我们还遇到了兴趣集中度的问题，即用户身上挂载的内容往往兴趣点过于集中，而实际上用户的兴趣分布是呈现多峰形态的。我们注意到用户分布存在不均衡的现象，多数冷启动视频被少数头部用户所使用，这一现象并不恰当，毕竟这些头部用户每天所能消耗的内容资源也是有限的。

    针对上述三个问题，我们提出了采用TDM建模以及TDM分层检索的新策略。首先，TDM技术能够引入更为丰富的用户与物品交互模式，从而突破了传统双塔模型在交互方面的局限。其次，借鉴DIN模型的做法，可以降低对单一兴趣点的依赖。再者，在TDM中实施分层检索，能够有效减轻用户集中挂载的问题。

    此外，我们提出了一个较为有效的优化策略，即在父节点上引入子节点的聚合表示，以此提升父节点的特征泛化能力和辨别精确度。具体做法是将子节点以某种方式汇总至父节点，这种逐层传递的方式使得中间节点亦具备一定的语义泛化能力。

    在I2U模型的基础上，我们于系统实践阶段额外加入了U2U兴趣拓展功能，该模块能够促使冷启动视频在特定用户表现优异时，实现迅速的传播。

    与当前行业U2U的某些做法有相似之处，然而，本地的U2U兴趣拓展模块在三个方面展现出显著优势：首先，TDM树结构相对稳定，其次，引入此类U2U模块能更有效地反映用户的即时喜好。此外，借助这种实时兴趣的传播机制，我们能够超越模型的固有局限；通过用户的互动协作，能够迅速推广内容；这有助于丰富内容的多样性；并且，最终还能提高星河召回的整体覆盖范围；这些便是我们在实际操作中探索出的优化策略。

   

    总体而言，借助这些方案，我们成功解决了内容冷启动过程中样本空间与真实求解空间存在的不匹配问题，显著提高了冷启动的触达率和覆盖范围。

    2.冷启动样本稀疏学习不准确与偏差大

    接下来，我们将探讨内容冷启动样本稀疏性引发的学习不准确和偏差较大的问题，这无疑是面临的最大挑战。该问题的核心在于交互行为的稀疏性，我们将这一问题细分为三个主要方向进行深入分析。

    样本曝光不足，尤其是冷启动阶段，使得item id的学习不够全面，进而影响了最终的透出和推荐效果。此外，早期分发的失误导致收集到的label存在较高的不确定性，置信度较低。再者，在未进行纠偏的情况下，当前的训练模式会将热度信息纳入item之中，这可能导致冷启动视频被低估，进而影响其分发。

    我们针对此问题采取了四个主要策略。首先，我们关注泛化，即从普遍特征出发进行模型构建与优化。其次，我们探讨迁移学习，旨在将冷门与热门视频视为不同领域，通过将热门视频领域或全面信息领域的知识有效转移，以促进冷门视频的学习。我们致力于引入探索与利用的理念，旨在建模初期即便标签存在误差，也能融入探索精神，以此减轻冷启动阶段因不置信标签而产生的消极影响。当前，热度纠偏成为研究热点，我们主要运用门控机制和正则化损失函数对热度信息的运用进行规范。

    下面具体介绍我们的工作。

    首先，泛化是处理冷启动问题的一种常见且广泛采用的方法。然而，在实际操作中，我们发现相较于标签和类别，融入一定的语义信息或许能起到积极作用。然而，若直接将语义型特征纳入其中，其对整体效果的提升实际上相当有限。鉴于视频的语义领域与行为领域固有不同，我们是否能够利用视频语义中的共性数据，来获取新视频在行为领域内的一个近似描述，进而利用这种推广后的信息进行辅助。实际上，我们之前已提及过一些方法，比如CB2CF这一思路，它能够将推广后的信息与实际行为领域进行映射学习。我们并未如此操作，在实际操作中，我们会依据视频的语义向量，搜寻与“item”相仿的“item list”。这一过程首先会与用户的长短期兴趣行为在同一行为空间内进行匹配，同时，我们还会对“item list”进行汇总，进而模拟出候选视频在该行为空间中的具体表征。实际上，此方法与之前所讨论的图召回过程中采纳与候选项目相似边的信息的方法有着密切的联系；此方法所取得的成效显著，具体表现在离线AUC指标上提升了0.35个百分点。

    第二个方面是关于探索，新视频在初期分发时若不准确，将导致后续CTR的平均值下降。这种平均值下降又会使模型误判视频质量可能不佳，从而限制了冷启动内容探索的深度。那么，我们是否可以构建一个模型来处理PCTR的不确定性，以此减缓在冷启动阶段对标签的过度依赖和盲目信任。我们试图将单次请求的点击率预估转化为基于 Beta 分布的预估，并在实际应用中同时考虑期望和方差。在实施过程中，我们会对 Beta 分布的参数 α 和 β 进行预测，并在损失函数的设计中，预测值与真实标签的均方差的期望值。通过展开期望值，我们发现需要计算出预估值平方的期望值以及预估值的期望值。这两个值，我们可以通过预先估算出的 α 和 β 来准确计算出，这样一来，loss 就被产生了。随后，我们便可以着手训练 Beta 分布，并在其预估值中添加队列平衡的探索与利用策略。实际上，在低阶vv阶段，运用 Beta 的 loss 在 AUC 上确实带来了一定的提升，尽管这种提升并不算特别显著。然而，通过在线应用贝塔分布，我们实现了在整体动作率保持不变的前提下，将0vv内容的有效透出率提升了22%。

    接下来，我们将探讨一种对偶域迁移学习框架。其核心观点在于，冷启动内容往往呈现出显著倾斜的长尾分布特征，并且在流行性偏见中处于不利地位。若仅依赖冷启动样本，虽能在一定程度上减轻流行性偏差，却会丧失众多用户兴趣，进而导致整体精度有所降低。

    我们目前所进行的一些探索，主要涉及对高热样本进行欠采样处理，或是采用逆频率加权法，亦或是利用泛化特征方法，以加强冷启动样本的学习效果。然而，这些方法往往未能充分注意到，在冷启动初期，行为样本与热门视频在行为空间中存在着一种本质上的相似性。

    因此，在设计阶段，我们将全面样本与冷启动样本划分为两个独立区域，即图中所示的全量区域与冷启动区域。全量区域适用于所有样本，而冷启动区域仅对满足冷启动条件的样本产生作用。随后，我们引入了包含冷热知识迁移的双向模块。具体而言，我们将对用户和物品分别进行建模，通过从全局样本塔到冷启动样本塔的网络映射，从而在模型层面上捕捉到隐含的数据增强，以此提升冷启动视频的表现力。在物品这一侧，我们将保留所有冷启动样本的完整数据，同时，还会针对部分热门视频，依据其曝光量进行抽样，以确保冷热数据分布的相似性。通过这样的措施，我们最终能够保证整个映射过程中的知识迁移得以顺畅进行。

    此外，我们增设了一种独特的对称性流行度调控机制，纳入了若干流行度相关特性，以此辅助实现冷热视频领域的配比融合。一方面，针对新视频，在各个生命周期阶段，其冷启动表达利用率的配比能够得到有效训练与分配。另一方面，在用户层面，我们还掌握了不同活跃用户对冷启动视频的敏感度信息。在实施过程中，无论是在低vv阶段还是在AUC方面，离线效果均有所增强。

    最后，我要提及一项纠偏工作，即热度纠偏工作。在推荐系统中，常常会出现热度偏差的问题，总体上表现为热门产品的狂欢现象。目前模型所追求的是全局点击率（CTR）的最大化，推荐热门内容可能会使得整体损失降低，然而，这也可能导致将过多的热度信息嵌入到商品中，进而使得热门视频被过分高估。

    一些现有的方法过于执着于进行无偏差的预测，然而这实际上也可能导致消费上的损失。因此，我们是否可以尝试将某些项目在热度数据和实际兴趣数据之间进行分离，并有效地将这两类信息进行在线整合，这或许是一种更为恰当的策略。在具体的实施过程中，我们借鉴了同行的某些做法。

    关键在于涉及两个核心模块，首先是对输入内容的温度与兴趣进行正交限制，例如针对item id、id等特征进行操作，从而产生两个不同的表征，其中一个是热度表征，另一个则是真实兴趣表征；在求解过程中，还需实施一种正则约束。第二个方面，我们将生成某些项目的纯热度数据，并将其作为视频的纯热度指标。这个纯热度指标会与视频的实际热度指标进行相似性限制，从而获得之前提到的热度指标和兴趣指标。其中，热度指标负责呈现热度信息，而兴趣指标则负责传达兴趣信息。最终，我们将基于这两个指标，在线结合一个有偏估计和无偏估计的序列，通过乘法公式进行融合处理。

    03

    未来展望