打开黑匣子：解密 Moloco 机器学习，聚合数据力量

摘要：2024 ChinaJoy Moloco 主题研讨会 Tal 演讲实录

在 Moloco 【Moloco Machine Learning】“开放互联网时代的出海领航者”主题研讨会上，Moloco 机器学习首席研究员 Tal Shaked 及其工程师团队深度剖析了 Moloco 机器学习三大核心支柱，展示 Moloco 先进机器学习算法如何以数据驱动广告主实现增长，帮助更多企业实现高质量增长。

“在 Moloco，我们致力于探索机器学习在推动企业增长方面的无限可能。数据、模型与基础架构共同构成了 Moloco 机器学习的三大核心支柱，三者相辅相成，共同驱动着我们在数字营销领域的持续创新与卓越表现。”

以下为演讲实录：

大家好！我是 Tal，现任 Moloco 机器学习首席研究员。首先想和大家分享一下我的职业背景。在转型为软件工程师之前，我曾是一名国际象棋专业选手。1997 年“深蓝”计算机在国际象棋领域的卓越表现不仅震撼了世界，也激发了我对机器学习领域的浓厚兴趣。毕业后在父母的鼓励下，我踏上了新的职业探索之路，而在计算机科学的学习进一步点燃了我对机器学习的热情。随后，我有幸加入 Google，在那里深入学习了与机器学习相关的知识，同时参与了搭建相关架构，并亲身实践了如何利用机器学习优化移动广告的效果表现。之后，我在 Snowflake 和 Lyft 等公司继续深化机器学习应用，但我逐渐发现许多公司尚未能充分挖掘机器学习的潜力。这一现状促使我加入 Moloco，旨在将我积累的机器学习知识转化为实践，助力企业实现创收与增长。

在 Moloco，我们致力于探索机器学习在推动企业增长方面的无限可能。过去机器学习被视为高门槛的技术，但如今，随着大量开源技术的涌现和云端计算能力的普及，这一领域已逐渐变得开放和易于接入。同时，全球范围内汇聚了众多如 Ikkjin 这样对机器学习充满热情的优秀人才，他们的智慧与努力为这一技术的广泛应用奠定了坚实基础。Moloco 之所以能够在机器学习领域取得显著成就，离不开我们所招募的杰出人才。我们坚信，构建卓越的机器学习系统不仅需要顶尖的工程师，还需要数据分析师、硬件专家和软件工程师等多元化人才的紧密合作。正是这样一支卓越的团队，让我对 Moloco 的未来充满了无限期待。

关于机器学习的大规模应用推进，Moloco 聚焦于三大领域：电商、移动端及流媒体，这意味着我们需为这些领域量身打造多样化的模型。部分模型涉及数十亿参数的训练，要在几秒乃至20毫秒内迅速作出精准预测。为此，我们构建了坚实的基础设施，为这些模型的孕育与成长提供肥沃土壤。目前，我们已储备了丰富的模型资源，并通过集成这些模型，在优化广告质量以及其他关键指标上，为客户带来显著的效果提升。将众多先进模型融合以解决复杂商业问题，这一过程犹如指挥一场交响乐。想象每个模型都是一位经过数年磨砺的乐手，各自擅长某种乐器。当这些模型开始协同工作，通力达成优化回收率、下载量等关键指标时，就如同组建了一支强大的乐队。这正是我对先进机器学习技术充满热情的原因所在——我们持续升级与优化模型，以应对更多挑战；同时，通过模型间的紧密协作，为医疗、金融等各行各业创造前所未有的机遇。

机器学习作为数据处理的终极程序，通过深度挖掘数据内在规律与潜在特征，赋予系统预测能力。随着数据量的不断累积与时间的推移，模型性能亦随之提升。在座的嘉宾或许已有所体验，机器学习正成为推动广告程序化投放不可或缺的关键要素之一。

机器学习流程的三个核心环节分别是：模型输入（Input）、中间的黑匣子（智能决策引擎 Intelligent Decision Engine）、模型输出（Output）。具体而言，模型输入涵盖了用户位置、设备型号、竞价请求趋势及用户个性化特征等关键信息；智能决策引擎则在此基础上，通过无数次迭代优化，精准识别高价值用户，增强市场竞争力。一旦数据被输入，机器学习模型便即刻启动，于毫秒之间完成复杂计算，这包括评估展示机会胜率、设定竞价策略、预测用户安装应用或产生应用内行为的概率，乃至估算潜在营收。

值得注意的是，尽管机器学习应用广泛，但其内涵与层级却不尽相同。如图所示，三个圆圈中最外面的是人工智能，中间的是机器学习，最里面的是应用型的机器学习。他们的区别在于人工智能是一类概念，它是让计算机模仿人类的思维来执行一定的决策。中间的机器学习是一类算法，它通过在数据中寻找规律，并且通过自身的经验来做出决策。这里面应用型的机器学习则是端到端的解决方案，它基于机器学习，但是不只是机器学习，也融合了其他专业领域的知识，比如说像一些业务逻辑。所以，对于广告商来说怎样区分机器学习技术背后的意义和领域，如何识别这些技术来达到特定的业务目标，这是一个很大的挑战。

应用型机器学习的不同之处有以下几点：首先应用型机器学习是全自动化解决方案，它可以自己不断地去演化，提高自己的能力适应最新的数据；其次它可以做实时预测；同时它在超大规模上运行；最后其深耕一隅，具有非常深厚的专业知识。可以看得出来，应用型机器学习是一个非常复杂的工程，但对于能够掌握这项技术的人来说，其可以带来巨大价值。

提到机器学习，很多人第一时间想到的是复杂的数学公式，特别高精尖的机器学习的算法。但是实际上要构筑一个实用的应用机器学习的系统，不仅仅是构建算法这么简单。机器学习的核心三大支柱包含：用于训练模型的高质量的数据、准确预测的机器学习模型本身、支撑模型训练和预测的基础架构。三者相辅相成，正如建筑材料、摩天大楼和坚实地基之间的关系，共同构筑起强大的机器学习应用体系。

（一）数据（Data）

在探讨机器学习设计的核心要义时，应深刻认识到，机器学习模型的效能上限直接受限于训练数据的质量。模型与数据之间的关系，恰如建筑之构造与其所用材质之紧密关联：唯有卓越的设计理念与优质材料的完美结合，方能筑就坚固耐用、经得起时间考验的建筑。同理，在机器学习领域，高质量的训练数据是确保模型效果卓越、预测准确的关键所在。

模型使用到的数据涉及很多类型，包括未归因或归因的回传数据、一些广告营销活动本身属性的数据和竞标发生时的上下文的数据，我们的模型可以做到每一个小时更新一次，这样确保模型能对最新的数据做出响应，然后找出最新的变化。我们的模型还会接受实时的性能监测和定期测试，来确保它一直能够稳定地高效运转。具体来说支持模型的三类数据包括：

• 回传数据，包括您在 Moloco 产生的归因和未归因的数据，它主要是一种用户的行为数据，比如说用户有没有安装，有没有购买，包括他产生了多少利润；
• 广告营销活动本身的数据，包括历史性能趋势，历史的竞标价和竞标数量；
• 环境数据，或是上下文的数据，它描述了在竞标发生的这一刻的环境是什么，比如说发生的这一天是星期天还是周日，用的高端手机还是什么样的手机，还有包括地理位置信息。

如何最大化发挥数据的作用，来保证机器学习达到最佳的效果。我们从以下三方面来不断优化：

• 确保更多的数据量。要给模型更多的时间收集 campaign 的数据，并且尽量让各位客户给我们开放他们未归因和自然安装的数据。如下图所示，这个倒三角的漏斗中可以看到从广告展示、广告点击和广告应用安装和应用类的行为，越往下数据是越稀疏的。您的优化目标越靠近底部，开放一手数据对您的价值也就越大。
• 保证数据的多样性。我们不光是会利用您的 campaign 数据，也是会利用其他的环境数据。
• 避免人为干预，确保数据的客观性。这包括了尽量避免手动设置 campaign 目标，类似设置年龄性别的一些性质。我们希望利用自动化的能力让机器学习识别高价值的广告用户。

目前 95% 的客户已和我们分享未归因的数据，并且他们从分享的未归因的数据中看到持续升高的效果。剩下 5% 的公司因为公司内部和政策法规的原因未和我们分享未归因的数据，他们通常只进行 CPI 的广告投放。相比较归因数据，如果您分享了未归因的数据，我们的模型就会有更多的机会和数据量去挖掘潜在的用户特征或者是广告营销的特征，这也给了我们模型更多的学习机会，从而更好地提高您的 ROI。

（二）模型（Models）

数据作为构建体系的基石，其重要性不言而喻，而在此之上，模型与基础架构构成了支撑整个体系的两大支柱。模型，通过训练数据赋予其预测能力，旨在优化投资回报率。具体而言，该模型针对您的 campaign 进行多维度预测：一是用户行为预测，如用户是否会下载 App；二是用户行为深化预测，包括下载后是否充值及充值金额；三是精准竞价策略制定，鉴于当前市场普遍采用低价竞标策略，模型需持续评估用户价值，精准估算竞标成本，力求以略高于次优报价的微小优势胜出，实现 ROI 最大化。此外，预算管理亦为核心环节。以周为单位的 campaign 周期内，我们确保预算分配既智能又高效，避免初期过度消耗导致后期资金短缺，或初期保守而末期集中支出的不均衡现象，从而维持预算使用的稳定节奏。

在模型优势方面，我们采用的是深度学习技术，构建了一个超大规模的模型，内含数十亿参数。相较于业界常见的小规模机器学习模型（往往仅数百万参数），我们的模型凭借更多的参数展现出更强的性能。因此，我们的模型能够更全面地捕捉数据特征，为精准预测与决策奠定坚实基础。

（三）基础架构（Infrastructure）

Moloco 的卓越表现，不仅根植于数据与先进模型的深度融合，更离不开其坚实稳固的架构支撑，该架构作为核心基础，承载着所有数据与模型的运行。这一精心构建的架构在业界赢得了广泛赞誉，尤其是在 2021 年与 2023 年，Moloco 很荣幸地获得了Google Cloud 的认证与奖项，彰显了作为该平台成功应用典范的地位。

Moloco 基础架构主要有以下三个特点：

• 大规模机器学习引擎。作为核心驱动力，该引擎支持处理每秒高达 700 万次的广告竞价请求，并在 10 毫秒内完成精准预测。这一速度，相较于人类眨眼所需的 100 毫秒，展现了我们在瞬间为数百万用户匹配潜在兴趣产品的强大能力。此外，为确保系统稳定运行，我们还配备了多重架构保障，以维护实施的可靠性。
• 全球工程师团队与 24 小时运维机制，这是 Moloco 应对挑战、保障服务连续性的坚实后盾。我们的工程师遍布全球，实行轮班制度，确保能够实时分析模型性能波动，并迅速响应各类突发事件，为系统稳定保驾护航。
• 全方位的性能监控体系，系统内嵌有成千上万的监测程序与指标，这些“哨兵”实时捕捉模型性能与系统健康状态的变化。一旦监测到异常，系统将立即触发警报，通知我们的 24 小时值班团队，从而迅速介入处理，确保架构持续支撑大规模机器学习的需求。

综上所述，数据、模型与基础架构共同构成了 Moloco 机器学习的三大核心支柱，三者相辅相成，共同驱动着我们在数字营销领域的持续创新与卓越表现。

关于Moloco

Moloco 致力于通过实时机器学习赋能各规模企业增长。开发者和电商平台可通过 Moloco 机器学习平台盘活一手数据，了解公司业务表现，促进业绩增长。Moloco Ads 助力市场营销人员快速扩大获客规模，并通过经过市场检验的预测模型实现更大的用户生命周期价值。Moloco Commerce Media 致力于赋能市场本身以建立效果广告业务。 Moloco Streaming Monetization 为流媒体和 OTT 服务商提供全栈式程序化广告方案，为广告主打造可扩展且盈利的效果广告业务。Moloco 由机器学习工程师团队于2013 年创立，目前在美国、英国、德国、韩国、中国、印度、日本和新加坡等国家地区均设有办事处。