一、广告点击率模型的效果评估

广告点击率模型直接关系到DSP的收入，如果对广告点击率预估过高，那么获取流量的成本会高于广告主的预期，结果会导致亏损；如果广告点击率预估过低，则会导致竞拍不到流量，得不到广告展现的机会。因此CTR预估模型在上线前需要经过严格的评估，具体需要先后经过模型指标评估、线上流量评估两个步骤。

（1）模型指标评估：

核心是看这个模型对有点击的广告展现和无点击的广告展现的区分效果，侧重训练模型在测试集上的应用。可以使用的方法很多，比如AUC、WMWT等。

（2）线上流量评估：

对于CTR模型的最终效果，还要看其在实际广告点击率预估中的模型表现。为了减小模型上线的风险，一般先使用近期数据模拟线上流量，观察模型在近期流量上的表现，再将模型放到线上进行小流量A/B测试。其中，流量A/B测试的配对t-test检验结果是评估CTR模型效果的最终指标。需要注意的是，对CTR模型切分的流量和对照组除了模型不同之外，其他因素应该是基本一致的。

二、广告点击率预估概述

在互联网二十多年的发展历程中，无论是PC互联网还是移动互联网时代，广告营销都是最重要的商业模式之一。Google、Facebook、百度等互联网巨头90%以上的收入都是广告流量变现。如何提高广告的投放效果，一直以来都是学术界和工业界的研究热点，而广告点击率预估是其中最重要的研究领域之一，它基于算法来预测广告的点击，为流量匹配最适合的广告，从而提高广告的点击率，最终提升广告的收入。

三、互联网广告的发展阶段

（1）媒体购买阶段：

最初的广告交易是广告主和媒体直接谈判，然后购买流量，广告主需要和很多媒体谈判，媒体也需要和很多广告主谈判，这种方式的效率低下、交易成本高，交易的成功率也很低。

（2）人群购买阶段：

为了解决媒体购买效率低下的问题，出现了广告联盟，媒体把自己的流量承包给联盟，而联盟则负责承接广告主的广告投放需求，它把媒体的用户群体分类之后，根据广告主的需求去匹配相应的客户群体，从而实现需求和供给的匹配。

（3）用户购买阶段：

随着广告交易平台的增多，广告的交易成本也在提升，为了解决这种情况，广告联盟的业务被拆分到了两个平台，一个是广告主服务平台，另一个是媒体服务平台，双方通过广告交易平台进行交易。

3、互联网广告交易架构

（1）广告主服务平台（DSP）：

承接广告主的广告投放需求，广告主可以在该平台上设置广告的目标受众、投放地域、广告出价等。

（2）媒体服务平台（SSP）：

拥有媒体资源和用户流量的网站通过接入SSP实现流量变现，媒体在SSP上管理自己的广告位，控制广告的展现。

（3）广告交易平台（Ad Exchange）：

连接广告交易的买方（DSP）和卖方（SSP），专注于流量交易，一般基于实时竞价（RTB）的方式进行广告的买卖。RTB以一次广告展现机会为单位进行竞价，谁出价高，谁的广告就获得展现机会。

4、广告点击率（CTR）

1、概念：

广告点击率是指广告的点击到达率，即广告的实际点击次数 / 广告的展现量。CTR是DSP评估流量效果的最常用指标，DSP在评估广告效果时，只要用户进行了点击，就认为给广告主做了一次有效推广，达到了广告的目的。

2、CTR预估模型的常见场景

[1] 互联网广告；

[2] 新闻推荐；

[3] 智能营销；

[4] 问答系统。

【注】：只要存在有针对性的展现和点击，就可以使用CTR进行预估。

5、实际应用中的广告点击率预估技术

（1）技术原理：

从广告的海量历史展现点击日志中提取训练样本，构建特征并训练CTR模型，评估各方面因素对点击率的影响。当有新的广告位请求到达时，就可以使用训练好的模型，根据广告交易平台传过来的相关特征预估这次展现中各个广告的点击概率，并结合广告出价计算广告的点击收益，从而选出收益最高的广告去向广告交易平台出价。

（2）CTR模型的训练流程

Step 1 数据收集

包括离线数据收集和在线收集两部分，分别用于模型的离线训练和在线训练。收集的数据主要是CTR有关的真实完备的行为日志；

Step 2 特征构建

根据收集得到的数据，预处理数据并构建两大类特征，一类是用户特征，一类是广告特征。在这两类特征之上，还可以构建交叉特征、反馈特征、场景特征等；

Step 3 特征处理和选择

在构建得到的特征中，有些可以直接用于模型训练，有些需要进行一些处理后才能用于特征训练，所以这一步就是选择常用的特征处理和选择的方法，选出那些符合模型训练的CTR模型特征；

Step 4 CTR模型训练

在选择出特征之后，就可以采用模型进行训练，模型的选择与特征紧密相关。CTR预估中常用的模型用LR、FM、GBDT、XGBoost等。