Neste post vamos explicar como funciona o processo de otimização dos anúncios dos dispositivos de mídias digitais e como eles buscam melhorar o desempenho para aumentar o ROI dos anunciantes.
Todos os dias, mais de US $ 900 milhões são investidos em publicidade digital no mundo, representando 49% do total de investimentos publicitários e com previsão de alcançar US $ 329 bilhões até o fim de 2021, impulsionado pela sinergia dos canais de vídeo online e mídias sociais.
Nesse universo, uma das perguntas que os anunciantes querem encontrar resposta é: “qual dos meus anúncios têm mais probabilidade de atrair um determinado visualizador?”. Encontrar a resposta pode gerar um grande impacto tanto nos custos quanto no potencial de geração de receita, principalmente quando as agências e as grandes empresas lidam com dezenas de sites, a centenas ou milhares de anúncios e atraem milhões de visitantes para seus sites e redes sociais.
O aproveitamento por reforço , ramo da Inteligência Artificial, fornece uma solução e é utilizado por meios como Google e Facebook para otimizar seus mecanismos melhorar a performance e entregar mais ROI para os anunciantes. Basicamente, o objetivo do modelo RL – Aprendizagem por Reforço – é encontrar o anúncio no qual os usuários estão mais propensos a clicar.
Teste A / B / n ingênuo
Para entender melhor como o aprendizado por reforço otimiza os anúncios, vamos à explicação fornecida por Ben Dickson, engenheiro de software e fundador da Tech Talks.
Vamos considerar um cenário muito simples: você é o proprietário de um site de notícias e firmou um contrato com uma empresa para veicular anúncios ali. Ela forneceu cinco anúncios diferentes e pagará um real cada vez que um visitante clicar em um dos anúncios.
Seu primeiro objetivo é encontrar o anúncio que gera mais cliques. Na linguagem publicitária, você quer maximizar sua taxa de cliques (CTR). O CTR é a proporção de cliques sobre o número de anúncios exibidos, também chamada de impressões. Por exemplo, se 1.000 impressões de anúncios geram 3 cliques, sua CTR será 3/1000 = 0,003 ou 0,3%.
Para comparar o desempenho de duas soluções
concorrentes, a técnica padrão é o teste A/B. Quando se lida com mais de duas alternativas, é chamado de teste A/B/n.
No teste A/B/n, os usuários do experimento são divididos aleatoriamente em grupos separados e cada um recebe uma das soluções disponíveis, que podem ser layouts diferentes de páginas do site, recomendações de produtos ou anúncios com chamadas diferentes. Neste caso, significa que mostraremos aleatoriamente um dos cinco anúncios a cada novo visitante do site e avaliaremos os resultados.
Digamos que executemos nosso teste A/B/n para 100.000 interações, cerca de 20.000 impressões por anúncio. Aqui estão as taxas de cliques sobre impressão deles:
-
Anúncio 1: 80 / 20.000 = CTR de 0,40%
-
Anúncio 2: 70 / 20.000 = 0,35% CTR
-
Anúncio 3: 90 / 20.000 = CTR de 0,45%
-
Anúncio 4: 62 / 20.000 = 0,31% CTR
-
Anúncio 5: 50 / 20.000 = CTR de 0,25%
As 100.000 impressões de anúncios geraram R$ 352 em receita com um CTR médio de 0,35%. Mais importante, descobrimos que o anúncio número 3 tem um desempenho melhor do que os outros e continuaremos a usá-lo. Com o anúncio de pior desempenho, o número 2, a receita seria de R$ 250. Com o anúncio de melhor desempenho, o 3, a receita teria sido de R$ 450. Portanto, o teste A/B/n forneceu a média da receita mínima e máxima e produziu um conhecimento muito valioso das taxas de CTR.
Essa diferença pode ter um impacto significativo em escala. Com 1.000 impressões, o anúncio número 3 gerará R$ 2 extras em comparação com o anúncio número 5. Com um milhão de impressões, essa diferença se tornará R$ 2.000. Quando você exibe muitos anúncios, um sutil 0,2% pode ter um grande impacto na receita. Portanto, encontrar essas diferenças sutis é muito importante na otimização de anúncios.
O problema com o teste A/B/n é que ele não é muito eficiente em encontrar essas diferenças. Ele trata todos os anúncios igualmente e cada anúncio precisa ser executado dezenas de milhares de vezes até descobrir suas diferenças com um bom nível de confiança.
Outro problema com o teste clássico é que ele é estático. Depois de encontrar o anúncio ideal, você terá que segui-lo. Se o ambiente muda devido a um novo fator (sazonalidade, tendências de notícias, etc.) e faz com que um dos outros anúncios tenha um CTR potencialmente mais alto, você não descobrirá a menos que execute o teste novamente.
É aqui que o aprendizado por reforço faz sentido. Um agente de aprendizagem por reforço começa sem saber nada sobre as ações, recompensas e penalidades de seu ambiente. O agente deve encontrar uma maneira de maximizar suas recompensas.
Neste exemplo, as ações do agente RL são um dos cinco anúncios a serem exibidos. O agente RL receberá um ponto de recompensa cada vez que um usuário clicar em um anúncio e deve encontrar uma maneira de maximizar os cliques nos anúncios.
The multi-armed bandit (MAB)
Para resolver o problema de otimização de anúncios, usaremos um “multi-armed bandit (MAB)”, “bandido multi-armado”, em livre tradução, um algoritmo de aprendizagem por reforço adequado a uma única etapa. Pense em um cenário imaginário em que um jogador está parado em uma fileira de caça-níqueis. O jogador sabe que as máquinas têm diferentes taxas de vitória, mas não sabe qual oferece a maior recompensa.
Se ele ficar em uma máquina, pode perder a chance de selecionar a máquina com a maior taxa de vitória. Portanto, o jogador deve encontrar uma maneira eficiente de descobrir a máquina com a maior recompensa sem gastar muito de suas fichas.
A otimização de anúncios é um exemplo típico de um problema do MAB. Nesse caso, o agente de aprendizado por reforço deve encontrar uma maneira de descobrir o anúncio com o CTR mais alto sem desperdiçar muitas impressões de anúncios valiosas em anúncios ineficientes.
Confira nesse vídeo uma explicação técnica mais profunda sobre esse contexto:
