Como são definidas as variáveis que decidem as posições em um ranking?

 


blog_ranking.jpg

Uma consequência natural da competitividade que vivemos hoje em dia é o estabelecimento de rankings.

 

No mundo dos negócios, encontramos rankings que classificam os sites mais vistos, as mais valiosas empresas internacionais, empresas com maior valor de mercado no país, mercado de capitaiscâmbioautomóveis mais vendidos, dentre inúmeros outros.

 

No entanto, a classificação de diferentes competidores não é uma tarefa necessariamente simples. Muitas vezes, há modelos matemáticos complexos que contemplam diversas variáveis com o intuito de definir as posições ocupadas em um ranking. Quem vê a ordem dos avaliados muitas vezes não sabe todo o estudo científico envolvido por trás das classificações.

 

Um bom exemplo da complexidade do tema é a avaliação de rankings esportivos. A análise do processo que coloca jogadores e times em determinadas colocações pode dar bons insights para quem precisa lidar com esse tipo de classificação no dia a dia do mercado.

Copa do Mundo da Rússia

 

Pouco antes da final da Copa do Mundo da Rússia, o Estadão publicou uma análise dos times finalistas — França e Croácia — segundo um ranking criado pelo próprio jornal. Basicamente, o sistema de classificação confere pontuações para cada equipe, que são atualizadas a cada jogo. Logo, permite comparar os times e prever o quão disputada será cada partida.

 

E como são dadas essas pontuações? Quando um time vence um jogo em que o triunfo era improvável, ele ganha mais pontos. Se vence um jogo no qual era favorito, ganha menos. O derrotado sempre perde a mesma quantidade de pontos que o vencedor ganhou. Em caso de empate, o time favorito perde pontos e o azarão ganha.

 

Além disso, o modelo ainda atribui multiplicadores de acordo com a importância dos jogos (um jogo de Copa vale mais do que um amistoso, por exemplo), leva em conta a quantidade de gols (golear dá mais pontos que ganhar por 1×0), além de outras variáveis que tentam conferir uma pontuação justa aos times.

 

Na matéria, o Estadão conclui que França e Croácia traçaram caminhos bem diferentes até a final. O time francês enfrentou uma série de antigos campeões, mas era mais forte do que todos eles. Paralelamente, a equipe croata teve adversários mais fracos, porém mais próximos do seu nível. Como se vê, o ranking fornece critérios mais objetivos para analisar a dificuldade de cada campanha.

 

A matéria explica: “Em vez de contar glórias passadas ou reverenciar o peso da camiseta, essa ferramenta dá pontos para quem vence adversários complicados e tira pontos de quem perde jogos que deveriam ser, em teoria, fáceis. O objetivo é medir a forma recente dos times e descobrir quem tem sido mais dominante nos últimos anos”.

 

Uma maneira de medir o equilíbrio dos confrontos é pela diferença da pontuação das duas equipes que se enfrentam. Quanto mais próximas elas estiverem, mais disputado o jogo tende a ser, de acordo com as premissas do ranking.

O que a Data Science tem a dizer sobre isso?

 

O Estadão acertou na criação de seu modelo, pois ele foi baseado em um sistema científico de classificação chamado ELO, desenvolvido pelo físico húngaro Arpad Elo. Inicialmente, ele foi criado para avaliar jogadores de xadrez, mas ao longo do tempo foi aplicado de maneira bem-sucedida a esportes como futebol, tênis e rúgbi. Hoje, é amplamente aceito no estabelecimento de rankings de times e jogadores.

 

O método já foi explorado cientificamente inúmeras vezes. Ele já se mostrou superior aos rankings esportivos comuns, que são “simplistas e ausentes de informações relevantes que os tornem justos e fáceis de entender”, segundo artigo publicado na revista científica PLOS ONE.

A abordagem analítica dos esportes já é levada tão a sério que o MIT — o respeitado Massachusetts Institute of Technology — organiza há mais de dez anos o congresso MIT Sloan Sports Analytics Conference. Além disso, há periódicos debruçados sobre esse tipo de análise, como o Journal of Quantitative Analysis in Sports.

O sistema ELO é tão aceito que a própria FIFA anunciou que atualizará seu controverso ranking mundial com um método baseado nele. A decisão foi tomada após dois anos de estudos e deve resultar em grandes implicações para o futebol internacional. Um sistema similar é publicado no site World Football Elo Ratings desde 1997.

Outros métodos científicos de ranking

 

Embora o sistema ELO seja a ferramenta de classificação esportiva mais amplamente difundida, vários métodos são explorados cientificamente até hoje. Um dos mais antigos é o Índice de Porcentagem de Classificação (em inglês, Rating Percentage Index ou RPI). Nele, a pontuação dos times é baseada na porcentagem de vitórias.

 

A partir do sistema ELO, a Microsoft criou uma ferramenta chamada TrueSkill, destinada aos games online com múltiplos jogadores. Até mesmo o PageRank, algoritmo do Google que mede a importância de websites, já foi estudado como uma alternativa de classificação esportiva.

 

Como era previsível, não há consenso sobre a superioridade de algum desses métodos. A pesquisa científica continua colhendo resultados em prol de modelos cada vez mais ajustados para as melhores classificações.

Previsão

 

Um dos grandes trunfos dos rankings esportivos é prever resultados de jogos. Afinal, com as pontuações dos times é possível deduzir quem tem maior probabilidade de ganhar.

 

Uma empresa que tem sido muito bem-sucedida na previsão de resultados é a Electronic Arts (EA), responsável pelo simulador de futebol FIFA, jogado em videogames como PlayStation e Xbox. A companhia previu corretamente os campeões das três edições mais recentes da Copa do Mundo — 2010, 2014 e 2018 — por meio de simulações do torneio.

 

Os segredos da precisão do algoritmo não foram revelados pela empresa, mas uma das pistas pode estar no sistema de classificação dos times e jogadores. Segundo uma matéria da ESPN, os 700 clubes e 18.000 jogadores são avaliados por meio de um trabalho conjunto entre computadores e seres humanos.

 

Uma rede de 9.000 indivíduos revisa os dados fornecidos pela Eletronic Arts. O grupo contém olheiros e técnicos profissionais, mas é formado majoritariamente por espectadores que compraram ingressos da temporada. Isso porque eles assistirão a inúmeras partidas e, melhor do que tudo, pessoalmente.

 

Esses revisores inserem o feedback sobre os jogadores por meio de um sistema seguro da EA Sports, divisão da Eletronic Arts que desenvolve os games esportivos. O feedback é baseado em um parâmetro completamente subjetivo: a opinião do espectador. Embora estatísticas avançadas procurem tendências no comportamento das estrelas do futebol, a última palavra não é da máquina.


fifa1.jpg

Segundo Michael Mueller-Moehring, diretor de coleta de dados do FIFA, os números sozinhos não poderiam representar as habilidades de um jogador por causa do contexto sutil em que esses números foram criados. Ele diz: “Quando você olha para atributos como prender e controlar a bola, há dados, mas eles nunca falam sobre situações específicas. O mesmo acontece em relação a dar uma entrada.”

 

Os revisores também julgam o estado mental dos jogadores. As estatísticas são incapazes de mostrar o quão inteligente ou resiliente é um indivíduo. Tal como outros aspectos intangíveis, como agressividade e estilo de passe, que também são fornecidos pelos revisores.

 

A necessidade do diálogo entre máquinas e seres humanos já foi comentada neste blog e está de acordo com a afirmação feita em um dos estudos sobre ranking esportivo mencionados:

Resultados e gols não são uma base de informação suficiente para classificar equipes de futebol e prever os resultados das partidas. Especialistas podem fornecer informações altamente valiosas nas previsões. Os futuros modelos de classificação e previsão devem se tornar mais abertos para incluir fontes de sabedoria da multidão nas abordagens matemáticas.

Os rankings esportivos evidenciam a complexidade dos sistemas de classificação. No fim das contas, eles são modelos matemáticos e há ampla discussão a respeito dos melhores métodos dentro da pesquisa acadêmica. Vale utilizar sistemas cientificamente validados, especialmente se os rankings em questão tiverem implicações gerenciais.