Na era da ciência de dados, a busca por modelos preditivos eficazes é incessante. Empresas, governos e instituições de todo tipo investem recursos significativos na construção de algoritmos capazes de antecipar comportamentos, tendências e padrões. No entanto, há um problema fundamental que muitas vezes é negligenciado: a interpretação precisa do que estamos medindo.
Podemos encontrar diversos desses exemplos no livro The Alignment Problem: Machine Learning and Human Values, de Brian Christian. Ao longo do livro, Christian examina uma série de estudos de caso fascinantes e preocupantes, que variam desde os vieses algorítmicos presentes em sistemas de reconhecimento facial até os desafios éticos enfrentados pelos veículos autônomos em situações de risco. Ele destaca as consequências profundas que a falta de alinhamento entre IA e valores humanos pode ter, desde a amplificação de preconceitos sociais até a perda de controle sobre sistemas autônomos.
Um exemplo emblemático que Christian relata é a tentativa de criar modelos preditivos para a violência urbana. Imagine que estamos desenvolvendo um sistema para prever os índices de criminalidade em diferentes bairros de uma cidade. No entanto, aqui reside uma armadilha sutil: o que nosso modelo realmente mede não é o crime em si, mas sim a quantidade de ocorrências policiais reportadas.
Essa distinção é crucial. Enquanto o modelo pode ser eficaz em identificar áreas com alta atividade policial, ele não necessariamente reflete com precisão a verdadeira incidência de crimes. O resultado disso é uma consequência direta e potencialmente perigosa: a alocação desproporcional de recursos policiais em determinadas áreas, enquanto outras permanecem submonitoradas.
O problema, na prática
Essa mesma armadilha se estende para além do âmbito da segurança pública e encontra eco em contextos empresariais e de mercado.
Um ótimo exemplo é o Net Promoter Score (NPS) tem sido amplamente adotado como uma métrica confiável para avaliar a satisfação do cliente. No entanto, a aparente simplicidade dessa abordagem esconde uma complexidade significativa.
O NPS fundamenta-se em uma pergunta direta: “Em uma escala de 0 a 10, o quanto você recomendaria nossa empresa/produto/serviço a um amigo ou colega?”. A partir das respostas, os clientes são classificados em promotores (notas 9-10), neutros (notas 7-8) e detratores (notas 0-6), e o índice NPS é calculado subtraindo a porcentagem de detratores da porcentagem de promotores.
Aqui reside o equívoco: embora o NPS seja amplamente considerado como uma medida de satisfação do cliente, na realidade, ele está mais relacionado à propensão do cliente de recomendar um produto ou serviço do que à sua satisfação propriamente dita. Isso significa que uma alta pontuação no NPS pode refletir não apenas uma experiência positiva, mas também fatores como lealdade à marca, conveniência ou até mesmo incentivos oferecidos para indicação.
Além disso, o NPS pode não capturar nuances importantes da experiência do cliente, como qualidade do produto, atendimento ao cliente ou expectativas atendidas. Um cliente pode recomendar uma empresa por razões não relacionadas à sua satisfação real, distorcendo assim a interpretação dos resultados.
Um outro exemplo pode ser a avaliação de desempenho nas empresas. Uma das maiores dificuldades aqui reside na questão de quantificar a performance de forma precisa e justa.
Por um lado, a quantificação do desempenho com base em métricas objetivas, como o atingimento de metas, pode parecer uma solução direta. No entanto, essa abordagem tende a desconsiderar aspectos fundamentais do ambiente de trabalho, como a cultura organizacional e as relações humanas. A obsessão com as metas pode levar os colaboradores a adotarem práticas questionáveis para alcançá-las, sacrificando valores éticos e comprometimento com o longo prazo em nome do sucesso imediato. Nesse contexto, os fins acabam por justificar os meios, gerando uma cultura tóxica que mina a confiança e a coesão da equipe.
Por outro lado, adotar uma abordagem subjetiva, na qual os gestores avaliam o desempenho dos colaboradores com base em critérios mais flexíveis, como escalas numéricas, também apresenta seus próprios desafios. A subjetividade inerente a essa metodologia pode levar a avaliações enviesadas e inconsistentes. Cada gestor pode interpretar os critérios de forma diferente, resultando em discrepâncias significativas nas avaliações. Além disso, a falta de clareza e transparência nessas avaliações pode minar a confiança dos colaboradores no processo e na liderança da empresa.
Como mitigar o desalinhamento?
O desalinhamento entre o que se deseja medir e as métricas utilizadas para essa medição pode ser um desafio significativo em diversos contextos, seja na avaliação de desempenho de uma empresa, na análise de projetos de pesquisa ou no desenvolvimento de políticas públicas. É fácil cair na armadilha de buscar atalhos para quantificação, o que pode distorcer a compreensão real dos resultados. No entanto, existem estratégias que podem ajudar a mitigar esse problema e garantir que as métricas utilizadas se alinhem adequadamente com os objetivos pretendidos.
Clarificar os Objetivos: Antes de começar a desenvolver métricas, é essencial ter uma compreensão clara do que se deseja medir e por que isso é importante. Os objetivos devem ser específicos, mensuráveis, alcançáveis, relevantes e temporais (critérios SMART), para garantir que as métricas criadas estejam diretamente alinhadas com os resultados desejados.
Envolvimento das Partes Interessadas:Envolver as partes interessadas desde o início do processo é fundamental para garantir que as métricas refletem as necessidades e prioridades de todos os envolvidos. Isso pode incluir clientes, funcionários, acionistas e outros grupos relevantes que tenham interesse nos resultados.
Avaliação Holística: Evitar a simplificação excessiva ao desenvolver métricas. Em vez de depender de uma única métrica, é importante considerar uma variedade de medidas que ofereçam uma visão holística do desempenho. Isso pode incluir métricas quantitativas e qualitativas, bem como indicadores de processo e resultado.
Teste e Iteração: As métricas devem ser vistas como um processo em constante evolução. É importante testar as métricas em pequena escala antes de implementá-las em larga escala e estar preparado para ajustá-las com base nos resultados e no feedback recebido.
Foco na Qualidade, não na Quantidade: É fácil cair na armadilha de tentar medir o máximo possível, mas isso nem sempre leva a uma compreensão mais profunda ou precisa dos resultados. Em vez disso, é importante se concentrar na qualidade das métricas, garantindo que elas capturem os aspectos mais relevantes e significativos do que está sendo medido.
Transparência e Comunicação: Comunicar claramente as métricas utilizadas, os métodos de coleta de dados e os resultados obtidos é essencial para garantir a confiança e o entendimento de todas as partes interessadas. A transparência ajuda a evitar mal-entendidos e permite que as pessoas entendam como as decisões são tomadas com base nas métricas.
No fim das contas, o essencial mesmo é adotar uma abordagem crítica e reflexiva em relação às métricas que usamos. Devemos nos perguntar não apenas o que estamos medindo, mas também o que estamos deixando de medir. Além disso, é crucial incorporar uma compreensão profunda do contexto em nossas análises, reconhecendo as limitações inerentes aos dados que temos à nossa disposição.
Em última análise, a ciência de dados é uma ferramenta poderosa, mas não é infalível. Para aproveitar seu potencial ao máximo, devemos estar sempre cientes das armadilhas que podem surgir quando tentamos medir o mundo complexo e multifacetado em que vivemos. Somente assim podemos garantir que nossas ações sejam informadas por uma compreensão genuína e significativa da realidade.
