A matéria da BBC sobre “superprevisores”, republicada ontem no UOL com destaque na capa, pega um tema interessantíssimo, com grande potencial de aplicação prática, e apresenta ao público uma versão dele superficial e com vários erros.
Os tais superprevisores, popularizados pelo livro “Superprevisões – A arte e a ciência de antecipar o futuro”, de 2015, são pessoas sem treinamento nem experiência como analistas de inteligência que demonstraram habilidade excepcional, supostamente melhor que a dos experts, de prever eventos geopolíticos, econômicos, e de outras áreas de interesse.
E uma razão clara para essa habilidade é o distanciamento que eles conseguem ter das suas próprias crenças e predisposições. Eles pensam em termos de probabilidade, não de certezas binárias, e atualizam suas estimativas conforme surgem novas informações ao invés de se apegarem a uma opinião até quando ela vai contra as evidências. Deste modo, eles corrigem ativamente os viéses que são inatos na constituição humana.
Só que a matéria foca apenas nessa característica, e trata os superprevisores como um fenômeno individual, independente de inteligência, e presente de maneira aleatória na população. E qualquer pessoa que tenha lido o livro e os papers sobre o assunto (1, 2) sabe que isso está completamente errado.
A história é basicamente assim: uma agência do governo americano promoveu entre 2011 e 2015 um torneio anual, em que cinco organizações tentariam desenvolver e aplicar os melhores métodos para agregar os julgamentos de muitas pessoas e obter as melhores previsões.
O grande vencedor foi o grupo “Good Judgement Project”, que contava com 2.800 voluntários convocados em instituições acadêmicas e de pesquisa, no mercado preditivo, em sites de ciência. No primeiro ano, eles obtiveram os melhores resultados combinando um treinamento de 45 minutos sobre heurísticas e viéses cognitivos com trabalho em equipes, em que cada participante não só tinha acesso à previsão dos colegas, como também discutia com eles os motivos por trás das suas conclusões.
No segundo ano, os 60 participantes do GJP com previsões mais acertadas foram colocados para interagir entre si divididos em cinco equipes de elite. O resultado desse método foi tão impressionante que a participação das outras organizações foi suspensa nos anos seguintes. Esses 60 fazendo previsões individuais em conjunto são os superprevisores.
A matéria já erra dizendo que Good Judgement Project é o nome do torneio, sendo que é o nome de uma das organizações participantes.
Mas, mais importante:
Por que é errado dizer que os superprevisores são “pessoas comuns”, “de todas as origens sociais”? Porque nem de longe os voluntários do Good Judgement Project são uma amostra representativa da população. Um quarto deles atuava no mercado preditivo. Dois terços tinham pelo menos iniciado uma pós-graduação.
Por que é errado negar a inteligência como fator fundamental no desempenho dos superprevisores? Porque ainda que não sejam necessariamente gênios ou superdotados, eles têm, em média, QI superior a 80% da população, e 14% superior ao dos demais voluntários do Good Judgement Project. E porque esse trabalho de previsão envolve retenção e análise de informações, reconhecimento de padrões e correção de viéses, que são altamente correlacionados com inteligência.
Por que é errado atribuir as habilidades deles apenas a características individuais? Porque a performance dos indivíduos de maior habilidade fica ainda melhor quando eles são colocados juntos em equipes de elite. Participantes com desempenho superior colocados em equipes comuns sofreram regressão à média. Participantes fazendo previsões sozinhos, sem acesso às estimativas de outros nem chance de debater com eles, tiveram a pior performance.
Como o texto não menciona as equipes, também deixa de fora a importância do modo como elas funcionam e são gerenciadas. A ideia é que sejam espaços tão abertos quanto possível para que argumentos sejam discutidos e questionados. Como cada um faz a sua própria previsão, não faz sentido e é contraproducente alguém tentar se impor sobre os demais.
Ou seja, a metodologia do Good Judgement Project que resultou nos superprevisores envolve a aplicação simultânea de vários tipos de conhecimento científico, sobre a sabedoria das multidões, sobre inteligência, cognição e personalidade individuais, e sobre métodos de seleção e gerenciamento de equipes.
E a matéria ignora a maioria dessas características, e até rejeita alguma delas. Ela é a explicação da BBC para as previsões acertadas, bem diferente da explicação “da ciência”.
Pra encerrar: eu não gosto muito do jeito como superprevisores são comparados aos analistas de inteligência profissionais no próprio livro e em outros materiais. Os participantes do torneio tiveram a chance de alterar suas estimativas quantas vezes quisessem, e os analistas, na única pesquisa que foi feita com eles, não. Como mencionei antes, no torneio as melhores previsões eram feitas por pessoas que revisavam várias vezes suas estimativas para adequá-las a novos dados.