Calibração de previsões: como usar o Brier score

Você faz previsões, registra probabilidades e quer saber se está melhorando. A calibração de previsões e o Brier score são as duas ferramentas básicas para isso — e precisam ser lidas juntas. Cada uma responde uma pergunta diferente: calibração mede correspondência entre probabilidades declaradas e frequências observadas; Brier score quantifica o erro médio sobre um conjunto de previsões.

O que é calibração e o que ela não mede

Calibração mede frequência em grupos. Dentro das previsões com 70%, quantas aconteceram? Se a resposta ficar próxima de 70%, suas probabilidades estão calibradas nessa faixa — esse é o mesmo princípio que fundamenta os diagramas de confiabilidade usados em meteorologia (como nos sistemas do Met Office e do ECMWF) para validar previsões probabilísticas.

O que calibração não é:
- Um único acerto não prova calibração, ela exige volume em grupos comparáveis.
- Calibração perfeita não implica habilidade preditiva: um modelo que sempre diz "50%" pode ser bem calibrado se metade dos eventos acontecer.
- Calibração não é lucro. Um trader calibrado em mercados de previsão pode perder dinheiro por diferença de preço, taxas ou seleção de eventos.

Com poucas observações em cada faixa (por exemplo, 60–70%), qualquer avaliação de calibração fica mais incerta — os intervalos de confiança tendem a ser mais amplos, e a interpretação dos resultados depende do método e da variância dos eventos.

Como calcular o Brier score

O Brier score (BS) mede erros em previsões binárias. Eventos que acontecem recebem valor 1; os que não acontecem, valor 0.

Fórmula: BS = (1/N) × Σ(p − y)²

Variáveis:
- p = probabilidade prevista (entre 0 e 1)
- y = resultado observado (1 = ocorreu, 0 = não ocorreu)
- N = total de previsões

O BS varia de 0 (perfeito) a 1 (perfeito ao contrário). Menor é melhor.

Brier não é uma métrica pura de calibração. Na decomposição clássica (Murphy, 1973; ver ECMWF Forecast User Guide), o BS combina três componentes: calibração (quão próximas as frequências observadas estão das probabilidades declaradas, por grupo), resolução (capacidade de separar grupos com frequências observadas diferentes da taxa-base do conjunto) e incerteza (variabilidade inerente dos eventos, fixada pelo dataset). Um valor baixo pode vir de boa calibração, alta resolução, ou ambos — não há nota universal: o que é "bom" depende do domínio e do baseline comparável.

Exemplo hipotético: quatro previsões registradas antes do evento

Imagine quatro previsões, todas registradas antes do resultado ser conhecido:

BS = (0,09 + 0,04 + 0,36 + 0,04) / 4 = 0,53 / 4 = 0,1325

Baseline de referência: um modelo que sempre diz 50% obtém, neste mesmo conjunto, BS = (0,25 + 0,25 + 0,25 + 0,25) / 4 = 0,25. O valor 0,1325 é melhor que o baseline, mas N=4 não demonstra calibração nem habilidade, serve apenas para ilustrar o cálculo. Quatro observações não sustentam conclusões sobre calibração ou habilidade.

Note que p=0,5 produz erro (0,5 − y)² = 0,25 para qualquer resultado binário y ∈ {0, 1}. Esse baseline de 0,25 é uma propriedade do modelo de referência, não deste exemplo específico: qualquer previsão de 50% em qualquer evento binário gera erro 0,25.

A previsão 3 (p=0,60, resultado=0) tem o maior erro isolado (0,36) porque a probabilidade estava acima de 0,5 para um evento que não aconteceu. Isso não prova que a previsão foi errada: se p=0,60 refletisse a probabilidade real, esperaríamos ausência em 40% dos casos similares — mas essa frequência só pode ser verificada com muitas observações do mesmo tipo, não com uma única previsão.

Como montar um diário e comparar previsões

Sem registro estruturado, é impossível calcular BS nem avaliar calibração. Campos mínimos por linha:

Regras que evitam viés:
- Congele a previsão. Não atualize p após o resultado ser conhecido.
- Preserve versões. Se mudar a previsão antes do evento, registre a nova linha com novo timestamp, não apague a anterior.
- Defina a regra de resolução antes de prever. Fixe a fonte antes do evento. Use a probabilidade implícita de um mercado como ponto de referência, mas registre o resultado pela fonte oficial de resolução do evento — não pelo preço do mercado. Nunca escolha a fonte após conhecer o resultado.
- Não selecione quais previsões incluir no cálculo depois. Seleção pós-resultado introduz viés: a amostra deixa de refletir sua distribuição real de previsões.

Com volume suficiente, agrupe por faixa de probabilidade: 50–60%, 60–70%, 70–80%. Compare a taxa de ocorrência observada em cada grupo com a probabilidade declarada. Essa é a análise de calibração — não o BS isolado.

Limites: amostra, seleção de eventos e lucro

Tamanho da amostra. BS e análise de calibração podem ser calculados com qualquer N, mas a precisão e a interpretabilidade dos resultados dependem do volume. Com N pequeno, a incerteza aumenta e os intervalos de confiança tendem a ser mais amplos — a precisão dos resultados depende do método, da variância dos eventos e do nível de confiança escolhido. O mesmo vale para análise de calibração por faixa: poucas observações por grupo não permitem separar ruído de padrão.

Seleção de eventos. Se você só registra previsões onde se sente mais confiante, a amostra deixa de ser representativa — a análise de calibração por faixa fica comprometida, pois não reflete a distribuição real das suas previsões. O diário deve registrar todas as previsões, não apenas as que parecem "boas".

Dependência. Eventos correlacionados (por exemplo, partidas na mesma semana de uma competição) inflam a contagem sem adicionar informação independente. O BS ainda pode ser calculado sobre amostras dependentes, mas sua interpretação estatística muda: os intervalos de confiança convencionais podem não se aplicar diretamente e a comparação entre forecasters fica comprometida.

Baseline comparável. Para qualquer resultado binário, p=0,5 produz erro (0,5 − y)² = 0,25 independentemente do resultado. Esse baseline de 0,25 é universal para previsões binárias — não uma característica deste exemplo. O que varia de diário para diário é a composição dos eventos e o BS médio resultante. Comparar seu BS com qualquer referência só faz sentido sobre o mesmo conjunto de eventos.

Brier não é P&L. Avaliação probabilística e resultado financeiro são dimensões separadas. Um forecaster bem calibrado pode ter retorno negativo por preço de entrada, taxas, tamanho de posição ou correlação. Resultados em mercados de previsão dependem de execução, não só de precisão probabilística.

Perguntas frequentes

Uma previsão de 70% que falhou estava errada?

Não necessariamente. Se o evento tem 70% de probabilidade real, ele não acontece em 30% dos casos. Para saber se a previsão era razoável, você precisa de muitas previsões similares e observar a frequência de ocorrência no grupo.

Existe um Brier score "bom" universal?

Não. O valor ideal depende do domínio, do baseline e da distribuição dos eventos. Sempre compare o seu BS ao baseline do mesmo conjunto de previsões.

Posso usar Brier score para medir meu lucro?

Não. BS mede qualidade probabilística. Lucro depende de preços de mercado, volume, taxas e estratégia de posição, variáveis que o BS não captura.

Quantas previsões preciso para avaliar calibração?

Não existe número fixo — depende da precisão desejada e da variabilidade dos eventos. Com poucas observações por faixa, os intervalos de confiança tendem a ser mais amplos e a interpretação depende do método e da variância dos eventos. Quanto menor a faixa e maior a precisão exigida, mais dados são necessários.

O que é uma regra de pontuação própria (proper scoring rule)?

Uma regra de pontuação em que a estratégia ótima é declarar sua probabilidade verdadeira, sem incentivo para inflar ou deflacionar. O Brier score tem essa propriedade para eventos binários.

Qual a diferença entre calibração, resolução e sharpness?

Na decomposição do BS, calibração mede o quanto as probabilidades declaradas se afastam das frequências observadas em grupos comparáveis. Resolução mede a capacidade de separar grupos com frequências observadas diferentes da taxa-base — é a componente de "habilidade" do score. Sharpness é uma propriedade das distribuições preditivas de cada evento, independentemente dos resultados observados. Para previsões binárias, a distribuição Bernoulli(p) é mais concentrada quanto mais p se aproxima de 0 ou 1 — a variância p(1−p) é máxima em p=0,5 e mínima nos extremos. Uma previsão de 90% é mais sharp que uma de 50%, independentemente do acerto. Sharpness não equivale a distância da taxa-base: um p=0,5 pode estar longe de uma taxa-base de 0,1 e ainda assim representar maior incerteza declarada do que p=0,9. O objetivo canônico é maximizar sharpness sujeito à calibração (Gneiting, Balabdaoui e Raftery, 2007). Maior concentração das previsões não garante Brier score menor: previsões muito confiantes em resultados que não ocorrem recebem penalização quadrática maior.