Nenhum modelo aprova ou nega crédito. Ele entrega uma probabilidade — um número entre 0 e 1. Quem traça a linha entre "aprovar" e "negar" é o ponto de corte, e essa escolha é integralmente uma decisão de negócio. É também o momento em que todo o trabalho técnico ou vira dinheiro, ou não vira nada.
Para visualizar: o explicador interativo de curva ROC deixa você arrastar o limiar e ver, a cada posição, quantos inadimplentes escapam e quantos bons clientes são barrados. É exatamente o trade-off que este artigo coloca na conta.
O limiar sai da conta, não do costume
O padrão de fábrica é 0,5. Ele só faz sentido quando os dois erros custam igual — o que quase nunca é verdade, e em crédito nunca é. Com falso negativo custando 10 vezes o falso positivo:
p* = custo_FP / (custo_FP + custo_FN) p* = 500 / (500 + 5.000) = 9,09%
Acima de 9,09% de probabilidade de inadimplência, o prejuízo esperado de aprovar supera o lucro perdido ao negar. Usar 0,5 neste problema significaria aprovar quase todo mundo — e absorver calotes que a conta já dizia para evitar.
O que os modelos fariam com esse limiar
Aplicando p* = 9,09% às probabilidades previstas no teste:
| Modelo | Brier | Prob. média | Taxa real | Negaria |
|---|---|---|---|---|
| Decision Tree | 0,050820 | 0,066811 | 0,066827 | 21,52% |
| Random Forest | 0,048831 | 0,066343 | 0,066827 | 18,49% |
| XGBoost | 0,048514 | 0,066503 | 0,066827 | 18,20% |
| LightGBM | 0,048472 | 0,066563 | 0,066827 | 18,14% |
Os quatro erram a probabilidade média por menos de 0,0005 em dados nunca vistos — a decisão de não usar class_weight se paga exatamente aqui. Uma taxa de negativa em torno de 18% é operacionalmente plausível. Com os modelos "balanceados" da parte 7, seria 87%.
Se o modelo estivesse descalibrado, todo este raciocínio desmoronaria: o limiar econômico opera sobre a probabilidade, não sobre o ranking. Por isso Brier e probabilidade média foram acompanhados desde a fase de modelagem, e não tratados como métrica secundária.
O que ainda falta — e é o que fecha o case
O limiar teórico é o ponto de partida, não o de chegada. A etapa em execução varre a faixa de cortes e calcula, para cada um, o custo esperado da carteira:
custo(t) = FN(t) × 5000 + FP(t) × 500
O corte escolhido é o que minimiza esse custo — não o que maximiza acurácia, nem o que maximiza F1. E o número que fecha o projeto é a comparação desse custo com o da política atual da empresa. Só aí o critério de sucesso definido na primeira parte da série está respondido por inteiro.
Status honesto: a avaliação em teste está concluída e publicada; a simulação de custo por faixa de corte é a etapa seguinte. Volto aqui com a curva de custo e o corte recomendado.
Parte 11 de 12 da série Aurora — um modelo de risco de crédito do zero ao deploy. O mapa completo da série reúne todas as partes e os números finais. Veja também a documentação técnica e o código no GitHub ↗.