A primeira árvore que treinei atingiu ROC AUC de 0,99997. Na base de treino. Na validação, caiu para 0,6148. Esse gap de 0,385 é a definição visual de overfitting — e o caminho para consertá-lo produziu o resultado mais instrutivo do projeto.
Encontrando o tamanho certo
Catorze profundidades testadas com o mesmo protocolo. O padrão é clássico e vale gravar:
| max_depth | ROC AUC validação | ROC AUC treino | Gap |
|---|---|---|---|
| 3 | 0,804409 | 0,806164 | 0,0018 |
| 5 | 0,843437 | 0,845523 | 0,0021 |
| 7 | 0,845838 | 0,857709 | 0,0119 |
| 10 | 0,811131 | 0,876530 | 0,0654 |
| 20 | 0,609835 | 0,978630 | 0,3688 |
| sem limite | 0,614817 | 0,999997 | 0,3852 |
A curva de validação sobe, atinge o pico em 7 e desaba, enquanto a de treino só sobe. Ganho sobre a árvore sem poda: +0,231 de ROC AUC, e o gap caindo de 0,385 para 0,012. Nenhum dos catorze tamanhos, porém, atinge a meta de 0,85 — a árvore sozinha não resolve este problema.
max_depth=7.Pela regra de um desvio-padrão, max_depth=5 (0,8434) já seria suficiente — com metade da complexidade e praticamente o mesmo desempenho. Complexidade só se paga quando compra alguma coisa.
A árvore de 3 níveis, que cabe num slide
Limitada a três níveis, a árvore usa apenas 3 das 16 features e produz oito folhas legíveis. A folha mais arriscada tem 68,77% de inadimplência — 10,3 vezes a taxa da base; a mais segura, 2,10%. Não é o modelo de produção, mas é a ferramenta de comunicação: o comitê de crédito consegue ler o caminho da decisão.
A floresta e a armadilha do class_weight
24 configurações de Random Forest: 8 profundidades × 3 tratamentos de desbalanceamento. 17 delas batem a meta de 0,85. A melhor foi max_depth=10 sem nenhum ajuste de peso, com ROC AUC 0,862885.
E aqui está o achado que contraria o conselho de internet. Todo tutorial manda usar class_weight='balanced' em base desbalanceada. Nesta base, isso destrói a calibração:
| class_weight | ROC AUC | Brier | Prob. média | Negaria com p*=9,09% |
|---|---|---|---|---|
| sem peso | 0,866744 | 0,048669 | 0,066968 | 18,80% |
| balanced | 0,861174 | 0,125051 | 0,304303 | 86,97% |
Sem peso, a probabilidade média prevista (0,066968) bate com a taxa real (0,066844) na terceira casa decimal. Com balanced, o modelo prevê 30,4% de inadimplência onde a real é 6,7% — e o limiar econômico de 9,09% definido na primeira fase negaria 87% da carteira. A empresa fecharia.
Balancear classe melhora o ranqueamento em alguns problemas, mas distorce a probabilidade. Se a sua decisão usa um limiar econômico — e em crédito usa — a probabilidade calibrada vale mais que qualquer ganho marginal de AUC. Decisão do projeto: nenhum tratamento de peso, em nenhum modelo.
Parte 7 de 12 da série Aurora — um modelo de risco de crédito do zero ao deploy. O mapa completo da série reúne todas as partes e os números finais. Veja também a documentação técnica e o código no GitHub ↗.