Curva ROC & AUC: onde cortar a linha de decisão?
O modelo analisou 10 clientes e deu a cada um uma probabilidade de ficar inadimplente. Na realidade, 4 ficaram inadimplentes e 6 não ficaram. A pergunta: a partir de qual probabilidade tratamos alguém como risco?
Este é o recurso de apoio do artigo A diferença entre os dois melhores modelos é real?, onde o ROC AUC decide entre cinco modelos de risco de crédito. Se o que te interessa é onde colocar a linha na prática, o artigo O ponto de corte que vale milhares de reais mostra como o custo do erro define o limiar.
1 Escolha o limiar de decisão
Cada bolinha é um cliente, posicionado pela probabilidade que o modelo previu. Quem fica à direita da linha é classificado como "vai ficar inadimplente". Arraste a linha direto no gráfico ou use o controle abaixo — e repare nas cores mudando.
2 Matriz de confusão neste limiar
inadimplente
adimplente
3 O ponto na curva ROC
Cada limiar gera um par (FPR, TPR) — um ponto neste gráfico. Varra o limiar de 1 até 0 e veja o ponto desenhar o caminho da curva.
Variando o limiar de 1 até 0, cada escolha vira um ponto (FPR, TPR); ligando todos, nasce a curva ROC. A AUC resume tudo em um número: a probabilidade de o modelo dar um score maior para um inadimplente do que para um adimplente sorteados ao acaso — 1,00 é a separação perfeita, 0,50 é chute.