Avaliação de modelos de predição
Seja \(d_j\), \(j = 1,\cdots, n\), a resposta desejada para o objeto \(j\) e \(y_j\) a resposta estimada (predita) do algoritmo, obtida a partir de uma entrada \(\mathbf{x_j}\) apresentada ao algoritmo.
Podemos definir então, \(e_j = d_j - y_j\) como sendo a diferença entre o valor observado e o valor predito para o objeto \(j\).
| Erro quadrático médio | Raiz do erro quadrático médio |
|---|---|
| $$MSE =\dfrac{1}{n} \displaystyle{\sum_{j=1}^n e_j^2}$$ | $$RMSE =\sqrt{\dfrac{1}{n} \displaystyle{\sum_{j=1}^n e_j^2}}$$ |
| Erro absoluto médio | Média percentual absoluta do erro |
|---|---|
| $$MAE = \dfrac{1}{n} \displaystyle{\sum_{j=1}^n |e_j|}$$ | $$MAPE = \dfrac{1}{n} \displaystyle{\sum_{j=1}^n |e_j/d_j|}\times 100$$ |
| Qual o melhor modelo? | |
|---|---|
Suponha que tenhamos dados simulados utilizando o seguinte modelo:
|
|
Podemos estimar diversos modelos \(y\) que predizem o verdadeiro valor de \(d\)
Nosso interesse está em treinar o modelo e avaliar a sua capacidade de generalização
Validação holdout
| Validação holdout | |
|---|---|
|
Dados originais: treinamento e teste
Dados de treinamento: treinamento e validação |
|
| Exemplo | |
|---|---|
| Vamos avaliar a relação entre Frequência Cardíaca e Idade de 270 pacientes |
|
70% da base para treino e 30% para validação
|
|
Validação cruzada k-fold
Dados de treinamento: \(k\) partes iguais.
Treina com \(k-1\) partes, e valida com uma
| Exemplo | |
|---|---|
|
|
Trade-off bias-variância
Imagine que você está tentando acertar um alvo com dardos. Seus arremessos podem ser agrupados de três maneiras diferentes:
Grupo de alto viés (bias)
Seus arremessos são consistentemente agrupados longe do alvo, mas próximos uns dos outros.
Isso indica um alto viés, pois você está fazendo arremessos incorretos, mas de forma consistente.
Grupo de alta variância
Seus arremessos estão espalhados por toda a área, longe do alvo e uns dos outros.
Isso indica alta variância, pois seus arremessos são inconsistentes e imprevisíveis.
Grupo equilibrado
Seus arremessos estão agrupados próximo ao alvo e também estão próximos uns dos outros.
Isso é o equilíbrio entre viés e variância, onde você está acertando o alvo de forma consistente e precisa.
Bias - o erro sistemático
O bias, também chamado de víes, representa o erro sistemático do modelo, ou seja, a diferença entre as previsões do modelo e os valores reais.
O bias está relacionado à habilidade do modelo em se ajustar aos dados, ou seja, se o seu problema é um underfitting, o seu modelo tem um alto bias.
O erro no treinamento é alto e igual ao erro na validação
Variância - a instabilidade
A variância representa a instabilidade do modelo, ou seja, como as previsões variam para diferentes conjuntos de treinamento.
A variância está relacionada a habilidade do modelo se ajustar a novos dados, ou seja, se o seu problema é um overfitting, o seu modelo tem uma alta variância.
O erro no treinamento é baixo e menor que o erro na validação
| Bias vs. Variância | |
|---|---|
|
Voltemos ao nosso modelo simulado:
|
|
Vamos ajustar um modelo polinomial de grau 2
| Bias vs. Variância | |
|---|---|
|
|
Vamos ajustar um modelo polinomial de grau 10
| Bias vs. Variância | |
|---|---|
|
|
O nosso objetivo é reduzir o bias e a variância o máximo que pudermos, entretanto, nos deparamos com um trade-off entre under e overfitting.
Quanto maior a complexidade do modelo, maior a variância e menor o bias
Algumas medidas podem ajudar a encontrar o nível de complexidade ideal:
-
Alto Bias: Adicionar mais variáveis e/ou adicionar novas variáveis a partir de combinações das variáveis existentes
-
Alta Variância: Selecionar um conjunto menor de variáveis
| Bias vs. Variância: | Tamanho da amostra |
|---|---|
|
|