#2650574 FUVEST - 2023 - Analista de Sistemas (USP)/Ciência de Dados

Suponha que você possua um dataset que represente uma amostra de treinamento balanceada de 500.000 instâncias para classificação binária. Devido à demanda de tempo de processamento dos algoritmos de indução de classificadores que você usará, você definiu que cada treinamento deve ser realizado apenas por 40.000 instâncias e cada teste sobre 10.000 instâncias. Uma vez que 1) cada treinamento e teste demoram juntos 2 horas, 2) você tem disponível apenas 20 horas para executar a estimação de desempenho do algoritmo usado em seus dados, e 3) você quer fazer o máximo de treinamentos/testes possível nessas 20 horas, uma boa estratégia a ser aplicada sobre seu dataset para a estimação de desempenho é:

validação cruzada 10-vezes (ou 10X) estratificada a partir de todo o dataset original.
leave-one-out de forma a manter o balanceamento entre as classes em cada uma das 10 execuções.
10 hold-outs balanceados independentes, cada um contendo 50.000 instâncias sorteadas do dataset.
grid-search balanceado com dimensão total = 40.000 x 10.000 x 10 com bootstrap.
10 etapas de resubstituição do dataset original já balanceado e sem bootstrap.