Дослідження феномену подвійного спуску та порівняння мінімаксної апроксимації з L2-регуляризацією

Анотація

У цій роботі досліджено феномен подвійного спуску та запропоновано використання мінімаксної апроксимації (L∞-норма) як альтернативу L2-регуляризації для покращення якості апроксимації моделей. Подвійний спуск описує залежність похибки від складності моделі: похибка спершу зменшується, потім зростає через перенавчання, а далі знову знижується. Проте в експериментах із моделлю без регуляризації було виявлено переважно зростаючу тенденцію похибки із короткими періодами спаду, що свідчить про неповний прояв феномену. Це, ймовірно, пов’язано з аномальними точками в даних, які спричинили експоненційне зростання похибки на високих ступенях. Було розглянуто три підходи: класичну модель без регуляризації, модель із L2-регуляризацією та мінімаксну апроксимацію. L2-регуляризація додала штраф за велику норму коефіцієнтів, що дозволило стабілізувати похибку та запобігти перенавчанню, особливо на високих ступенях полінома (200+). Мінімаксна апроксимація мінімізувала максимальну похибку, завдяки чому забезпечувала кращу стійкість до аномалій і перевершувала L2-регуляризацію на низьких ступенях (до 50). Результати підтвердили, що мінімаксна апроксимація є більш ефективною для задач із аномаліями, тоді як L2-регуляризація краще працює на складних моделях із високими ступенями полінома. Отримані висновки сприяють розширенню розуміння феномену подвійного спуску й показують практичну користь різних підходів у залежності від особливостей даних і вимог до моделі.