Как-то проверял новый проект у стажера и наткнулся на блок кон | Рома ❤ Толоку

Как-то проверял новый проект у стажера и наткнулся на блок контроля качества с таким интересным комментарием "не обучился"

И вроде бы ничего необычного, но в голове сразу создалась ассоциация с обучением нейронок)

Ведь получается, что людей мы обучаем по похожему принципу, что и ML алгоритмы.
1. Даем обучающие задания (train dataset) - на нем у толокеров формируются в голове нейронные связи и понимание задачи
2. Даем экзаменационные задания (validation dataset) - отбираем людей только с нужными гиперпараметрами мозга, которые после обучения показали хороший скор на валидационном наборе
3. Даем боевые задания с ханипотами (production data + test dataset) - уже в боевом контуре оцениваем качество нейронных связей толокеров
4. Даем реабилитацию (fine-tuning) - если нейронные связи толокера стали слабеть, либо случился data shift, то дообучаем толокера

Таким образом, если толокер показывает плохое качество на validation dataset - значит он не дообучился.

А если толокер показывает хорошее качество на validation, при этом плохое на test, то случился overfitting, и скорее всего ответы на ваш экзамен с тестом толокеры слили в интернет

На сколько гениальную теорию я придумал?