Найденная математическая зависимость не дает совместить высокую скорость обучения с высокой предсказуемостью результата. По выводам исследователей, это принципиальное ограничение, которое необходимо учитывать при разработке нейросетей.

Основой исследования стало сравнение 500 тысяч моделей, распознающих тексты и изображения. Все они имели относительно простое устройство. Математики сопоставили, как проходило их обучение и как они затем выполняли свои задачи.

Одинаковые внешние условия не гарантировали сходного результата. Даже если при задании начальных параметров менялся лишь один бит отдельной переменной, обучение могло пойти радикально иначе. По масштабу последствий такая минимальная внутренняя поправка оказалась сопоставима с воздействием внешних факторов.

Для описания этих различий исследователи составили систему формул. В ней они применили математические закономерности фракталов — структур, для которых характерно самоповторение. Полученные соотношения показали неразрывную связь между темпом обучения модели и возможностью предсказать ее поведение.

Профессор Сиднейского университета Гун Пулинь пояснил, что прежде причины расхождений искали за пределами нейросетей. Их объясняли, например, очередностью поступления данных при обучении или вариациями вычислений, возникающими из-за особенностей техники. Новая работа показала, что дело не в оборудовании и не в обучающих наборах, а в математической основе ИИ.

Проблема проявляется и при первоначальной подготовке модели, и при повторном обучении. Как отметили ученые, она не дает воспроизвести нейросети, ранее созданные в исследовательских и прикладных работах, и существенно сужает возможности улучшения уже существующих систем.

Источник: ТАСС