Mokum P564

IT-специалист Б. занимается вопросами обучения и эксплуатации нейросетей. Режимы обучения и работы у нейросетей разделены, во время работы сеть не учится — не изменяется — или делает это очень медленно. Окружающий же мир — источник входных данных — зачастую склонен так или иначе изменяться, и раз сеть этого не делает — она утрачивает адекватность.

Общим местом в профессиональной среде Б. считается, что нет смысла «дотягивать» старую сеть до адекватности, нужно обучать новую.

Потому что сети крепко застревают в локальных максимумах — чтобы добиться более высокой эффективности, требуется временное снижение эффективности, а выходить из зоны комфорта не любят даже наборы весовых коэффициентов.

Потому что в сетях накапливаются «мёртвые» нейроны, для которых «новое» настолько непохоже на «старое», что они перестают активироваться вообще, а, значит, не могут и обучаться, а, значит, лежат балластом и снижают ёмкость сети.

Потому что на данный момент ни на одной задаче для сети нет никакого интереса приводить свое «внутреннее представление» о структуре данных в хоть какое-то соответствие с порождающей их структурой «реального мира» — и поэтому небольшое изменение в системе порождения данных, как правило, не может быть учтено столь же небольшой корректировкой настройки сети; напротив, в общем случае оно требует неадекватно глубокой её перестройки.

Потому что, соответственно, сети склонны упорно недооценивать изменения нюансов входных данных и сводить их к погрешности, то есть крайне неохотно на них обучаться.

Потому что, соответственно, типична ситуация, когда сеть — да и её операторы — игнорирует дрейф данных до тех пор, пока описание этого дрейфа не становится сложнее описания самих данных. После этого сеть идёт под списание: для коррекции ошибок нужно добавить к ней структуру, более сложную, чем исходная.

(Нет, в принципе, эффективно работающую сеть можно заставить выучить нечто новое. Это новое нужно показать ей очень ярким, несводимым к старому образом. Потрясти. Шокировать. Но при этом нужно ещё, чтобы у неё хватило резервов ёмкости это в принципе распознать и усвоить).

Всё это Б. регулярно наблюдает в ходе своего рабочего процесса. Когда он вспоминает, что он тоже нейросеть, ему иногда делается несколько неуютно.