В разделе 'Информационный дайджест' кафедры вычислительной математики вышла статья  "Deepmind представляет модель нейросети с высокоэффективным методом оптимизации".

Одни из самых раздражающих вещей в обучении нейронной сети — это время, необходимое для её тренировки, и объём памяти, необходимый сети для того, чтобы вместить все нужные данные и модели. Поскольку классификация изображений является одной из наиболее распространённых задач машинного обучения, компания Deepmind выпустила новую модель, которая соответствует современному уровню технологии в этой области, но со значительно более высокой скоростью обучения и улучшенной техникой оптимизации.

В своей работе исследователи из Deepmind изучают наиболее прогрессивные текущие модели, такие как EfficientNet и остаточные нейронные сети (ResNet). Они выделяют некоторые методы оптимизации, которые используют много памяти, не давая при этом значительного улучшения результативности. Авторы доказывают, что нейронные сети могут достичь той же результативности без использования этих громоздких методов оптимизации.