Учебные материалы
1 Введение в нейронные сети
2 Полносвязные нейронные сети
3 Элементы теории оптимизации
4 Обучение нейронных сетей
5 Сверточные нейронные сети
6 Рекуррентные нейронные сети. 1 Часть
7 Рекуррентные нейронные сети. 2 Часть
8 Tips and Tricks
9 Pytorch
10 Векторные представления слов
11 Нейронные сети-трансформеры
Алгоритм Backpropagation:
Архитектура полносвязной нейронные сети основана на идее
Все описанные в лекции алгоритмы обладают общим свойством. Каким?
Градиентные методы оптимизации
Задача классификации – это задача
Задачу машинного обучения можно представить в виде последовательности выполнения действий по выбору оптимальной решающей функции f из многопараметрического семейства F. Задача обучения сводится к задаче оптимизации на этапе:
Идея Momentum состоит в:
Лучший способ борьбы с переобучением:
Метод подбора адаптированного learning rate на основе оценки исторических градиентов:
Наиболее популярный на текущий момент метод оптимизации, основанный на идее использования двух моментных членов, предложенный в 2015 году:
Начальная инициализация весов нейросети:
Нейронные сети бывают следующих видов:
Нейронные сети, наиболее часто применяющиеся в CV – это
Обучение нейронной сети – это применение алгоритма оптимизации для решения задачи
Обучение с учителем характеризуется
Отметьте верные высказывания о функциях активации:
Переобучение – это эффект, возникающий при
При прямом проходе через Feed Forward Neural Network:
Производная сигмоиды выражается через саму сигмоиду аналитически, как
Условия Каруша-Куна-Таккера применимы для решения:
Функции активации в нейронных сетях: