Глоссариум по искусственному интеллекту: 2500 терминов. Александр Юрьевич Чесалов
Чтение книги онлайн.
Читать онлайн книгу Глоссариум по искусственному интеллекту: 2500 терминов - Александр Юрьевич Чесалов страница 18
Выпрямленный линейный блок (Rectified Linear Unit) – это блок, использующий функцию выпрямителя в качестве функции активации177.
Выпуклая оптимизация (Convex optimization) – это процесс использования математических методов, таких как градиентный спуск, для нахождения минимума выпуклой функции. Многие исследования в области машинного обучения были сосредоточены на формулировании различных задач выпуклой оптимизации и более эффективном решении этих проблем178.
Выпуклая функция (Convex function) – это функция, в которой область над графиком функции представляет собой выпуклое множество. Прототип выпуклой функции имеет форму буквы U. Строго выпуклая функция имеет ровно одну точку локального минимума. Классические U-образные функции являются строго выпуклыми функциями. Однако некоторые выпуклые функции (например, прямые) не имеют U-образной формы. Многие распространенные функции потерь, являются выпуклыми функциями: L2 loss; Log Loss; L1 regularization; L2 regularization. Многие варианты градиентного спуска гарантированно находят точку, близкую к минимуму строго выпуклой функции. Точно так же многие варианты стохастического градиентного спуска имеют высокую вероятность (хотя и не гарантию) нахождения точки, близкой к минимуму строго выпуклой функции. Сумма двух выпуклых функций (например, L2 loss + L1 regularization) является выпуклой функцией. Глубокие модели никогда не бывают выпуклыми функциями. Примечательно, что алгоритмы, разработанные для выпуклой оптимизации, в любом случае имеют тенденцию находить достаточно хорошие решения в глубоких сетях, даже если эти решения не гарантируют глобальный минимум179,180.
Выпуклое множество (Convex set) – это подмножество евклидова пространства, при этом, линия, проведенная между любыми двумя точками в подмножестве, остается полностью внутри подмножества181.
Выходной слой (Output layer) – это последний слой нейронов в искусственной нейронной сети, который производит заданные выходные данные для программы182.
Вычисление (Computation) – это любой тип арифметического или неарифметического вычисления, которое следует четко определенной модели (например, алгоритму)183.
Вычисления GPU (GPU computing) – это использование графического процессора в качестве сопроцессора для ускорения центральных процессоров для научных и инженерных вычислений общего назначения. Графический процессор ускоряет приложения, работающие на ЦП, разгружая некоторые ресурсоемкие и трудоемкие части кода. Остальная часть приложения по-прежнему работает на процессоре.
176
Satisfiability [Электронный ресурс] https://www.openmv.org URL: https://www.openmv.org/glossary/satisfiability/ (дата обращения: 28.03.2023)
177
Rectified Linear Unit [Электронный ресурс] https://www.primeclasses.in URL: https://www.primeclasses.in/glossary/data-science-course/machine-learning/rectified-linear-unit-relu (дата обращения: 28.03.2023)
178
Convex optimization [Электронный ресурс] https://en.mimi.hu URL: https://en.mimi.hu/artificial_intelligence/convex_optimization.html (дата обращения 22.02.2022)
179
Convex function [Электронный ресурс] https://developers.google.com URL: https://developers.google.com/machine-learning/glossary#convex-function (дата обращения: 28.03.2023)
180
Convex function [Электронный ресурс] https://developers.google.com URL: https://developers.google.com/machine-learning/glossary#expandable-7 (дата обращения: 28.03.2023)
181
Convex set [Электронный ресурс] https://developers.google.com URL: https://developers.google.com/machine-learning/glossary#convex-set (дата обращения: 28.03.2023)
182
Output layer [Электронный ресурс] https://mcs.mail.ru URL: https://www.techopedia.com/definition/30351/outlier-detection (дата обращения: 07.07.2022)
183
Computation [Электронный ресурс] https://en.wikipedia.org URL: https://en.wikipedia.org/wiki/Computation (дата обращения: 07.07.2022)