к тому, что функция активации приводит к значению 0, либо к нейрону не поступает никаких сигналов (т.е. нет ссылок), связанных с его входным портом. Если у нейрона нет сигналов, связанных с его входом, вся правая часть формулы опускается. Обратите внимание, что это не то же самое, что входной сигнал 0! В этом случае новая активация рассчитывает только текущую активацию и фактор поддержки активации. Это приводит к тому, что активация нейрона затухает с каждым шагом вычисления до тех пор, пока он не достигнет 0.
Фактор устойчивости активации определяет, как быстро это произойдет: значение 0 приводит к тому, что активация немедленно падает до 0 при следующем шаге вычисления. Значение 1 приведет к тому, что активация останется неизменной навсегда. Любое значение между этими пределами будет вызывать активацию, которая экспоненциально уменьшается до 0 в течение определенного количества этапов расчета. (Теоретически активация никогда не достигнет 0 при любом значении фактора устойчивости активации, кроме 0, но в MemBrain активация в диапазоне [-0.0000001 <= активация <= +0.0000001] автоматически устанавливается на 0.)
Вместе с правой частью формулы мы получаем хорошее представление о том, как происходит активация нейрона в симуляции. Его входы в сочетании с функцией активации приводят к тому, что активация повышается или понижается в зависимости от признаков входов, в то время как коэффициент устойчивости активации возвращает активацию обратно к 0, когда входы не вызывают существенной активации. Чувствительность нейрона по отношению к его входам определяется порогом активации.
Выходной сигнал:
После того, как активация нейрона была рассчитана в соответствии с процедурой, описанной выше, его выходной сигнал определяется в соответствии со следующей таблицей: («X» в таблице означает, что настройка не имеет значения, т.е. «Не волнует»)
(*): Решение о том, запускает ли нейрон (выход <> 0) или нет (выход = 0), принимается на основе того, что вероятность стрельбы увеличивается от 0 до 1 (= 100%) при активации в пределах от нижнего порога огня к верхнему порогу огня. Обратите внимание, что в приведенной выше таблице «Акт» всегда относится к нормализованной активации нейрона, то есть не зависит от определенных пользователем диапазонов данных (так называемые «Настройки нормализации»). Как мы видим, выход нейрона определяется переменными Активация.
Число шагов активации с момента последнего запуска нейрона определяется в сочетании со следующими параметрами, которые являются свойствами каждого нейрона:
• Нижний порог огня
• Верхний порог огня
• Выбор уровня выходного сигнала («1» или «Активация»)
• Время восстановления выхода
Смысл термина «огонь» заключается в том, что выход нейрона имеет значение <> 0.
Строка 1: Если активация меньше или равна нижнему порогу огня, то нейрон не будет срабатывать в любом случае.
Строка
