Neural Turing Machine

Чтение (2), запись erase+add (3–4), адресация (5–9). Loss = BCE(σ(r), y).

Лента (входная последовательность)

Шагов: 0 Loss: 0.00

Правила: Если / То / Иначе

Проверяются сверху вниз. «Иначе: продолжить» — перейти дальше. «остановиться» — стоп.

Параметры NTM

N×M: 64×16

Память M (heatmap)

Ярче = больше значение ячейки памяти.

Веса wt и Loss

Сверху — распределение wt (белее — выше вес). Ниже — кривая BCE(σ(r), y).

Журнал