Фреймворк глубоко обучения на Numpy, написанный с целью изучения того, как все работает под "капотом". Вместе с фреймворком были написаны конспекты по каждому слою, функции потерь и оптимизатору. Также был написан пример решения с его помощью задачи распознования рукописных цифр MNIST.
Во многом фреймворк вдохновлялся pytorch.
Далее перечислено, что было реализовано.
Cлои:
- Linear
- Batch Normalization
- Dropout
- Sigmoid
- Tanh
- ReLU
- Leaky ReLU
- Softmax
- Logsoftmax
- MSE
- NLL
- Cross Entropy
- SGD
- Momentum
- RMSprop
- Adam
- NAdam