update modules

[lifeiteng]

1. Add continual inference
2. Support train AR Decoder and NAR Decoder separately
3. Copy transformer modules from pytorch for Implementing Faster Inference

This maybe the last breaking modification!

[zjwang21]

这里的embedding share为什么只有6层，而且是j+2，我看论文里好像是说，predict_layer只有7层，embedding_layer是8层，所以predict的第1层和embedding的第2层共享，是这样嘛

[zjwang21]

Good Work

[lifeiteng]

demo page https://lifeiteng.github.io/valle/index.html

one GPU with 24GB memory

exp_dir=exp_0331/valle_Prefix1_Dim1024H16L12
python3 bin/trainer.py --max-duration 80 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 1 \
      --num-buckets 6 --dtype "bf16" --save-every-n 10000 \
      --model-name valle --share-embedding true --norm-first true --add-prenet false \
      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \
      --base-lr 0.05 --warmup-steps 200 --average-period 0 \
      --num-epochs 20 --start-epoch 1 --start-batch 0 --accumulate-grad-steps 4 \
      --exp-dir ${exp_dir}

cp ${exp_dir}/best-valid-loss.pt ${exp_dir}/epoch-2.pt

python3 bin/trainer.py --max-duration 40 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 2 \
      --num-buckets 6 --dtype "float32" --save-every-n 10000 \
      --model-name valle --share-embedding true --norm-first true --add-prenet false \
      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \
      --base-lr 0.05 --warmup-steps 200 --average-period 0 \
      --num-epochs 20 --start-epoch 3 --start-batch 0 --accumulate-grad-steps 4 \
      --exp-dir ${exp_dir}