用C++实现一个简单的Transformer(进行中)
| key | value | description |
|---|---|---|
| DIM | 512 |
Embedding的维度 |
| DEP | 20 |
句子长度 |
| DIM_HID | 2048 |
FeedForwardNetwork中隐藏层宽度 |
| HEAD_SIZE | 8 |
MultiHeadAttention中Head的数量 |
| ENC_LAYER_CNT | 6 |
Encoder Layer 的层数 |
| DEC_LAYER_CNT | 6 |
Decoder Layer 的层数 |
| key | value |
|---|---|
| 参数量 | 176454656 |
| CPU_TIME | 127.080 s |
| REAL_TIME | 127.243 s |
| Memory | 711688192 bytes |