目录
BERT参数量：
t5参数量：
mt5参数量：
BERT参数量：
BERT-Base版本：12层Transformer， 隐藏单元数768维度，12个注意力头，参数量为110.
BERT-Large版本：24层Transformer， 隐藏单元数1024维度，16个注意力头，参数量为3400.
t5参数量：
参考链接：reference文章来源：https://www.toymoban.com/news/detail-650294.html
- base版本：24层，隐层768维，12个注意力头，参数量为220M
- small版本：12层，隐层 512维，8个注意力头，参数量约为60M
- Large版本：48层，隐层1024维，16个注意力头，参数量约为770M
- 3B和11B版本：48层，隐层1024维，分别为32/128个注意力头，参数量达到了 2.8B和11B
下载地址：
https://huggingface.co/t5-base/tree/main
mt5参数量：
参考链接：reference
- mT5-Small (300 million parameters): gs://t5-data/pretrained_models/mt5/small
- mT5-Base (580 million parameters): gs://t5-data/pretrained_models/mt5/base
- mT5-Large (1.2 billion parameters): gs://t5-data/pretrained_models/mt5/large
- mT5-XL (3.7 billion parameters): gs://t5-data/pretrained_models/mt5/xl
- mT5-XXL (13 billion parameters): gs://t5-data/pretrained_models/mt5/xxl
下载地址：https://huggingface.co/google/mt5-base文章来源地址https://www.toymoban.com/news/detail-650294.html
到了这里，关于t5 &mt5参数量的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
