一、千问
关于tokenizer的改动：
1.1、更改build_tokenizer中tokenizer类的加载。
/mnt/nas/pretrain/code/Megatron-LM/megatron/tokenizer/__init__.py 或者 tokenizer.py
在build_tokenizer.py函数中：文章来源：https://www.toymoban.com/news/detail-794344.html
elif args.tokenizer_type == "QwenTokenizer":
assert args.tokenizer_name_or_path is not None
from .tokenization_qwen import QWenTokenizer
tokenizer = QWenTokenizer.from_pretrained(
args.tokenizer_name_or_path,
model_max_length=args.seq_length,
padding_side='right',
use_fast=False,
)
tokenizer.pad_token_id = tokenizer.pad_id
tokenizer.eos_token_id = tokenizer.eod_id
args.padded_vocab_size = tokenizer.vocab_size + args.extra_vocab_size
1.2、dlc时创建主函数.sh文件 or debug时更改主函数参数命名
debug时文章来源地址https://www.toymoban.com/news/detail-794344.html
到了这里，关于[论文笔记] PAI-Megatron中qwen和mistral合并到Megtron-LM的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[NLP]深入理解 Megatron-LM](https://imgs.yssmx.com/Uploads/2024/02/683827-1.png)
