其他
仅用61行代码，你也能从零训练大模型
👉腾小云导读
本文并非基于微调训练模型，而是从头开始训练出一个全新的大语言模型的硬核教程。看完本篇，你将了解训练出一个大模型的环境准备、数据准备，生成分词，模型训练、测试模型等环节分别需要做什么。AI 小白友好~文中代码可以直接实操运行。欢迎阅读体验。👉目录
1 准备训练环境
2 准备训练数据
3 训练分词器
4 训练模型
5 测试模型
6 完整代码
本文以代码为主，运行代码需要 Python 环境。
01
|
tokenizers==0.13.3torch==2.0.1transformers==4.30.02
03
from tokenizers import Tokenizerfrom tokenizers.models import BPEfrom tokenizers.trainers import BpeTrainerfrom tokenizers.normalizers import NFKC, Sequencefrom tokenizers.pre_tokenizers import ByteLevelfrom tokenizers.decoders import ByteLevel as ByteLevelDecoderfrom transformers import GPT2TokenizerFast
# 构建分词器 GPT2 基于 BPE 算法实现tokenizer = Tokenizer(BPE(unk_token="<unk>"))tokenizer.normalizer = Sequence([NFKC()])tokenizer.pre_tokenizer = ByteLevel()tokenizer.decoder = ByteLevelDecoder()
special_tokens = ["<s>","<pad>","</s>","<unk>","<mask>"]trainer = BpeTrainer(vocab_size=50000, show_progress=True, inital_alphabet=ByteLevel.alphabet(), special_tokens=special_tokens)# 创建 text 文件夹，并把 sanguoyanyi.txt 下载，放到目录里files = ["text/sanguoyanyi.txt"]# 开始训练了tokenizer.train(files, trainer)# 把训练的分词通过GPT2保存起来，以方便后续使用newtokenizer = GPT2TokenizerFast(tokenizer_object=tokenizer)newtokenizer.save_pretrained("./sanguo")运行时显示如下图：
成功运行代码后，我们在 sanguo 目录生成如下文件：
merges.txtspecial_tokens_map.jsontokenizer.jsontokenizer_config.jsonvocab.json04
from transformers import GPT2Config, GPT2LMHeadModel, GPT2Tokenizer# 加载分词器tokenizer = GPT2Tokenizer.from_pretrained("./sanguo")tokenizer.add_special_tokens({ "eos_token": "</s>", "bos_token": "<s>", "unk_token": "<unk>", "pad_token": "<pad>", "mask_token": "<mask>"})# 配置GPT2模型参数config = GPT2Config( vocab_size=tokenizer.vocab_size, bos_token_id=tokenizer.bos_token_id, eos_token_id=tokenizer.eos_token_id)# 创建模型model = GPT2LMHeadModel(config)# 训练数据我们用按行分割from transformers import LineByLineTextDatasetdataset = LineByLineTextDataset( tokenizer=tokenizer, file_path="./text/sanguoyanyi.txt", block_size=32, # 如果训练时你的显存不够 # 可以适当调小 block_size)from transformers import DataCollatorForLanguageModelingdata_collator = DataCollatorForLanguageModeling( tokenizer=tokenizer, mlm=False, mlm_probability=0.15)
from transformers import Trainer, TrainingArguments# 配置训练参数training_args = TrainingArguments( output_dir="./output", overwrite_output_dir=True, num_train_epochs=20, per_gpu_train_batch_size=16, save_steps=2000, save_total_limit=2,)trainer = Trainer( model=model, args=training_args, data_collator=data_collator, train_dataset=dataset,)trainer.train()# 保存模型model.save_pretrained('./sanguo')成功运行代码，我们发现 sanguo 目录下面多了三个文件：
config.jsongeneration_config.jsonpytorch_model.bin
现在我们就成功生成训练出基于《三国演义》的一个大语言模型。
05
from transformers import pipeline, set_seedgenerator = pipeline('text-generation', model='./sanguo')set_seed(42)txt = generator("吕布", max_length=10)print(txt)txt = generator("接着奏乐", max_length=10)print(txt)06
以下是完整代码，代码地址：
https://github.com/xinzhanguo/hellollm/blob/main/sanguo.py
linux 中运行方法：
# 创建环境python3 -m venv ~/.env# 加载环境source ~/.env/bin/activate# 下载代码git clone git@github.com:xinzhanguo/hellollm.gitcd hellollm# 安装依赖pip install -r requirements.txt# 运行代码python sanguo.py以上我们就完成一个全新的模型训练。代码去除注释空行总共61行。
本文代码模型是基于 GPT2 的，当然你也可以基于 LLama 或者 Bert 等模型去实现全新的大语言模型。
代码虽然不是很多，但是如果初次尝试运行的话你也许会遇到很多问题，比如环境搭建。为了避免其他烦恼，我建议用 docker 方式运行代码:
# 下载代码git clone git@github.com:xinzhanguo/hellollm.gitcd hellollm# 编译镜像docker build -t hellollm:beta .# 可以选择以GPU方式运行# docker run -it --gpus all hellollm:beta shdocker run -it hellollm:beta shpython sanguo.py🌟号外福利
分享本文到朋友圈并截图，在公众号后台回复【61】，即可参与马克杯抽奖（3个名额）。
*福利抽奖截至2023.7.26中午12:00
AIGC 知识专题持续更新中...
关注并星标腾讯云开发者
第一时间看鹅厂技术与 AIGC 实用技巧