J - 对话助手模型

模型介绍

J 是一个基于 Qwen2-0.5B-Instruct 微调的对话助手模型，专注于提供友好、专业的对话体验。

特点

• 支持多轮对话
• 响应简洁明了
• 专业且友好的语气

技术规格

• 基础模型: Qwen2-0.5B-Instruct
• 微调方法: LoRA
• 参数规模: 约1M可训练参数

使用方法

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 加载基座模型
base_model = "Qwen/Qwen2-0.5B-Instruct"
model = AutoModelForCausalLM.from_pretrained(base_model)
tokenizer = AutoTokenizer.from_pretrained(base_model)

# 加载LoRA适配器
model = PeftModel.from_pretrained(model, "./Lora")

# 生成回复
messages = [{"role": "user", "content": "你好"}]
text = tokenizer.apply_chat_template(messages, tokenize=False)
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=500)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

许可证

Apache-2.0

作者

jacksong123