本次没有训练模型,使用模型均为开源模型,分别为: Qwen/Qwen2.5-7B-Instruct internlm/internlm2_5-7b-chat THUDM/glm-4-9b-chat 首先安装vllm进行部署模型
pip install vllm
接下来使用vllm部署模型glm-4-9b-chat
python -m vllm.entrypoints.openai.api_server --model THUDM/glm-4-9b-chat --port 8086 --trust-remote-code
评估数据放置在./dataset/eval_only_query.jsonl中 运行gen生成第一版模型输出结果
python gen.py
输出结果将保存在./eval/eval_only_query.jsonl中 运行
python gen3.py
输出结果保存在./eval/agent.jsonl 继续运行,输入修改为./eval/agent.jsonl 输出修改为agent2.jsonl
python gen3.py
最终获得agent2.jsonl即为最终答案