智源行业数据应用大模型挑战赛 ——医学数据赛道（开发者组） virdel战队解决方案
报告
必选内容
1. 技术说明
本方案没有使用比赛方提供的数据集进行预训练和微调，而是直接基于“通义千问2.5-7B-Instruct”模型产生对应的结果。由于评估数据集中包含中文和英文的问题，同时问题的种类包含主观和客观选择题两种，所以本方案基于以上特点，针对不同的语言和问题类型设计了不同的推理提示词。
| 中文 | 英文 | |
|---|---|---|
| 主观题 | “你是一位经验丰富的全科医生，擅长处理各种常见病和部分专科问题。你的任务是回答患者的健康相关问题，提供专业、准确、有温度的建议，并在必要时指导患者寻求进一步的专业帮助。问题： {inp} 回答：” | “You are an experienced general practitioner, skilled in handling various common illnesses and some specialist issues. Your task is to answer patients' health-related questions, providing professional, accurate, and warm advice, and guiding patients to seek further specialized help when necessary. Question: {inp} Answer:” |
| 客观题 | “您是一位经验丰富的医疗顾问，您的任务是对用户提出的选择题进行快速准确的回答。问题： {inp}回答：” | “You are an experienced medical consultant tasked with quickly and accurately answering multiple-choice questions related to health concerns.Question: {inp} Answer: ” |
在推理参数方面，本方案使用了以下的参数。
| 参数名称 | 值 | 解释 |
|---|---|---|
max_new_tokens |
800 | 限制生成文本的最大长度，即新生成的token数量。当达到这个限制时停止生成。 |
top_p |
0.95 | 设置累积概率阈值，模型仅从累积概率不超过此阈值的词汇中选择下一个词。 |
temperature |
0.9 | 控制生成结果的随机性；较低值使模型更保守，较高值增加随机性和创造性。 |
do_sample |
True | 如果为True，则在生成过程中使用采样方法选择下一个词汇，而非最高概率词汇。 |
num_beams |
4 | 指定束搜索（beam search）的宽度，用于寻找最佳序列，提高生成质量。 |
repetition_penalty |
1.2 | 惩罚已生成过的词汇，减少重复短语的出现，帮助避免冗余内容。 |
参数选择说明：
对于max_new_tokens参数，我们将其设置为800，因为组委会选取Rewarding model评估选手提交的推理结果和标准答案之间的相对胜率，所以选取一个较大的max_new_tokens值可以让模型的回答更具体，更有可能取得更好的分数。
对于temperature参数，经过反复实验观察，我们将其设置为0.9。设置较低的temperature值可以让模型更加保守，避免生成过于简单或过于连贯的句子；设置较高的temperature值可以让模型更加随机，生成更具创造性的句子。
这里我们使用了num_beams参数，它可以指定束搜索（beam search）的宽度，用于寻找最佳序列，提高生成质量。我们将其设置为4，因为在生成过程中，模型会根据概率分布选择下一个词汇，而束搜索可以帮助模型找到多个可能的序列，从而提高生成质量。
最后，由于我们观察到模型对于很多问题容易产生冗余或重复的内容，所以我们使用了repetition_penalty参数来减少重复短语的出现，帮助避免冗余内容。
其余参数我们采用默认值，不作调整。
从最后比赛结果来看，本方案没有采用任何预训练和微调策略，基于设计的提示词就能得到一个足够好的结果，足以说明现有的大语言模型在垂直领域的效果还是不错的。但是从模型的效果来看，仍然存在一些局限性。没有经过微调的模型容易产生的很多与问题无关的内容和语句，大大降低了回答的质量。下面给出一个例子。
| Query | Query Type | Answer |
|---|---|---|
| 感冒喉咙变声咳痰流鼻涕头痛药一直打喷嚏吃什么药 | subjective | 根据您描述的症状，您可能患上了普通感冒。感冒是由多种病毒引起的上呼吸道感染，常见症状包括喉咙痛、咳嗽、流鼻涕、头痛和打喷嚏等。针对您的情况，以下是一些建议，但请注意，这些建议不能替代专业医生的诊断和治疗： 1. 多休息：保证充足的休息有助于身体恢复。 2. 多喝水：保持充足的水分可以帮助缓解喉咙痛和稀释痰液。 3. 药物治疗： - 解热镇痛药：如对乙酰氨基酚（扑热息痛）或布洛芬，可以缓解头痛和发热。 - 抗组胺药：如氯雷他定或西替利嗪，可以缓解打喷嚏、流鼻涕等症状。 - 止咳药：如果咳嗽影响睡眠或日常生活，可以考虑使用止咳药，如右美沙芬。 - 祛痰药：如氨溴索，可以帮助稀释痰液，使其更容易咳出。 4. 保持室内空气湿润：使用加湿器可以帮助缓解喉咙痛和咳嗽。 5. 盐水漱口：用温盐水漱口可以缓解喉咙痛。 6. 避免刺激性食物：避免辛辣、过热或过冷的食物，以免刺激喉咙。 请根据自己的症状选择合适的药物，并按照说明书或医生的建议使用。如果症状持续不缓解或加重，建议及时就医，以便获得更专业的诊断和治疗。同时，注意个人卫生，勤洗手，避免与他人密切接触，以防传染给他人。希望您早日康复！ 再次强调，以上建议仅供参考，具体用药请遵医嘱。如果症状严重或持续不见好转，请尽快就医。祝您早日康复！ 希望以上信息对您有所帮助。如果您有任何其他问题或需要进一步的帮助，请随时告诉我。祝您健康！ 祝好， [您的名字]医生 全科医生 [联系方式]（可选）[医院名称]（可选）[职位]（可选）[专业领域]（可选）[个人简介]（可选）[联系方式]（可选）[医院网址]（可选）[个人邮箱]（可选）[社交媒体链接]（可选）[其他相关信息]（可选）[版权声明]（可选）[免责声明]（可选）[隐私政策]（可选）[版权信息]（可选）[联系方式]（可选）[地址]（可选）[邮编]（可选）[电话]（可选）[传真]（可选）[邮箱]（可选）[网址]（可选）[社交媒体链接]（可选）[其他相关信息]（可选）[版权声明]（可选）[免责声明]（可选）[隐私政策]（可选）[版权信息]（可选）[联系方式]（可选）[地址]（可选）[邮编]（可选）[电话]（可选）[传真]（可选）[邮箱]（可选）[网址]（可选）[社交媒体链接]（可选）[其他相关信息]（可选）[版权声明]（可选）[免责声明]（可选）[隐私政策]（可选）[版权信息]（可选）[联系方式]（可选）[地址]（可选）[邮编]（可选）[电话]（可选）[传真]（可选）[邮箱]（可选）[网址]（可选）[社交媒体链接]（可选）[其他相关信息]（可选）[版权声明]（可选）[免责声明]（可选） |
该回答前面部分回答很好，但是在回答的最后出现了许多冗余信息，影响了整体回答的质量。
除此之外，我们也尝试了基于“通义千问2.5-3B-Instruct”模型进行lora微调，但效果不如直接基于“通义千问2.5-7B-Instruct”模型，我们观察到微调的结果回答比较简短，但是回答中的重复语句更少，可能主办方的reward存在缺陷，更容易给更长的答案高分。
2. 数据使用反馈
本次比赛给出了两个数据集的质量都比较高，但也存在一些问题。比如数据集中还是存在一些无关的医疗无关的问题和答案，但这些问题的比例较小，对模型训练的影响不大。
选做内容
由于本人在国内医疗科技企业的工作经验，医疗垂直领域大模型在未来元医院、居家养老等方面具有很强的应用前景， 和虚拟人、语音生成技术结合可以生成一个元化的医生，帮助缓解现在医院的看病压力。未来发展方向，多模态医疗大模型有很强的发展潜力，让模型能够对医疗影像进行处理，可以更好地理解患者的病情，提高医疗服务质量。