进入baseline2 开启python编码阶段啦
感想:
开始的晚了一些,准备环境花了好久哦,好在ai可以帮忙安装环境需要的各种包,并且运行的报错也可以解决。
以及硅基流动的免费api超级慢TT,遍历数据花费的时间过长了。
听到分享会上可以用阿里百炼的api,但在调用上还有些问题,接下来要再多试一下。
阅读了一下代码,发现代码是每行调用一次大模型,优化点其实是可以一次性调用完的,这样应该能节省很多时间。 下一步还是要自己优化下代码呀。
将一个强大的教师模型(如Qwen3-8B)在特定任务上的知识,迁移到我们最终需要微调的学生模型上
具体步骤:
表格数据文本化:将结构化的列车时刻表数据(每一行代表一趟列车的信息)转换为易于大模型理解的文本格式。
编程生成问题:针对每一行列车数据,我们手动设计问题模板,并通过编程方式(例如Python脚本)批量生成问题。例如,对于“车次”、“检票口”、“终到站”等字段,可以生成“{车次}号车次应该从哪个检票口检票?”、“{车次}次列车的终到站是哪里?”等问题。这种方式确保了生成问题的语法正确性和与表格内容的强相关性。
教师模型生成答案:将文本化的列车信息和编程生成的问题作为Prompt输入给一个能力更强的教师模型。教师模型根据其强大的理解和推理能力,为每个问题生成对应的答案。
构建SFT数据集:将编程生成的问题和教师模型生成的答案配对,形成{"instruction": "问题", "output": "答案"}的JSON格式数据集。这个数据集就是用于微调学生模型的SFT数据。
学生模型LoRA微调:将构建好的SFT数据集上传到讯飞星辰MaaS平台,并使用LoRA技术对选定的基础模型(学生模型)进行微调。微调后的模型将能够根据用户提出的问题,从内部学习到的表格知识中给出准确的回答。
3个代码块
参与评论
手机查看
返回顶部