广州GDYF保密销毁公司:智源研讨院开源JudgeLM 可评测各类大模型并输出评分
时间:2023-11-20 12:14
![]() 广州益夫保密销毁公司11月13日 采访:智源考虑院开源了一种名为 JudgeLM 的裁判模型,可以高效无误地评判各类大模型。 与 GPT-4相比,JudgeLM 仅需1/120的成本,就能达到90% 以上的评判结果一致性。它允许应用于纯文本、多模态等多种评判场景,并可以输出评分、判决和阐述理由。 通过翻新方法,JudgeLM 与参考答案的一致性最高超过了90%,接近人类闪现。JudgeLM 有三个不同参数版本,分别为70亿、130亿和330亿参数,能力和显露随着参数规模的增大而提升。 此外,智源探求院还开源了一个涵盖训练和验证样本的数据集,用于深入商量大语言模型裁判。JudgeLM 的评判作用高,成本低于基于 API 的评判方法。 将来,JudgeLM 团队将逐渐完善这一裁判模型,供应更准确、高效、覆盖更多场景的大语言模型评判。 JudgeLM 相关资源: github :https://github.com/baaivision/JudgeLM arxiv :https://arxiv.org/abs/2310.17631 demo(33B) :https://218.91.113.230:9004/ (举报) (责任编辑:admin) |