LLMEval

访问官网

LLMEval是复旦大学NLP实验室的大语言模型评测研究项目已发表AAAIEMNLPACL顶会论文构建覆盖13学科22万题目的评测框架基准59个LLM主要用于学术研究而非普通消费者使用。

分类： AI开发与模型模型与训练 #学术研究 #模型与训练 #模型评估 #LLM评测 #复旦大学 #基准测试

项目概述

LLMEval是由复旦大学自然语言处理实验室（FDU-NLP Group）发起的大语言模型系统性评测研究项目，旨在构建严格、公平的LLM评估框架。该项目并非面向普通消费者的AI应用工具，而是一个学术研究驱动的评测平台，供研究人员和开发者了解不同LLM在各个学科和任务上的表现差异。

研究成果

LLMEval项目已产出一系列顶级学术论文。LLMEval-Logic（arXiv 2026）是一个中文逻辑推理评测基准，通过三阶段审计流程构建，评估LLM在对抗性加固后的逻辑推理能力。LLMEval-Fair是项目核心成果之一，构建了覆盖13个以上学科领域、包含超过220,000道生成题目的公平评测框架，旨在减少传统评测中数据污染和评分偏差等问题。LLMEval-Medical专注于医疗领域的LLM能力评估。这些研究已发表于AAAI 2024、EMNLP 2025、ACL 2026等国际顶级会议。

平台功能

LLMEval网站（llmeval.com）提供三个主要板块：论文（Papers），展示项目组已发表和预印本中的研究论文；排行榜（Leaderboard），展示59个LLM在各个评测维度上的表现排名；博客（Blog），分享评测方法论文和研究进展。项目代码开源在GitHub（github.com/llmeval），目前获得265个Star。

适用用户

LLMEval主要面向三类用户：LLM研究人员，了解不同模型的相对优势和短板，为研究方向提供参考；AI产品开发者和架构师，在选型阶段基于客观评测数据比较候选模型的能力；高校学生和学术课程参与者，学习和了解LLM评测方法论与前沿进展。普通用户如仅需日常使用AI聊天或写作功能，LLMEval并非合适的选择。