Tag: Benchmarking

All the papers with the tag "Benchmarking".

• From Knowledge to Reasoning: Evaluating LLMs for Ionic Liquids Research in Chemical and Biological Engineering

  grok-3-latest

  Score: 0.57

  Published:2025年5月11日 at  at 12:32

  #LLM, #Reasoning, #Domain Knowledge, #Benchmarking, #Carbon Capture

  本文通过构建专家标注数据集评估大型语言模型在离子液体碳捕获研究中的推理能力，揭示其领域特定推理的局限性并提出未来改进方向。

• Software Development Life Cycle Perspective: A Survey of Benchmarks for CodeLLMs and Agents

  grok-3-latest

  Score: 0.39

  Published:2025年5月8日 at  at 14:27

  #LLM, #Code Generation, #Software Engineering, #Benchmarking, #SDLC

  本文通过系统分析181个CodeLLMs和代理基准测试，揭示了SDLC各阶段评估的不平衡性，并为未来基准测试设计提供了全面指导。

• FormalMATH: Benchmarking Formal Mathematical Reasoning of Large Language Models

  grok-3-latest

  Score: 0.55

  Published:2025年5月5日 at  at 15:37

  #LLM, #Formal Reasoning, #Benchmarking, #Autoformalization, #Test Time Scaling

  本文提出 FormalMATH，一个包含 5560 个形式化数学问题的 Lean4 基准测试，通过高效的‘人在回路中’自动化形式化流程构建，并揭示了当前大型语言模型在形式化推理中的显著局限性。