Results

Compare model results reported by benchmark papers and official leaderboards. BioInspect Benchmarks are attached to their individual evaluation records.

Source-reported scores are shown as published and are not combined into a single index because benchmarks may use different metrics, model versions, prompts, and harnesses.

Results within one benchmark

Higher is better

Claude-Opus-4.6 · frontier · 4206 source prompts
0.373
Gemini-3.1-Pro · frontier · 4206 source prompts
0.365
Gemini-2.5-Pro · frontier · 4206 source prompts
0.355
Claude-Opus-4.5 · frontier · 4206 source prompts
0.353
L-Qwen3-1.7B · L-LLM · 4206 source prompts
0.346
L-LFM2-2.6B · L-LLM · 4206 source prompts
0.345
GPT-5 · frontier · 4206 source prompts
0.344
GPT-5.2 · frontier · 4206 source prompts
0.337
Grok-4.3 · frontier · 4206 source prompts
0.330
Claude-Sonnet-4.6 · frontier · 4206 source prompts
0.330
Kimi-K2.5 · frontier · 4206 source prompts
0.329
Gemini-2.5-Flash · frontier · 4206 source prompts
0.328
GPT-5-mini · frontier · 4206 source prompts
0.310
L-Qwen3.5-9B · L-LLM · 4206 source prompts
0.305
L-Qwen3-0.6B · L-LLM · 4206 source prompts
0.305
DeepSeek-R1 · frontier · 4206 source prompts
0.301
Claude-Sonnet-4.5 · frontier · 4206 source prompts
0.295
L-LFM2-1.2B · L-LLM · 4206 source prompts
0.289
GPT-4.1 · frontier · 4206 source prompts
0.286
GPT-4.1-mini · frontier · 4206 source prompts
0.277
DeepSeek-V3.2 · frontier · 4206 source prompts
0.263
Qwen3-1.7B (base) · base · 4206 source prompts
0.230
LFM2-2.6B (base) · base · 4206 source prompts
0.214
Qwen3-0.6B (base) · base · 4206 source prompts
0.179
Qwen3.5-9B (base) · base · 4206 source prompts
0.178
LFM2-1.2B (base) · base · 4206 source prompts
0.155

Cross-benchmark results matrix

Source-reported results are shown without aggregation. Blank cells indicate that the source did not report that model on the benchmark. Scores may use different metrics, variants, and evaluation harnesses and should not be treated as directly comparable across columns.

ModelLongevityBench: Aging Biology Across Omics Domains — NHANES Age / MulticlassLongevityBench: Aging Biology Across Omics Domains — NHANES Age / PairwiseLongevityBench: Aging Biology Across Omics Domains — NHANES Age / RegressionLongevityBench: Aging Biology Across Omics Domains — NHANES Mortality / BinaryLongevityBench: Aging Biology Across Omics Domains — NHANES Mortality / MulticlassLongevityBench: Aging Biology Across Omics Domains — NHANES Mortality / PairwiseLongevityBench: Aging Biology Across Omics Domains — GEO DNAm Age / MulticlassLongevityBench: Aging Biology Across Omics Domains — GEO DNAm Age / PairwiseLongevityBench: Aging Biology Across Omics Domains — GEO DNAm Age / RegressionLongevityBench: Aging Biology Across Omics Domains — GTEx Transcriptomic Age / MulticlassLongevityBench: Aging Biology Across Omics Domains — GTEx Transcriptomic Age / PairwiseLongevityBench: Aging Biology Across Omics Domains — Olink Proteomic Age / MulticlassLongevityBench: Aging Biology Across Omics Domains — Olink Proteomic Age / Pairwise (multi-cohort)LongevityBench: Aging Biology Across Omics Domains — Olink Proteomic Age / RegressionLongevityBench: Aging Biology Across Omics Domains — OpenGenes Expression / Binary (masked)LongevityBench: Aging Biology Across Omics Domains — SynergyAge Lifespan / PairwiseLongevityBench: Aging Biology Across Omics Domains — SynergyAge Lifespan / RegressionLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — cloning · tools,high · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — cloning · tools,high · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — cloning · Base · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — cloning · Base · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — cloning · tools,high · retrieveLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — cloning · Base · retrieveLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — dbqa2 · tools,high · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — dbqa2 · Base · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — figqa2 · tools,high · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — figqa2 · Base · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — figqa2-img · tools,high · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — figqa2-img · Base · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — figqa2-pdf · tools,high · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — figqa2-pdf · Base · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — litqa3 · tools,high · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — litqa3 · Base · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — patentqa · tools,high · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — patentqa · Base · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — protocolqa2 · tools,high · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — protocolqa2 · Base · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — protocolqa2 · tools,high_retry · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — seqqa2 · tools,high · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — seqqa2 · tools,high · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — seqqa2 · Base · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — seqqa2 · Base · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — seqqa2 · Base · retrieveLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — seqqa2 · tools,high · retrieveLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — seqqa2 · tools,high_retry · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — sourcequality · code,high · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — sourcequality · Base · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — suppqa2 · tools,high · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — suppqa2 · Base · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — tableqa2 · tools,high · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — tableqa2 · Base · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — tableqa2-img · tools,high · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — tableqa2-img · Base · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — tableqa2-pdf · tools,high · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — tableqa2-pdf · Base · fileLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — trialqa · tools,high · injectLAB-Bench2: Improved Benchmark for AI Systems Performing Biology Research — trialqa · Base · injectscBench: A Benchmark for Single-Cell RNA-seq Analysis — V1 · current official leaderboardscBench: A Benchmark for Single-Cell RNA-seq Analysis — Anthropic report · SingleCellBenchscBench: A Benchmark for Single-Cell RNA-seq Analysis — V0 · legacy July 2026 leaderboardscBench: A Benchmark for Single-Cell RNA-seq Analysis — Original paper resultsSpatialBench: Can Agents Analyze Real-World Spatial Biology Data? — V1 · current official leaderboardSpatialBench: Can Agents Analyze Real-World Spatial Biology Data? — Anthropic report · SpatialBench VerifiedSpatialBench: Can Agents Analyze Real-World Spatial Biology Data? — V0 · legacy July 2026 leaderboardSpatialBench: Can Agents Analyze Real-World Spatial Biology Data? — Original paper resultsSpatialBench-Long: Verifiable Long-Horizon Spatial Biology — V1 · current official leaderboardSpatialBench-Long: Verifiable Long-Horizon Spatial Biology — V0 · legacy July 2026 leaderboardSpatialBench-Long: Verifiable Long-Horizon Spatial Biology — Original paper resultsscBench-Long: Verifiable Long-Horizon Single-Cell Biology — V1 · current official leaderboardscBench-Long: Verifiable Long-Horizon Single-Cell Biology — V0 · legacy July 2026 leaderboardscBench-Long: Verifiable Long-Horizon Single-Cell Biology — Original paper resultsEpiBench: Epigenomics Analysis — V1 · current official leaderboardTxBench: Oligonucleotide Discovery — V1 · current official leaderboardVariantBench: Genetic Variant Discovery and Interpretation — V1 · current official leaderboardTxBench: Antibody Discovery — V1 · current official leaderboardTxBench: Preclinical Pharmacology — V1 · current official leaderboardMetagenomicsBench: Microbial Community Analysis — V1 · current official leaderboardBioMysteryBench — Vals AI · overall · Terminus 2BixBench3: Research-Study-Scale Computational Biology — 20-task cohort · artifact gradingTerminal-Bench Science 0.1 — Life SciencesBioStudyBench: Post-Cutoff Biomedical Studies — With data and toolsBioStudyBench: Post-Cutoff Biomedical Studies — Prior knowledge · no data or toolsHealthBench: Evaluating Large Language Models Towards Improved Human Health — Anthropic · HealthBench · rawHealthBench: Evaluating Large Language Models Towards Improved Human Health — Anthropic · HealthBench · length-adjustedHealthBench: Evaluating Large Language Models Towards Improved Human Health — OpenAI · HealthBench · length-adjustedHealthBench: Evaluating Large Language Models Towards Improved Human Health — OpenAI · HealthBench · rawHealthBench: Evaluating Large Language Models Towards Improved Human Health — OpenAI · HealthBench Professional · length-adjustedHealthBench: Evaluating Large Language Models Towards Improved Human Health — OpenAI · HealthBench Professional · rawHealthBench: Evaluating Large Language Models Towards Improved Human Health — OpenAI · HealthBench Hard · length-adjustedHealthBench: Evaluating Large Language Models Towards Improved Human Health — OpenAI · HealthBench Hard · rawHealthBench: Evaluating Large Language Models Towards Improved Human Health — OpenAI · HealthBench Consensus · length-adjustedHealthBench: Evaluating Large Language Models Towards Improved Human Health — OpenAI · HealthBench Consensus · rawSWE-bench Science — Biology & BMELifeSciBench: Realistic, Expert-Level Life Science Tasks — Gold v1 · OpenAI reportLifeSciBench: Realistic, Expert-Level Life Science Tasks — Original paper resultsBiomniBench-DataAnalysis (Biomni-DA-v0)GeneBench-Pro: Multistage Statistical Reasoning in Genomics & Biology — Pro v13 · OpenAI reportGeneBench-Pro: Multistage Statistical Reasoning in Genomics & Biology — Original paper resultsBixBenchBixBench-Verified-50PubMedQA: A Dataset for Biomedical Research Question AnsweringLAB-Bench: Measuring Capabilities of Language Models for Biology Research — ProtocolQA Open-Ended · OpenAI adaptation
Biomni Lab (2026-02-03) · Biomni-DA-v0 · 15 tasks———————————————————————————————————————————————————————————————————————————————————————————————65.0%——————
Biomni Lab (2026-02-03) · agent——————————————————————————————————————————————————————————————————————————————————————————————————52.2%———
Biomni Lab (2026-02-03) · verified 50-task subset———————————————————————————————————————————————————————————————————————————————————————————————————88.7%——
Claude Code (Opus 4.6) · Biomni-DA-v0 · 15 tasks———————————————————————————————————————————————————————————————————————————————————————————————47.8%——————
Claude Code (Opus 4.6) · agent——————————————————————————————————————————————————————————————————————————————————————————————————39.5%———
Claude Code (Opus 4.6) · verified 50-task subset———————————————————————————————————————————————————————————————————————————————————————————————————65.3%——
Claude Fable 5.1* · Claude Code—————————————————————————————————————————————————————————60.5%———67.5%———29.8%——25.6%——31.8%54.9%40.7%63.3%59.7%61.7%—————————————————————————
Claude Haiku 5.5 · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————70.4%————————————————————————
Claude Opus 4.5————————————————————————————————————————————————————————————49.9%———38.4%—————————————————————————————————————
Claude Opus 4.5 · Sophon-reported————————————————————————————————————————————————————————————————————————————————————————————————————77.5%—
Claude Opus 4.6————————————————————————————————————————————————————————————52.8%—————————————————————————————————————————
Claude Opus 4.7 · Claude Code—————————————————————————————————————————————————————————52.5%———56.5%———29.8%——11.4%——18.9%31.3%33.0%36.0%42.3%——————————————————————————
Claude Opus 4.7 · Pi—————————————————————————————————————————————————————————50.8%———54.8%———26.2%——11.4%——22.6%31.9%35.0%31.7%45.3%35.3%—————————————————————————
Claude Opus 4.8—————————————————————————————————————————————————————————————————————————————————————————————————16.0%————
Claude Opus 4.8 · Claude Code—————————————————————————————————————————————————————————56.2%———67.0%———27.4%——21.0%——20.4%36.0%42.4%35.3%54.3%50.0%—————————————————————————
Claude Opus 4.8 · Claude Code harness——————————————————————————————————————————————————————————————————————25.4%———————————————————————————————
Claude Opus 4.8 · Pi—————————————————————————————————————————————————————————57.1%———65.8%———33.3%——16.5%——25.8%37.5%42.4%33.3%57.7%48.3%—————————————————————————
Claude Opus 5 · Claude Code—————————————————————————————————————————————————————————57.6%———68.4%———30.9%——24.4%——20.8%48.4%52.8%48.0%59.7%53.3%—————————————————————————
Claude Opus 5 · Pi—————————————————————————————————————————————————————————58.3%———68.4%———28.0%——27.3%——25.2%42.5%50.6%48.7%63.0%54.0%—————————————————————————
Claude Opus 5 · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————79.3%————————————————————————
Claude Opus 5.5 · 25 tasks × 3 repeats————————————————————————————————————————————————————————————————————————————————93.3%46.7%————————————————————
Claude Opus 5.5 · Claude Code—————————————————————————————————————————————————————————56.4%———69.6%———19.6%——13.6%——38.7%1.2%49.7%8.0%30.7%43.7%—————————————————————————
Claude Opus 5.5 · HealthBench · length-adjusted · Opus 4.8 grader———————————————————————————————————————————————————————————————————————————————————60.6%——————————————————
Claude Opus 5.5 · HealthBench · raw · Opus 4.8 grader——————————————————————————————————————————————————————————————————————————————————68.1%———————————————————
Claude Opus 5.5 · Pi—————————————————————————————————————————————————————————55.4%———72.8%———20.2%——6.8%——39.0%1.5%50.6%8.3%26.3%39.3%—————————————————————————
Claude Opus 5.5 · SingleCellBench · Anthropic evaluation——————————————————————————————————————————————————————————61.2%———————————————————————————————————————————
Claude Opus 5.5 · SpatialBench Verified · Anthropic evaluation——————————————————————————————————————————————————————————————72.0%———————————————————————————————————————
Claude Opus 5.5 · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————79.3%————————————————————————
Claude Opus 5.5* · Claude Code—————————————————————————————————————————————————————————61.5%———68.7%———40.5%——32.4%——39.6%62.2%48.9%67.7%65.0%62.7%—————————————————————————
Claude Opus 5.5* · Pi—————————————————————————————————————————————————————————61.9%———69.0%———39.3%——36.9%——37.4%59.9%48.6%66.7%65.3%62.3%—————————————————————————
Claude Sonnet 4.5————————————————————————————————————————————————————————————44.2%———28.3%—————————————————————————————————————
Claude Sonnet 4.5 · Sophon-reported————————————————————————————————————————————————————————————————————————————————————————————————————0.0%—
Claude Sonnet 4.6 · Claude Code—————————————————————————————————————————————————————————41.7%———53.3%———17.3%——10.2%——17.3%28.0%26.3%24.3%33.3%28.3%—————————————————————————
Claude Sonnet 4.6 · Pi—————————————————————————————————————————————————————————39.5%———53.9%———22.6%——8.5%——18.9%30.1%31.1%26.3%34.3%27.7%—————————————————————————
Claude Sonnet 5 · Claude Code—————————————————————————————————————————————————————————53.8%———65.8%———20.2%——15.9%——21.7%33.9%39.0%32.0%49.3%41.0%—————————————————————————
Claude Sonnet 5 · Pi—————————————————————————————————————————————————————————55.6%———66.7%———24.4%——15.9%——19.5%36.6%39.8%27.7%49.3%42.3%—————————————————————————
Claude Sonnet 5.5 · Claude Code—————————————————————————————————————————————————————————59.2%———70.1%———36.5%——31.8%——28.9%51.9%51.1%57.3%62.3%60.0%—————————————————————————
Claude Sonnet 5.5 · HealthBench · raw · Opus 4.8 grader——————————————————————————————————————————————————————————————————————————————————69.4%———————————————————
Claude Sonnet 5.5 · Pi—————————————————————————————————————————————————————————60.3%———72.8%———34.9%——30.3%——30.2%51.9%51.7%54.7%64.3%60.0%—————————————————————————
Claude Sonnet 5.5 · SingleCellBench · Anthropic evaluation——————————————————————————————————————————————————————————59.1%———————————————————————————————————————————
Claude Sonnet 5.5 · SpatialBench Verified · Anthropic evaluation——————————————————————————————————————————————————————————————72.5%———————————————————————————————————————
Claude Sonnet 5.5 · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————81.1%————————————————————————
Claude-Opus-4.5 · frontier———————————0.359—22.7 yr0.5980.846——————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.5 · frontier · 1363 source prompts————0.302—————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.5 · frontier · 1615 source prompts————————————0.618—————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.5 · frontier · 2102 source prompts—0.769————————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.5 · frontier · 26 source prompts————————————————12.0 yr—————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.5 · frontier · 3889 source prompts—————0.657————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.5 · frontier · 4206 source prompts0.353—12.5 yr0.817——————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.5 · frontier · 500 source prompts——————0.2570.59014.5 yr—————————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.5 · frontier · 900 source prompts—————————0.2860.531———————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.6 · frontier———————————0.345—17.9 yr0.6620.654——————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.6 · frontier · 1363 source prompts————0.346—————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.6 · frontier · 1615 source prompts————————————0.645—————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.6 · frontier · 2102 source prompts—0.782————————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.6 · frontier · 26 source prompts————————————————13.8 yr—————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.6 · frontier · 3889 source prompts—————0.665————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.6 · frontier · 4206 source prompts0.373—12.7 yr0.834——————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.6 · frontier · 500 source prompts——————0.2310.62815.4 yr—————————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-4.6 · frontier · 900 source prompts—————————0.3150.531———————————————————————————————————————————————————————————————————————————————————————————
Claude-Opus-5 (max) · Claude Code · max————————————————————————————————————————————————————————————————————————————————————————————68.0%—————————
Claude-Sonnet-4.5 · frontier———————————0.219—52.6 yr0.5930.808——————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.5 · frontier · 1363 source prompts————0.284—————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.5 · frontier · 1615 source prompts————————————0.639—————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.5 · frontier · 2102 source prompts—0.724————————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.5 · frontier · 26 source prompts————————————————18.2 yr—————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.5 · frontier · 3889 source prompts—————0.652————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.5 · frontier · 4206 source prompts0.295—14.3 yr0.827——————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.5 · frontier · 500 source prompts——————0.1650.58418.1 yr—————————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.5 · frontier · 900 source prompts—————————0.3080.526———————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.6 · frontier———————————0.328—10.8 yr0.6520.808——————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.6 · frontier · 1363 source prompts————0.326—————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.6 · frontier · 1615 source prompts————————————0.620—————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.6 · frontier · 2102 source prompts—0.716————————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.6 · frontier · 26 source prompts————————————————19.5 yr—————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.6 · frontier · 3889 source prompts—————0.658————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.6 · frontier · 4206 source prompts0.330—13.1 yr0.811——————————————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.6 · frontier · 500 source prompts——————0.1980.60815.8 yr—————————————————————————————————————————————————————————————————————————————————————————————
Claude-Sonnet-4.6 · frontier · 900 source prompts—————————0.3370.536———————————————————————————————————————————————————————————————————————————————————————————
DeepSeek V4 Flash 0731 · Terminus 2 · high—————————————————————————————————————————————————————————————————————————————64.4%————————————————————————
DeepSeek V4 Pro (max) · Codex · max———————————————————————————————————————————————————————————————————————————————0.0%——————————————————————
DeepSeek V4.1 Flash (max) · Codex · max———————————————————————————————————————————————————————————————————————————————10.5%——————————————————————
DeepSeek V4.1 Flash · 25 tasks × 3 repeats————————————————————————————————————————————————————————————————————————————————76.0%25.3%————————————————————
DeepSeek V4.1 Flash · Pi—————————————————————————————————————————————————————————54.7%———63.2%———26.2%——14.8%——25.5%34.8%31.1%—46.7%38.0%—————————————————————————
DeepSeek V4.1 Flash · Terminus 2 · high—————————————————————————————————————————————————————————————————————————————67.8%————————————————————————
DeepSeek-R1 · frontier———————————0.271—10.7 yr0.6220.808——————————————————————————————————————————————————————————————————————————————————————
DeepSeek-R1 · frontier · 1363 source prompts————0.296—————————————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-R1 · frontier · 1615 source prompts————————————0.640—————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-R1 · frontier · 2102 source prompts—0.679————————————————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-R1 · frontier · 26 source prompts————————————————18.0 yr—————————————————————————————————————————————————————————————————————————————————————
DeepSeek-R1 · frontier · 3889 source prompts—————0.639————————————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-R1 · frontier · 4206 source prompts0.301—15.9 yr0.556——————————————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-R1 · frontier · 500 source prompts——————0.1020.53821.3 yr—————————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-R1 · frontier · 900 source prompts—————————0.1830.519———————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-V3.2 · frontier———————————0.188—16.5 yr0.4670.731——————————————————————————————————————————————————————————————————————————————————————
DeepSeek-V3.2 · frontier · 1363 source prompts————0.262—————————————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-V3.2 · frontier · 1615 source prompts————————————0.581—————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-V3.2 · frontier · 2102 source prompts—0.537————————————————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-V3.2 · frontier · 26 source prompts————————————————21.3 yr—————————————————————————————————————————————————————————————————————————————————————
DeepSeek-V3.2 · frontier · 3889 source prompts—————0.518————————————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-V3.2 · frontier · 4206 source prompts0.263—13.9 yr0.700——————————————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-V3.2 · frontier · 500 source prompts——————0.1340.58815.0 yr—————————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-V3.2 · frontier · 900 source prompts—————————0.2160.494———————————————————————————————————————————————————————————————————————————————————————————
DeepSeek-V4-Pro (max) · Claude Code · max————————————————————————————————————————————————————————————————————————————————————————————60.0%—————————
DeepSeek-V4-flash (max) · Claude Code · max————————————————————————————————————————————————————————————————————————————————————————————36.0%—————————
Edison Analysis · Biomni-DA-v0 · 15 tasks———————————————————————————————————————————————————————————————————————————————————————————————52.7%——————
Edison Analysis · agent——————————————————————————————————————————————————————————————————————————————————————————————————42.4%———
Edison Analysis · verified 50-task subset———————————————————————————————————————————————————————————————————————————————————————————————————78.0%——
Ember 1 · Terminus 2—————————————————————————————————————————————————————————————————————————————67.0%————————————————————————
Fable 5 (max) · Claude Code · max———————————————————————————————————————————————————————————————————————————————17.5%——————————————————————
Fable 5.1 (max) · Claude Code · max———————————————————————————————————————————————————————————————————————————————38.6%——————————————————————
GLM 5.3 (max) · Claude Code · max———————————————————————————————————————————————————————————————————————————————10.5%——————————————————————
GLM 5.3 · 25 tasks × 3 repeats————————————————————————————————————————————————————————————————————————————————81.3%26.7%————————————————————
GLM-5.2 (max) · Codex · max————————————————————————————————————————————————————————————————————————————————————————————44.0%—————————
GPT-4.1 · frontier———————————0.294—10.8 yr0.4770.846——————————————————————————————————————————————————————————————————————————————————————
GPT-4.1 · frontier · 1363 source prompts————0.319—————————————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1 · frontier · 1615 source prompts————————————0.500—————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1 · frontier · 2102 source prompts—0.713————————————————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1 · frontier · 26 source prompts————————————————19.2 yr—————————————————————————————————————————————————————————————————————————————————————
GPT-4.1 · frontier · 3889 source prompts—————0.637————————————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1 · frontier · 4206 source prompts0.286—14.2 yr0.831——————————————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1 · frontier · 500 source prompts——————0.0980.51824.3 yr—————————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1 · frontier · 900 source prompts—————————0.1870.493———————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1-mini · frontier———————————0.248—10.4 yr0.4530.731——————————————————————————————————————————————————————————————————————————————————————
GPT-4.1-mini · frontier · 1363 source prompts————0.292—————————————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1-mini · frontier · 1615 source prompts————————————0.536—————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1-mini · frontier · 2102 source prompts—0.650————————————————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1-mini · frontier · 26 source prompts————————————————18.1 yr—————————————————————————————————————————————————————————————————————————————————————
GPT-4.1-mini · frontier · 3889 source prompts—————0.610————————————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1-mini · frontier · 4206 source prompts0.277—15.1 yr0.785——————————————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1-mini · frontier · 500 source prompts——————0.1580.58014.5 yr—————————————————————————————————————————————————————————————————————————————————————————————
GPT-4.1-mini · frontier · 900 source prompts—————————0.1510.487———————————————————————————————————————————————————————————————————————————————————————————
GPT-4o / Claude 3.5 Sonnet · open-answer (original paper)——————————————————————————————————————————————————————————————————————————————————————————————————17.0%———
GPT-5 · frontier———————————0.194—17.2 yr0.6680.808——————————————————————————————————————————————————————————————————————————————————————
GPT-5 · frontier · 1363 source prompts————0.363—————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5 · frontier · 1615 source prompts————————————0.649—————————————————————————————————————————————————————————————————————————————————————————
GPT-5 · frontier · 2102 source prompts—0.705————————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5 · frontier · 26 source prompts————————————————19.2 yr—————————————————————————————————————————————————————————————————————————————————————
GPT-5 · frontier · 3889 source prompts—————0.666————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5 · frontier · 4206 source prompts0.344—13.3 yr0.874——————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5 · frontier · 500 source prompts——————0.1650.65416.5 yr—————————————————————————————————————————————————————————————————————————————————————————————
GPT-5 · frontier · 900 source prompts—————————0.1570.532———————————————————————————————————————————————————————————————————————————————————————————
GPT-5-mini · frontier———————————0.217—13.9 yr0.6250.846——————————————————————————————————————————————————————————————————————————————————————
GPT-5-mini · frontier · 1363 source prompts————0.352—————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5-mini · frontier · 1615 source prompts————————————0.636—————————————————————————————————————————————————————————————————————————————————————————
GPT-5-mini · frontier · 2102 source prompts—0.693————————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5-mini · frontier · 26 source prompts————————————————17.2 yr—————————————————————————————————————————————————————————————————————————————————————
GPT-5-mini · frontier · 3889 source prompts—————0.672————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5-mini · frontier · 4206 source prompts0.310—13.5 yr0.873——————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5-mini · frontier · 500 source prompts——————0.1830.64217.6 yr—————————————————————————————————————————————————————————————————————————————————————————————
GPT-5-mini · frontier · 900 source prompts—————————0.2560.544———————————————————————————————————————————————————————————————————————————————————————————
GPT-5.1————————————————————————————————————————————————————————————37.9%———27.4%—————————————————————————————————————
GPT-5.2————————————————————————————————————————————————————————————45.2%———34.0%—————————————————————————————————————
GPT-5.2 · frontier———————————0.283—13.5 yr0.5030.808——————————————————————————————————————————————————————————————————————————————————————
GPT-5.2 · frontier · 1363 source prompts————0.308—————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5.2 · frontier · 1615 source prompts————————————0.616—————————————————————————————————————————————————————————————————————————————————————————
GPT-5.2 · frontier · 2102 source prompts—0.752————————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5.2 · frontier · 26 source prompts————————————————15.6 yr—————————————————————————————————————————————————————————————————————————————————————
GPT-5.2 · frontier · 3889 source prompts—————0.645————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5.2 · frontier · 4206 source prompts0.337—12.2 yr0.844——————————————————————————————————————————————————————————————————————————————————————————————————
GPT-5.2 · frontier · 500 source prompts——————0.2310.60415.4 yr—————————————————————————————————————————————————————————————————————————————————————————————
GPT-5.2 · frontier · 900 source prompts—————————0.2520.522———————————————————————————————————————————————————————————————————————————————————————————
GPT-5.4——————————————————————————————————————————————————————————————————————————————————————————————47.9%———————
GPT-5.5——————————————————————————————————————————————————————————————————————————————————————————————51.9%———————
GPT-5.5 · OpenAI Codex harness———————————————————————————————————————————————————————————————————11.1%——————————————————————————————————
GPT-5.5 · Pi—————————————————————————————————————————————————————————57.1%———64.1%———32.1%——21.6%——28.3%33.9%30.5%33.0%55.3%——————————————————————————
GPT-5.5 · Pi harness———————————————————————————————————————————————————————————————————11.1%——————————————————————————————————
GPT-5.6 Luna (max) · Codex · max———————————————————————————————————————————————————————————————————————————————1.8%——————————————————————
GPT-5.6 Luna · Codex—————————————————————————————————————————————————————————48.9%———58.6%———25.0%——9.7%——19.8%23.0%27.1%18.7%43.7%24.3%—————————————————————————
GPT-5.6 Luna · Pi—————————————————————————————————————————————————————————50.3%———60.9%———22.6%——13.1%——18.9%23.0%24.0%19.3%43.3%22.7%—————————————————————————
GPT-5.6 Luna · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————61.5%————————————————————————
GPT-5.6 Sol—————————————————————————————————————————————————————————————————————————————————————————————————28.7%————
GPT-5.6 Sol (max) · Codex · max———————————————————————————————————————————————————————————————————————————————17.5%——————————————————————
GPT-5.6 Sol Pro · max reasoning—————————————————————————————————————————————————————————————————————————————————————————————————31.5%————
GPT-5.6 Sol · Best reported effort—————————————————————————————————————————————————————————————————————————————————————————————59.9%——32.3%—————
GPT-5.6 Sol · Codex—————————————————————————————————————————————————————————59.8%———68.1%———36.3%——29.5%——25.8%37.2%34.2%37.0%—28.7%—————————————————————————
GPT-5.6 Sol · Codex harness——————————————————————————————————————————————————————————————————38.9%———————————————————————————————————
GPT-5.6 Sol · Codex harness · verified subset———————————————————————————————————————————————————————————————74.5%——————————————————————————————————————
GPT-5.6 Sol · Pi—————————————————————————————————————————————————————————58.8%———67.5%———37.5%——27.8%——21.4%36.0%35.3%37.3%61.3%31.3%—————————————————————————
GPT-5.6 Sol · Pi harness———————————————————————————————————————————————————————————62.1%—————————38.1%————————————————————————————————
GPT-5.6 Sol · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————71.1%————————————————————————
GPT-5.6 Terra (max) · Codex · max———————————————————————————————————————————————————————————————————————————————7.0%——————————————————————
GPT-5.6-sol (max) · Codex · max————————————————————————————————————————————————————————————————————————————————————————————44.0%—————————
GPT-6 Astra (max) · Codex · max———————————————————————————————————————————————————————————————————————————————59.6%————————————64.0%—————————
GPT-6 Astra · 25 tasks × 3 repeats————————————————————————————————————————————————————————————————————————————————94.7%50.7%————————————————————
GPT-6 Astra · Best reported effort—————————————————————————————————————————————————————————————————————————————————————————————60.3%——37.1%—————
GPT-6 Astra · Codex—————————————————————————————————————————————————————————63.4%———67.5%———39.3%——25.0%——24.2%50.7%45.2%52.7%59.3%49.7%—————————————————————————
GPT-6 Astra · Pi—————————————————————————————————————————————————————————63.9%———66.7%———37.5%——27.3%——28.3%51.9%46.6%56.0%59.3%47.0%—————————————————————————
GPT-6 Astra · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————79.3%————————————————————————
GPT-6 Luna · 25 tasks × 3 repeats————————————————————————————————————————————————————————————————————————————————74.7%24.0%————————————————————
GPT-6 Luna · Pi—————————————————————————————————————————————————————————53.8%———59.7%———23.2%——10.8%——19.2%33.6%27.7%34.0%44.3%30.7%—————————————————————————
GPT-6 Luna · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————61.5%————————————————————————
GPT-6 Sol · Pi—————————————————————————————————————————————————————————61.5%———67.5%———31.6%——28.4%——22.0%43.1%38.7%43.3%63.0%42.0%—————————————————————————
GPT-6 Sol · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————74.8%————————————————————————
GPT-6.1 Sol · Codex—————————————————————————————————————————————————————————63.6%———67.0%———39.9%——25.0%——24.8%49.6%43.2%45.7%55.0%——————————————————————————
GPT-6.1 Sol · HealthBench Consensus · length-adjusted · OpenAI report——————————————————————————————————————————————————————————————————————————————————————————96.0%———————————
GPT-6.1 Sol · HealthBench Consensus · raw · OpenAI report———————————————————————————————————————————————————————————————————————————————————————————95.9%——————————
GPT-6.1 Sol · HealthBench Hard · length-adjusted · OpenAI report————————————————————————————————————————————————————————————————————————————————————————36.2%—————————————
GPT-6.1 Sol · HealthBench Hard · raw · OpenAI report—————————————————————————————————————————————————————————————————————————————————————————33.4%————————————
GPT-6.1 Sol · HealthBench Professional · length-adjusted · OpenAI report——————————————————————————————————————————————————————————————————————————————————————64.2%———————————————
GPT-6.1 Sol · HealthBench Professional · raw · OpenAI report———————————————————————————————————————————————————————————————————————————————————————67.2%——————————————
GPT-6.1 Sol · HealthBench · length-adjusted · OpenAI report————————————————————————————————————————————————————————————————————————————————————58.5%—————————————————
GPT-6.1 Sol · HealthBench · raw · OpenAI report—————————————————————————————————————————————————————————————————————————————————————56.7%————————————————
GPT-6.1 Sol · Pi—————————————————————————————————————————————————————————62.9%———67.3%———38.7%——26.7%——28.3%52.5%46.1%49.7%59.7%——————————————————————————
GPT-6.1 Sol · ProtocolQA Open-Ended · adapted variant—————————————————————————————————————————————————————————————————————————————————————————————————————40.7%
GPT-6.1 Sol · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————79.6%————————————————————————
GPT-Rosalind——————————————————————————————————————————————————————————————————————————————————————————————57.6%———————
Gemini 2.5 Pro————————————————————————————————————————————————————————————29.2%———20.1%—————————————————————————————————————
Gemini 3.1 Pro——————————————————————————————————————————————————————————————————————————————————————————————51.5%———————
Gemini 3.1 Pro Preview · Terminus 2 · high—————————————————————————————————————————————————————————————————————————————60.0%————————————————————————
Gemini 3.5 Flash—————————————————————————————————————————————————————————————————————————————————————————————————8.1%————
Gemini 3.5 Flash · PI harness——————————————————————————————————————————————————————————————————————22.2%———————————————————————————————
Gemini 3.5 Flash · Pi harness———————————————————————————————————————————————————————————————————11.1%——————————————————————————————————
Gemini 3.6 Flash · Terminus 2 · high—————————————————————————————————————————————————————————————————————————————58.5%————————————————————————
Gemini 3.7 Flash (high) · mini-SWE-agent · high———————————————————————————————————————————————————————————————————————————————8.8%——————————————————————
Gemini 3.7 Flash · Pi—————————————————————————————————————————————————————————50.4%———59.1%———29.8%——18.8%——22.0%37.8%31.4%50.7%55.3%31.7%—————————————————————————
Gemini 3.8 Flash (high) · mini-SWE-agent · high———————————————————————————————————————————————————————————————————————————————14.0%——————————————————————
Gemini 3.8 Flash · 25 tasks × 3 repeats————————————————————————————————————————————————————————————————————————————————94.7%40.0%————————————————————
Gemini 3.8 Flash · Pi—————————————————————————————————————————————————————————34.0%———59.4%———28.6%——19.9%——21.4%35.1%31.4%49.0%54.7%26.7%—————————————————————————
Gemini 3.8 Flash · Terminus 2 · high—————————————————————————————————————————————————————————————————————————————62.2%————————————————————————
Gemini 4 Argon · Terminus 2 · high—————————————————————————————————————————————————————————————————————————————76.3%————————————————————————
Gemini-2.5-Flash · frontier———————————0.230—11.5 yr0.5770.654——————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Flash · frontier · 1363 source prompts————0.268—————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Flash · frontier · 1615 source prompts————————————0.581—————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Flash · frontier · 2102 source prompts—0.690————————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Flash · frontier · 26 source prompts————————————————21.1 yr—————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Flash · frontier · 3889 source prompts—————0.633————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Flash · frontier · 4206 source prompts0.328—14.0 yr0.448——————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Flash · frontier · 500 source prompts——————0.1190.57220.5 yr—————————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Flash · frontier · 900 source prompts—————————0.1440.539———————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Pro · frontier———————————0.187—13.8 yr0.5980.654——————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Pro · frontier · 1363 source prompts————0.259—————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Pro · frontier · 1615 source prompts————————————0.612—————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Pro · frontier · 2102 source prompts—0.741————————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Pro · frontier · 26 source prompts————————————————22.1 yr—————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Pro · frontier · 3889 source prompts—————0.640————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Pro · frontier · 4206 source prompts0.355—12.8 yr0.539——————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Pro · frontier · 500 source prompts——————0.0480.60624.7 yr—————————————————————————————————————————————————————————————————————————————————————————————
Gemini-2.5-Pro · frontier · 900 source prompts—————————0.2470.526———————————————————————————————————————————————————————————————————————————————————————————
Gemini-3.1-Pro · frontier———————————0.236—17.6 yr0.6770.846——————————————————————————————————————————————————————————————————————————————————————
Gemini-3.1-Pro · frontier · 1363 source prompts————0.380—————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-3.1-Pro · frontier · 1615 source prompts————————————0.703—————————————————————————————————————————————————————————————————————————————————————————
Gemini-3.1-Pro · frontier · 2102 source prompts—0.797————————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-3.1-Pro · frontier · 26 source prompts————————————————15.1 yr—————————————————————————————————————————————————————————————————————————————————————
Gemini-3.1-Pro · frontier · 3889 source prompts—————0.684————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-3.1-Pro · frontier · 4206 source prompts0.365—12.1 yr0.883——————————————————————————————————————————————————————————————————————————————————————————————————
Gemini-3.1-Pro · frontier · 500 source prompts——————0.2280.61416.2 yr—————————————————————————————————————————————————————————————————————————————————————————————
Gemini-3.1-Pro · frontier · 900 source prompts—————————0.3600.528———————————————————————————————————————————————————————————————————————————————————————————
Grok 4.3——————————————————————————————————————————————————————————————————————————————————————————————39.9%———————
Grok 4.6 (xhigh) · Grok Build · xhigh———————————————————————————————————————————————————————————————————————————————7.0%——————————————————————
Grok 4.6 · Grok Build—————————————————————————————————————————————————————————57.6%———66.1%———27.4%——15.9%——21.1%44.3%39.0%51.7%57.0%42.0%—————————————————————————
Grok 4.6 · Pi—————————————————————————————————————————————————————————59.2%———67.3%———26.2%——16.5%——23.6%46.0%40.4%53.0%61.7%38.7%—————————————————————————
Grok 4.6 · Terminus 2 · high—————————————————————————————————————————————————————————————————————————————72.2%————————————————————————
Grok 4.7 (xhigh) · Grok Build · xhigh———————————————————————————————————————————————————————————————————————————————12.3%——————————————————————
Grok 4.7 · Grok Build—————————————————————————————————————————————————————————58.5%———69.6%———24.4%——11.4%——20.8%41.9%45.5%52.0%54.7%48.7%—————————————————————————
Grok 4.7 · Terminus 2 · xhigh—————————————————————————————————————————————————————————————————————————————69.3%————————————————————————
Grok-4————————————————————————————————————————————————————————————33.9%———22.8%—————————————————————————————————————
Grok-4.1————————————————————————————————————————————————————————————35.6%———24.7%—————————————————————————————————————
Grok-4.3 · frontier———————————0.289—11.1 yr0.6430.769——————————————————————————————————————————————————————————————————————————————————————
Grok-4.3 · frontier · 1363 source prompts————0.325—————————————————————————————————————————————————————————————————————————————————————————————————
Grok-4.3 · frontier · 1615 source prompts————————————0.645—————————————————————————————————————————————————————————————————————————————————————————
Grok-4.3 · frontier · 2102 source prompts—0.730————————————————————————————————————————————————————————————————————————————————————————————————————
Grok-4.3 · frontier · 26 source prompts————————————————20.1 yr—————————————————————————————————————————————————————————————————————————————————————
Grok-4.3 · frontier · 3889 source prompts—————0.659————————————————————————————————————————————————————————————————————————————————————————————————
Grok-4.3 · frontier · 4206 source prompts0.330—13.0 yr0.773——————————————————————————————————————————————————————————————————————————————————————————————————
Grok-4.3 · frontier · 500 source prompts——————0.1720.62815.9 yr—————————————————————————————————————————————————————————————————————————————————————————————
Grok-4.3 · frontier · 900 source prompts—————————0.1940.534———————————————————————————————————————————————————————————————————————————————————————————
Hy4 Preview · Terminus 2—————————————————————————————————————————————————————————————————————————————69.3%————————————————————————
Intern-S2-Preview-397B (max) · Claude Code · max————————————————————————————————————————————————————————————————————————————————————————————28.0%—————————
Junior scientists · human comparison group———————————————————————————————————————————————————————————————————————————————————————————————48.5%——————
Kimi K3 (max) · Claude Code · max———————————————————————————————————————————————————————————————————————————————7.0%——————————————————————
Kimi K3 · Pi—————————————————————————————————————————————————————————47.5%———63.5%———22.6%——14.2%——15.7%31.3%31.4%35.3%39.7%27.3%—————————————————————————
Kimi K3 · Terminus 2 · max—————————————————————————————————————————————————————————————————————————————72.6%————————————————————————
Kimi-K2.5 · frontier———————————0.230—10.1 yr0.6160.833——————————————————————————————————————————————————————————————————————————————————————
Kimi-K2.5 · frontier · 1363 source prompts————0.335—————————————————————————————————————————————————————————————————————————————————————————————————
Kimi-K2.5 · frontier · 1615 source prompts————————————0.641—————————————————————————————————————————————————————————————————————————————————————————
Kimi-K2.5 · frontier · 2102 source prompts—0.737————————————————————————————————————————————————————————————————————————————————————————————————————
Kimi-K2.5 · frontier · 26 source prompts————————————————15.8 yr—————————————————————————————————————————————————————————————————————————————————————
Kimi-K2.5 · frontier · 3889 source prompts—————0.643————————————————————————————————————————————————————————————————————————————————————————————————
Kimi-K2.5 · frontier · 4206 source prompts0.329—12.4 yr0.800——————————————————————————————————————————————————————————————————————————————————————————————————
Kimi-K2.5 · frontier · 500 source prompts——————0.1660.68520.3 yr—————————————————————————————————————————————————————————————————————————————————————————————
Kimi-K2.5 · frontier · 900 source prompts—————————0.2180.557———————————————————————————————————————————————————————————————————————————————————————————
Kimi-K3 (max) · Kimi Code · max————————————————————————————————————————————————————————————————————————————————————————————52.0%—————————
L-LFM2-1.2B · L-LLM———————————0.277—8.5 yr0.7800.538——————————————————————————————————————————————————————————————————————————————————————
L-LFM2-1.2B · L-LLM · 1363 source prompts————0.353—————————————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-1.2B · L-LLM · 1615 source prompts————————————0.771—————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-1.2B · L-LLM · 2102 source prompts—0.787————————————————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-1.2B · L-LLM · 26 source prompts————————————————17.7 yr—————————————————————————————————————————————————————————————————————————————————————
L-LFM2-1.2B · L-LLM · 3889 source prompts—————0.672————————————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-1.2B · L-LLM · 4206 source prompts0.289—21.1 yr0.885——————————————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-1.2B · L-LLM · 500 source prompts——————0.1130.57827.4 yr—————————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-1.2B · L-LLM · 900 source prompts—————————0.3740.572———————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-2.6B · L-LLM———————————0.399—7.2 yr0.7740.577——————————————————————————————————————————————————————————————————————————————————————
L-LFM2-2.6B · L-LLM · 1363 source prompts————0.361—————————————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-2.6B · L-LLM · 1615 source prompts————————————0.800—————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-2.6B · L-LLM · 2102 source prompts—0.807————————————————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-2.6B · L-LLM · 26 source prompts————————————————13.7 yr—————————————————————————————————————————————————————————————————————————————————————
L-LFM2-2.6B · L-LLM · 3889 source prompts—————0.639————————————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-2.6B · L-LLM · 4206 source prompts0.345—14.8 yr0.887——————————————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-2.6B · L-LLM · 500 source prompts——————0.1080.72620.2 yr—————————————————————————————————————————————————————————————————————————————————————————————
L-LFM2-2.6B · L-LLM · 900 source prompts—————————0.4100.590———————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-0.6B · L-LLM———————————0.454—5.7 yr0.7550.654——————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-0.6B · L-LLM · 1363 source prompts————0.332—————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-0.6B · L-LLM · 1615 source prompts————————————0.824—————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-0.6B · L-LLM · 2102 source prompts—0.774————————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-0.6B · L-LLM · 26 source prompts————————————————29.6 yr—————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-0.6B · L-LLM · 3889 source prompts—————0.638————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-0.6B · L-LLM · 4206 source prompts0.305—14.0 yr0.890——————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-0.6B · L-LLM · 500 source prompts——————0.1090.57418.8 yr—————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-0.6B · L-LLM · 900 source prompts—————————0.3620.598———————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-1.7B · L-LLM———————————0.412—6.2 yr0.7440.769——————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-1.7B · L-LLM · 1363 source prompts————0.310—————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-1.7B · L-LLM · 1615 source prompts————————————0.824—————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-1.7B · L-LLM · 2102 source prompts—0.734————————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-1.7B · L-LLM · 26 source prompts————————————————18.0 yr—————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-1.7B · L-LLM · 3889 source prompts—————0.660————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-1.7B · L-LLM · 4206 source prompts0.346—15.7 yr0.881——————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-1.7B · L-LLM · 500 source prompts——————0.0900.64619.3 yr—————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3-1.7B · L-LLM · 900 source prompts—————————0.3880.613———————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3.5-9B · L-LLM———————————0.438—5.8 yr0.7100.731——————————————————————————————————————————————————————————————————————————————————————
L-Qwen3.5-9B · L-LLM · 1363 source prompts————0.391—————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3.5-9B · L-LLM · 1615 source prompts————————————0.810—————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3.5-9B · L-LLM · 2102 source prompts—0.803————————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3.5-9B · L-LLM · 26 source prompts————————————————12.4 yr—————————————————————————————————————————————————————————————————————————————————————
L-Qwen3.5-9B · L-LLM · 3889 source prompts—————0.685————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3.5-9B · L-LLM · 4206 source prompts0.305—17.0 yr0.885——————————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3.5-9B · L-LLM · 500 source prompts——————0.1800.86812.9 yr—————————————————————————————————————————————————————————————————————————————————————————————
L-Qwen3.5-9B · L-LLM · 900 source prompts—————————0.4300.671———————————————————————————————————————————————————————————————————————————————————————————
LFM2-1.2B (base) · base———————————0.264—17.2 yr0.5850.615——————————————————————————————————————————————————————————————————————————————————————
LFM2-1.2B (base) · base · 1363 source prompts————0.254—————————————————————————————————————————————————————————————————————————————————————————————————
LFM2-1.2B (base) · base · 1615 source prompts————————————0.506—————————————————————————————————————————————————————————————————————————————————————————
LFM2-1.2B (base) · base · 2102 source prompts—0.522————————————————————————————————————————————————————————————————————————————————————————————————————
LFM2-1.2B (base) · base · 26 source prompts————————————————44.8 yr—————————————————————————————————————————————————————————————————————————————————————
LFM2-1.2B (base) · base · 3889 source prompts—————0.493————————————————————————————————————————————————————————————————————————————————————————————————
LFM2-1.2B (base) · base · 4206 source prompts0.155—21.2 yr0.848——————————————————————————————————————————————————————————————————————————————————————————————————
LFM2-1.2B (base) · base · 500 source prompts——————0.0890.60051.6 yr—————————————————————————————————————————————————————————————————————————————————————————————
LFM2-1.2B (base) · base · 900 source prompts—————————0.1830.514———————————————————————————————————————————————————————————————————————————————————————————
LFM2-2.6B (base) · base———————————0.264—11.7 yr0.4820.615——————————————————————————————————————————————————————————————————————————————————————
LFM2-2.6B (base) · base · 1363 source prompts————0.219—————————————————————————————————————————————————————————————————————————————————————————————————
LFM2-2.6B (base) · base · 1615 source prompts————————————0.521—————————————————————————————————————————————————————————————————————————————————————————
LFM2-2.6B (base) · base · 2102 source prompts—0.570————————————————————————————————————————————————————————————————————————————————————————————————————
LFM2-2.6B (base) · base · 26 source prompts————————————————24.7 yr—————————————————————————————————————————————————————————————————————————————————————
LFM2-2.6B (base) · base · 3889 source prompts—————0.540————————————————————————————————————————————————————————————————————————————————————————————————
LFM2-2.6B (base) · base · 4206 source prompts0.214—20.8 yr0.374——————————————————————————————————————————————————————————————————————————————————————————————————
LFM2-2.6B (base) · base · 500 source prompts——————0.0730.51265.2 yr—————————————————————————————————————————————————————————————————————————————————————————————
LFM2-2.6B (base) · base · 900 source prompts—————————0.1150.494———————————————————————————————————————————————————————————————————————————————————————————
MiMo V2.6 Flash · Terminus 2—————————————————————————————————————————————————————————————————————————————69.3%————————————————————————
MiMo V2.6 Pro · 25 tasks × 3 repeats————————————————————————————————————————————————————————————————————————————————66.7%26.7%————————————————————
Mistral Large 4 · Terminus 2 · high—————————————————————————————————————————————————————————————————————————————67.0%————————————————————————
Mistral Large 4.0 Preview · Pi—————————————————————————————————————————————————————————31.3%———51.9%———12.5%——3.4%——15.1%24.2%22.0%21.3%29.7%20.0%—————————————————————————
Muse Spark 1.2 · Terminus 2 · xhigh—————————————————————————————————————————————————————————————————————————————64.8%————————————————————————
Nemotron 3 Ultra 550B A55B · Pi—————————————————————————————————————————————————————————36.6%———47.0%———15.9%——3.0%——11.3%25.1%17.8%21.0%22.7%16.3%—————————————————————————
Nemotron 3.5 Lightning · Pi—————————————————————————————————————————————————————————22.9%———29.0%———4.8%——0.0%——6.9%8.6%14.4%16.0%10.3%7.7%—————————————————————————
Nex N2 (default) · Codex · default————————————————————————————————————————————————————————————————————————————————————————————36.0%—————————
OpenAI Agents SDK (GPT-5.2) · Biomni-DA-v0 · 15 tasks———————————————————————————————————————————————————————————————————————————————————————————————51.4%——————
OpenAI Agents SDK (GPT-5.2) · agent——————————————————————————————————————————————————————————————————————————————————————————————————38.5%———
OpenAI Agents SDK (GPT-5.2) · verified 50-task subset———————————————————————————————————————————————————————————————————————————————————————————————————61.3%——
Opus 4.8 (max) · Claude Code · max———————————————————————————————————————————————————————————————————————————————7.0%——————————————————————
Opus 5 (max) · Claude Code · max———————————————————————————————————————————————————————————————————————————————29.8%——————————————————————
Opus 5 · Claude Code harness———————————————————————————————————————————————————————————60.1%——————————————————————————————————————————
Opus 5 · Claude Code harness · verified subset———————————————————————————————————————————————————————————————71.0%——————————————————————————————————————
Opus 5 · Pi harness——————————————————————————————————————————————————————————————————25.0%——41.3%————————————————————————————————
Opus 5.5 (max) · Claude Code · max———————————————————————————————————————————————————————————————————————————————54.4%——————————————————————
Qwen3-0.6B (base) · base———————————0.213—41.8 yr0.5010.346——————————————————————————————————————————————————————————————————————————————————————
Qwen3-0.6B (base) · base · 1363 source prompts————0.273—————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3-0.6B (base) · base · 1615 source prompts————————————0.478—————————————————————————————————————————————————————————————————————————————————————————
Qwen3-0.6B (base) · base · 2102 source prompts—0.511————————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3-0.6B (base) · base · 26 source prompts————————————————25.2 yr—————————————————————————————————————————————————————————————————————————————————————
Qwen3-0.6B (base) · base · 3889 source prompts—————0.501————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3-0.6B (base) · base · 4206 source prompts0.179—24.0 yr0.705——————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3-0.6B (base) · base · 500 source prompts——————0.0890.50244.7 yr—————————————————————————————————————————————————————————————————————————————————————————————
Qwen3-0.6B (base) · base · 900 source prompts—————————0.2350.512———————————————————————————————————————————————————————————————————————————————————————————
Qwen3-1.7B (base) · base———————————0.224—29.0 yr0.5520.462——————————————————————————————————————————————————————————————————————————————————————
Qwen3-1.7B (base) · base · 1363 source prompts————0.216—————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3-1.7B (base) · base · 1615 source prompts————————————0.518—————————————————————————————————————————————————————————————————————————————————————————
Qwen3-1.7B (base) · base · 2102 source prompts—0.489————————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3-1.7B (base) · base · 26 source prompts————————————————24.8 yr—————————————————————————————————————————————————————————————————————————————————————
Qwen3-1.7B (base) · base · 3889 source prompts—————0.529————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3-1.7B (base) · base · 4206 source prompts0.230—16.4 yr0.516——————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3-1.7B (base) · base · 500 source prompts——————0.0620.50851.4 yr—————————————————————————————————————————————————————————————————————————————————————————————
Qwen3-1.7B (base) · base · 900 source prompts—————————0.1930.483———————————————————————————————————————————————————————————————————————————————————————————
Qwen3.5-9B (base) · base———————————0.294—10.9 yr0.4780.577——————————————————————————————————————————————————————————————————————————————————————
Qwen3.5-9B (base) · base · 1363 source prompts————0.225—————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3.5-9B (base) · base · 1615 source prompts————————————0.496—————————————————————————————————————————————————————————————————————————————————————————
Qwen3.5-9B (base) · base · 2102 source prompts—0.551————————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3.5-9B (base) · base · 26 source prompts————————————————23.0 yr—————————————————————————————————————————————————————————————————————————————————————
Qwen3.5-9B (base) · base · 3889 source prompts—————0.554————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3.5-9B (base) · base · 4206 source prompts0.178—16.5 yr0.424——————————————————————————————————————————————————————————————————————————————————————————————————
Qwen3.5-9B (base) · base · 500 source prompts——————0.0810.56029.4 yr—————————————————————————————————————————————————————————————————————————————————————————————
Qwen3.5-9B (base) · base · 900 source prompts—————————0.1050.479———————————————————————————————————————————————————————————————————————————————————————————
Qwen3.8 27B · 25 tasks × 3 repeats————————————————————————————————————————————————————————————————————————————————56.0%24.0%————————————————————
Qwen3.8-27B (xhigh) · Claude Code · xhigh————————————————————————————————————————————————————————————————————————————————————————————48.0%—————————
Senior pharmaceutical scientists · human comparison group———————————————————————————————————————————————————————————————————————————————————————————————68.5%——————
Step 5 Preview · Terminus 2—————————————————————————————————————————————————————————————————————————————67.4%————————————————————————
claude-fable-5.1 (with fallback) · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————51.5%———————————————————————
claude-haiku-4.5 · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————1.5%———————————————————————
claude-opus-4-5 · Base · file———————————————————14.3%————————42.6%—35.6%—————32.8%————27.0%————66.0%—————92.0%—75.0%———————————————————————————————————————————————
claude-opus-4-5 · Base · inject————————————————————14.3%———5.8%—7.9%—————14.3%—9.9%—————30.7%—————————4.0%—————16.7%—————————————————————————————————————————————
claude-opus-4-5 · Base · retrieve——————————————————————21.4%———————————————————2.0%———————————————————————————————————————————————————————————
claude-opus-4-5 · code,high · file—————————————————————————————————————————————62.0%————————————————————————————————————————————————————————
claude-opus-4-5 · tools,high · file—————————————————14.3%—————————44.6%—38.6%—————51.2%———45.5%———————————95.0%—85.0%————————————————————————————————————————————————
claude-opus-4-5 · tools,high · inject——————————————————28.6%————19.8%—25.7%—————73.2%—43.8%————42.7%————————16.0%—45.0%—————47.5%——————————————————————————————————————————————
claude-opus-4-5 · tools,high · retrieve—————————————————————28.6%————————————————————————————————————————————————————————————————————————————————
claude-opus-4-5 · tools,high_retry · file—————————————————————————————————————31.4%————————————————————————————————————————————————————————————————
claude-opus-4-5_retry · Base · file————————————————————————————————————48.4%————5.1%————————————————————————————————————————————————————————————
claude-opus-4-5_retry_retry · Base · file—————————————————————————————————————————15.9%————————————————————————————————————————————————————————————
claude-opus-4-6 · Base · file———————————————————7.1%————————41.6%—39.6%—————53.6%————26.0%————60.7%—————91.0%—81.0%———————————————————————————————————————————————
claude-opus-4-6 · Base · inject————————————————————21.4%———9.3%—10.9%—————18.5%—17.4%—————34.5%———————5.6%—9.0%—————30.0%—————————————————————————————————————————————
claude-opus-4-6 · Base · retrieve——————————————————————21.4%———————————————————3.0%———————————————————————————————————————————————————————————
claude-opus-4-6 · code,high · file—————————————————————————————————————————————67.3%————————————————————————————————————————————————————————
claude-opus-4-6 · tools,high · file—————————————————35.7%—————————40.6%—36.6%—————58.4%———44.0%———————————93.0%—88.0%————————————————————————————————————————————————
claude-opus-4-6 · tools,high · inject——————————————————42.9%————27.9%—28.7%—————75.6%—57.0%————44.3%————————24.8%—59.0%—————49.2%——————————————————————————————————————————————
claude-opus-4-6 · tools,high · retrieve—————————————————————28.6%————————————————————————————————————————————————————————————————————————————————
claude-opus-4.8 · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————46.0%———————————————————————
claude-opus-5 · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————40.6%———————————————————————
claude-opus-5.5 · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————50.2%———————————————————————
claude-sonnet-4.6 · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————15.3%———————————————————————
gemini-3-pro-preview · Base · file———————————————————35.7%————————60.4%—41.6%—————53.6%————48.7%————88.7%—————93.0%—88.0%———————————————————————————————————————————————
gemini-3-pro-preview · Base · inject————————————————————35.7%———7.0%—10.9%—————18.5%—21.5%—————49.2%———————5.6%—8.0%—————24.2%—————————————————————————————————————————————
gemini-3-pro-preview · Base · retrieve——————————————————————21.4%———————————————————12.0%———————————————————————————————————————————————————————————
gemini-3-pro-preview · code,high · file—————————————————————————————————————————————90.0%————————————————————————————————————————————————————————
gemini-3-pro-preview · tools,high · file—————————————————42.9%—————————54.5%—33.7%—————61.6%———52.2%———————————95.0%—88.0%————————————————————————————————————————————————
gemini-3-pro-preview · tools,high · inject——————————————————35.7%————45.3%—23.8%—————74.4%—43.8%————52.5%————————30.4%—63.0%—————80.0%——————————————————————————————————————————————
gemini-3-pro-preview · tools,high · retrieve—————————————————————7.1%—————————————————————12.0%——————————————————————————————————————————————————————————
gemini-3.1-flash-lite · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————0.0%———————————————————————
gemini-3.1-pro-preview · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————24.8%———————————————————————
gemini-3.5-flash · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————42.1%———————————————————————
glm-5.2 · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————46.3%———————————————————————
gpt-5-2 · Base · file———————————————————21.4%————————56.4%—36.6%—————36.0%————25.5%————79.3%—————93.0%—76.0%———————————————————————————————————————————————
gpt-5-2 · Base · inject————————————————————21.4%———7.0%—11.9%—————19.6%—16.5%—————25.3%———————5.6%—10.0%—————22.5%—————————————————————————————————————————————
gpt-5-2 · Base · retrieve——————————————————————————————————————————9.5%———————————————————————————————————————————————————————————
gpt-5-2 · code,high · file—————————————————————————————————————————————72.0%————————————————————————————————————————————————————————
gpt-5-2 · tools,high · file—————————————————14.3%—————————66.3%—64.4%—————41.6%———44.3%———————————95.0%—84.0%————————————————————————————————————————————————
gpt-5-2 · tools,high · inject——————————————————28.6%————30.2%—42.6%—————81.5%—80.2%————49.5%————————34.4%—63.0%—————90.8%——————————————————————————————————————————————
gpt-5-2 · tools,high · retrieve—————————————————————21.4%—————————————————————8.0%——————————————————————————————————————————————————————————
gpt-5-2-pro · Base · file————————————————————————————61.4%—39.6%—————47.2%—————————80.7%—————94.0%—82.0%———————————————————————————————————————————————
gpt-5-2-pro · Base · inject————————————————————28.6%———7.0%—11.9%—————17.9%—18.2%—————44.5%———————4.0%—9.0%—————26.7%—————————————————————————————————————————————
gpt-5-2-pro · Base · retrieve——————————————————————21.4%———————————————————7.5%———————————————————————————————————————————————————————————
gpt-5-2-pro · code,high · file—————————————————————————————————————————————76.0%————————————————————————————————————————————————————————
gpt-5-2-pro · tools,high · file———————————————————————————59.4%—43.6%—————50.4%———————————————94.0%—80.0%————————————————————————————————————————————————
gpt-5-2-pro · tools,high · inject——————————————————21.4%————10.5%—34.7%—————85.1%—90.9%————46.3%————————36.8%—70.0%—————93.3%——————————————————————————————————————————————
gpt-5-2-pro · tools,high · retrieve—————————————————————14.3%—————————————————————9.5%——————————————————————————————————————————————————————————
gpt-5-2-pro · tools,high_retry · file—————————————————————————————————————50.0%————————————————————————————————————————————————————————————————
gpt-5-2-pro · tools,high_retry · inject————————————————————————————————————————————0.9%—————————————————————————————————————————————————————————
gpt-5.4-mini · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————36.4%———————————————————————
gpt-5.4-nano · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————27.5%———————————————————————
gpt-5.5 · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————43.1%———————————————————————
gpt-5.6-sol · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————48.0%———————————————————————
gpt-6-astra · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————49.2%———————————————————————
gpt-6-luna · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————36.9%———————————————————————
gpt-6-sol · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————47.0%———————————————————————
grok-4.6 · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————48.8%———————————————————————
kimi-k3 · Base · max · 20 studies / 138 artifacts——————————————————————————————————————————————————————————————————————————————47.0%———————————————————————