Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation

Yongjie Wang, Xinyue Zhang, Kunhong Yao, Zhiwei Zeng, Kaisong Song, Jun Lin, Zhiqi Shen

Jun 5, 2026 at 04:00

5 Visningar

0 Kommentarer

arXiv:2606.05241v1 Announce Type: cross Abstract: Public benchmarks enable fair and reproducible evaluation of LLM reasoning, but they become fragile for deep research agents that actively search the web during inference. Such agents may retrieve public benchmark metadata, question context, or even ground-truth answers via web search. This gives...

Läs hela artikeln hos källan.

Läs originalartikeln

Var detta hjälpsamt?

Dela:

Kommentarer (0)

Vänligen logga in för att publicera en kommentar

Inga kommentarer ännu. Bli först med att kommentera!

Relaterade nyheter

Länk kopierad till urklipp

Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation

Kommentarer (0)

Relaterade nyheter

Five big questions about the UK's under-16s social media ban

”Ericssons nya vd har jobbat där sedan 2g – nästa skifte blir existentiellt”

[Ekstra] KI gir foreløpig begrenset gevinst i norske virksomheter

[Ekstra] USAs Anthropic-stopp vekker debatt: : – Vårt ansvar, ikke Trumps

ShowCase: Mammotion Luba 3 tar sikte på stökiga tomter

Bläddra efter kategori