Glean 拾遗
最近收录

2 条 · 按时间

11-15

模型榜怎么算分:把不同评测折算到同一把尺上

AIHOT 公开了自家模型榜的评分方法:先用测过该评测的模型共同定出难度 e 和陡峭程度 A,再把每个通过率倒推成折算分 x=(logit(通过率)+e)/A,不同单位、不同难度的评测因此可以放在一起比。通过率高于 95% 或低于 5% 按截尾处理,只算“至少/至多这么强”;同类评测只算一票,偏离超过两倍噪声的折算分拉力封顶。领域分是折算分均值再向整体水平收缩,综合分按编程 38%、科研 19%、专业办公 19%、知识问答 14%、真人盲选 10% 加权,显示分为 50+15z,刻度锚定在 123 个冻结的参照模型上。文中还给出排名门槛(至少两家机构、编程至少 3 类评测)、评测暂停规则与缺测处理。适合做模型评测、读榜选型的读者。

aihot.news · 5 min · Benchmark · LLM Evaluation · Measurement
09-29

Claude Sonnet 5.5 发布:Terminal-Bench 4.0 从 10.3% 跳到 70.6%

Anthropic 发布 Claude 5.5 家族的第二款模型 Sonnet 5.5,定位为 Opus 5.5 更快、更便宜的补充:输出速度提升 30% 以上,同一任务成本最多降低 30%。在 agentic coding 评测 Terminal-Bench 4.0 上,Sonnet 5.5 得 70.6%,而 Sonnet 5 只有 10.3%;FrontierCode、CursorBench、GDPval-AA、OSWorld 2.1 等评测同样提升,部分项目已接近 Opus 5.5。定价与 Sonnet 5 持平(输入 $2、输出 $10 / 每百万 token,缓存读取 $0.20),但完成同一任务所需 token 更少。这也是首个带网络安全防护与降级的 Sonnet 模型:高风险 cyber 请求会回退到 Sonnet 5,并首次加入阻止推理提取的蒸馏分类器和 preserved thinking。适合关注模型选型与 agent 编码成本的工程师。

www.anthropic.com · 10 min · Agentic Coding · Ai Safety · Anthropic