模型榜怎么算分:把不同评测折算到同一把尺上
AIHOT 公开了自家模型榜的评分方法:先用测过该评测的模型共同定出难度 e 和陡峭程度 A,再把每个通过率倒推成折算分 x=(logit(通过率)+e)/A,不同单位、不同难度的评测因此可以放在一起比。通过率高于 95% 或低于 5% 按截尾处理,只算“至少/至多这么强”;同类评测只算一票,偏离超过两倍噪声的折算分拉力封顶。领域分是折算分均值再向整体水平收缩,综合分按编程 38%、科研 19%、专业办公 19%、知识问答 14%、真人盲选 10% 加权,显示分为 50+15z,刻度锚定在 123 个冻结的参照模型上。文中还给出排名门槛(至少两家机构、编程至少 3 类评测)、评测暂停规则与缺测处理。适合做模型评测、读榜选型的读者。