Glean 拾遗
最近收录

2 条 · 按时间

11-15

模型榜怎么算分:把不同评测折算到同一把尺上

AIHOT 公开了自家模型榜的评分方法:先用测过该评测的模型共同定出难度 e 和陡峭程度 A,再把每个通过率倒推成折算分 x=(logit(通过率)+e)/A,不同单位、不同难度的评测因此可以放在一起比。通过率高于 95% 或低于 5% 按截尾处理,只算“至少/至多这么强”;同类评测只算一票,偏离超过两倍噪声的折算分拉力封顶。领域分是折算分均值再向整体水平收缩,综合分按编程 38%、科研 19%、专业办公 19%、知识问答 14%、真人盲选 10% 加权,显示分为 50+15z,刻度锚定在 123 个冻结的参照模型上。文中还给出排名门槛(至少两家机构、编程至少 3 类评测)、评测暂停规则与缺测处理。适合做模型评测、读榜选型的读者。

aihot.news · 5 min · Benchmark · LLM Evaluation · Measurement
08-09

AI 工程师心态:接受概率,用可量化标准替代“感觉”

文章指出,构建 LLM 应用需要从确定性系统思维转向概率性系统思维:输入与输出不再一一对应,用户可能以难以预料的方式使用系统。作者用“Vibes-Only Trough”描述 demo 阶段看似可用、但缺乏真实数据支撑的状态,并主张通过“数据驱动斜坡”逐步建立评测体系。核心方法是先定义可量化的成功标准,例如情感分类系统要求 92% 的人工标注一致率、95% 的请求在 500ms 内完成、高置信度预测与人类判断匹配率达到 90%。随后要从每个用户交互中收集数据,从简单的点赞/点踩按钮开始,逐步构建更复杂的数据管道。作者坦言第一版产品通常不会好,因为数据不足,波动是概率系统的固有属性,关键是系统化追踪每次迭代。适合正在把 LLM demo 推向生产的工程师,以及需要建立评测文化的团队。

www.aihero.dev · 6 min · AI Engineering · LLM · LLM Evaluation