跳到正文
原文
Hugging Face Blog·· 4 小时前精选AI 评分85

FairStress评估LLM决策公平性,揭示最终选择之外的隐藏不对称

FairStress: A deeper evaluation of fairness in LLM decision-making

AI 导读

Ai2发布FairStress基准,用于评估LLM在涉及人群身份的决策中是否持续遵循证据,而不仅是比较最终选择是否一致。基准包含300个场景,结合身份呈现方式和匹配的对抗性前缀,扩展为超过13 million个测试案例,并提供50K项的FairStress-Core子集。

推荐理由

FairStress将最终选择、抗说服稳定性、解释差异与内部激活结合起来,为评估LLM在人事、信贷和医疗等高风险决策中的公平性提供更细的分析框架。

来源:Hugging Face Blog · huggingface.co