Berkeley AI Research·· 2026-03-13精选AI 评分69
SPEX 与 ProxySPEX 将 LLM 交互识别扩展至数千个组件
Identifying Interactions at Scale for LLMs
AI 导读
Berkeley AI Research 介绍 SPEX 和 ProxySPEX,两种通过消融与稀疏恢复识别模型关键交互的算法。ProxySPEX 利用层级结构,在约 10x 更少的消融次数下达到 SPEX 的性能,并被用于特征归因、数据归因和注意力头归因。两者的代码已集成到 SHAP-IQ 仓库。
推荐理由
文章系统说明 SPEX 与 ProxySPEX 如何用较少的消融识别特征、训练数据和模型组件之间的关键交互,并展示其解释性应用。
来源:Berkeley AI Research · bair.berkeley.edu