Anthropic推出Claude回复后自我评估

Anthropic 宣布 Claude 每次回答后会立即对整段对话进行初步安全评估，并标记潜在的滥用行为。该机制自 6 月上线以来，已发现此前安全系统未能检测到的滥用行为。

Anthropic 官宣一项名为 self-assessment 的安全技术，Claude 在每次回复后立即对整段对话给出初步安全评估并标记潜在滥用行为。自 6 月投入使用以来，该机制已发现其他安全防护机制在设计上捕捉不到的滥用案例。它不同于针对固定危害类别的分类器，依赖模型自身判断，因此会随模型能力提升而变得更准，细节发布在 Anthropic 新上线的 Safeguards 博客上。