LangKit让大语言模型安全可靠

LangKit 是一个用于监控语言模型的开源文本度量工具包。它提供了一系列用于从输入和/或输出文本中提取相关信号的方法，这些方法与开源数据记录库 whylogs 兼容。

当前支持的 metrics 包括：

• 文本质量
  
  
  
  • 可读性分数
  
  
  • 复杂性和成绩分数
  
  


• 文本相关性
  
  
  
  • 提示/响应之间的相似性分数
  
  
  • 与用户定义主题的相似度分数
  
  


• 安全和隐私
  
  
  
  • patterns - 匹配用户定义的正则表达式模式组的字符串计数
  
  
  • 越狱 - 与已知越狱尝试的相似度分数
  
  
  • 提示注入 - 与已知提示注入攻击的相似度分数
  
  
  • 拒绝 - 与已知的 LLM 拒绝服务响应相关的相似度分数
  
  


• 情绪和毒性
  
  
  
  • 情感分析
  
  
  • 毒性分析