LangKit让大语言模型安全可靠

联合创作 · 2023-09-25 23:49

LangKit 是一个用于监控语言模型的开源文本度量工具包。它提供了一系列用于从输入和/或输出文本中提取相关信号的方法,这些方法与开源数据记录库 whylogs 兼容。

当前支持的 metrics 包括:

  • 文本质量
    • 可读性分数
    • 复杂性和成绩分数
  • 文本相关性
    • 提示/响应之间的相似性分数
    • 与用户定义主题的相似度分数
  • 安全和隐私
    • patterns - 匹配用户定义的正则表达式模式组的字符串计数
    • 越狱 - 与已知越狱尝试的相似度分数
    • 提示注入 - 与已知提示注入攻击的相似度分数
    • 拒绝 - 与已知的 LLM 拒绝服务响应相关的相似度分数
  • 情绪和毒性
    • 情感分析
    • 毒性分析
浏览 11
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报