成为AI产品经理——TPR、FPR、ROC、AUC

这篇具有很好参考价值的文章主要介绍了成为AI产品经理——TPR、FPR、ROC、AUC。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、PR图、BEP

1.PR图

2.BEP 

二、灵敏度、特异度

1.灵敏度

2.特异度

三、真正率、假正率 

1.真正率

2.假正率 

三、ROC、AUC

1.ROC

2.AUC

四、KS值


一、PR图、BEP

1.PR图

二分类问题模型通常输出的是一个概率值,我们需要设定一个阈值,让大于这个阈值的时候为正样本,其余的为负样本。

如果我们选择不同的阈值,我们就可以得到不同的预测结果,也就可以得到不同的混淆矩阵,从而得到不同的precision值和recall值。P-R图是我们在连续变化的阈值下,得到的准确率和召回率的关系。(召回率作为横轴,将精确率作为纵轴)。

tpr fpr,AI产品经理,产品经理

PR 图主要有以下用途:

  1. 权衡 Precision 和 Recall: PR 图帮助我们直观地理解在不同阈值下模型的 Precision 和 Recall 的权衡关系。这对于某些应用中 Precision 和 Recall 之间存在权衡关系的情况非常重要,例如在医学领域的疾病诊断中,我们可能更关注 Recall,以确保尽可能多地捕获患者的真实病情。

  2. 评估样本不平衡: 当数据集中的类别不平衡时,PR 图比 ROC 曲线更能准确地反映模型性能。在样本不平衡的情况下,ROC 曲线可能给出过于乐观的评估,而 PR 图更能反映模型在正类别上的性能。

  3. 选择适当的阈值: PR 图可以帮助选择适当的分类阈值,以满足特定任务的需求。根据应用场景,我们可能更关注 Precision 或 Recall,通过观察 PR 图可以更好地理解不同阈值下的模型表现。

  4. 比较模型性能: PR 图可用于比较不同模型的性能。具体来说,我们可以比较不同模型在保持较高 Precision 的同时实现较高 Recall 的能力,或者根据实际需求调整模型的阈值。

下图A模型的曲线完全包住C模型的曲线,我们就说A模型比C模型的效果好;

B模型的曲线完全包住C模型的曲线,我们就说B模型比C模型的效果好;

但是A模型和B模型的曲线有交叉,我们使用BEP进行比较。

tpr fpr,AI产品经理,产品经理

2.BEP 

BEP是精确率和召回率的平衡点,P=R时,那一条线。如果,模型的PR曲线有交叉,我们可以根据BEP来判断模型的好坏。

BEP过于简单,我们常用F1值来比较模型。F1值是考虑了召回率和精确率的一个计算指标。

tpr fpr,AI产品经理,产品经理

二、灵敏度、特异度

1.灵敏度

灵敏度的计算公式为:

灵敏度  tpr fpr,AI产品经理,产品经理

灵敏度是在实际的正样本中,能够找到正样本的能力。 它和召回率的公式一样,它就是召回率。

2.特异度

特异度的计算公式为:

特异度  tpr fpr,AI产品经理,产品经理 

特异度是指在实际所有的负样本中,找到正确负样本的能力。 

三、真正率、假正率 

1.真正率

真正率=召回率=灵敏度   tpr fpr,AI产品经理,产品经理

真正率的含义是在所有实际的正样本下识别为正样本的概率。

2.假正率 

误判率 = 假正率 = 1 - 特异度 = tpr fpr,AI产品经理,产品经理

因为特异度是在实际的负样本中找到负样本的能力,1-特异度就代表它在所有实际的负样本中找正样本的能力,那这肯定不对啦,在负样本中怎么能找到正样本呢?所有这些正样本是错误的正样本。所以我们把这个概率也叫做假正率。 

在我们实际工作中,为了避免样本对于精确率和召回率的影响,可以使用TPR和FPR。

三、ROC、AUC

1.ROC

ROC曲线是我们在连续变化的阈值下,生成不同的正负样本,对应出不同的混淆矩阵,得到不同的TPR和FPR值所绘制出来的一条曲线,它表示TPR和FPR的关系。

tpr fpr,AI产品经理,产品经理

图中有一条绿色的直线,这条绿的直线代表真正率和假正率概率一样,也就是这种分类概率和我们随机猜的概率一样,模型效果差,不能用。越靠近这条直线,模型效果越差,这条绿色直线下面的是指,绝大多数情况下,模型的正样本都预测错了,根本不能用。

我们希望的是,真正率高,假正率低,也就是靠近左上方(0,1)的位置,此时真正率接近于1,假正率接近于0

2.AUC

AUC是ROC曲线下面的面积,在绿色直线处,总面积1被一分为二,我们需要直线上面部分的面积,这一部分面积的值为0.5-1,小于0.5不能用。

  • 0.5 - 0.7:效果较低
  • 0.7 - 0.85:效果一般
  • 0.85 - 0.95:效果很好
  • 0.95 - 1:效果非常好,一般不可能。要对这个结果持怀疑态度,进一步分析模型的准确性。

四、KS值

横坐标为在连续的阈值变化下的正样本的个数(概率分数、模型预测数)。纵坐标为TPR和FPR。

tpr fpr,AI产品经理,产品经理

KS为在某一阈值的正样本数(概率分数) 下,TPR-FPR的值。

KS = max(TPR - FPR)

KS用来评估模型好坏样本的区分程度,有时候人们会把0.6的KS值乘以100,说成60,也正确。

KS值的业务标准如下: 

  • KS<20:欠拟合,模型不具备可用性
  • KS>20 & KS<30:模型可用
  • KS>30 & KS<40 :模型预测能力优秀
  • KS>40:模型区分度很高。我们需要对这个结果持怀疑态度,进一步分析模型的准确性。

上边的业务标准是刘老师给出的,下面这个是网上大部分资料给出的。

  • KS: <20% : 差 
  • KS: 20%-40% : 一般 
  • KS: 41%-50% : 好 
  • KS: 51%-75% : 非常好
  • KS: >75% : 过高,需要谨慎的验证模型

业务标准根据不同的业务场景而调整,并不是一个统一的值。

如果模型的AUC或KS值很高,并不是一件好事情。我们要进一步分析模型的准确性,避免是因为数据不准确导致的。

五、总结

tpr fpr,AI产品经理,产品经理

准确率,精准率,召回率,真正率,假正率,ROC/AUC-CSDN博客

参考文献: 刘海丰——《成为AI产品经理》

声明:本文是对于刘海丰老师《成为AI产品经理》课程重点的总结,自用,请勿传播。文章来源地址https://www.toymoban.com/news/detail-861766.html

到了这里,关于成为AI产品经理——TPR、FPR、ROC、AUC的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI产品经理-借力

    AI产品经理-借力:学会善用供应商改造自有产品 1.整个项目的工作方法 2. 项目启动 - 行业调研   3. 项目启动 - 供应商选型

    2024年02月03日
    浏览(16)
  • 第一周:AI产品经理跳槽准备工作

    因素1:AI行业发展现状机会和未来 可以关注一些AI行业报告,这里我读了大概十来份报告,截取了一些关注点。 报告下载: 2023中国AI商业落地投资价值研究报告(63页):人工智能机会、价值评估和AI+行业场景分析、服务商案例、未来发展; 2. AI人才市场情况 报告下载:2

    2024年02月02日
    浏览(10)
  • AIGC/ChatGPT这么火,相关的AI产品岗,真的有变多吗?_最新AI产品经理求职动态(28)...

    ‍ 最近 咱们社群的“AI产品经理求职季” 活动里,有些特别的发现和感触,近期求职的 AI产品经理 或 AI企业需求方 ,值得看看—— 目录 一、最近AIGC/ChatGPT这么火,相关的AI产品岗,真的有变多吗? 二、还有哪些方向的招聘需求,相对更多一些呢? 三、AI企业需求侧的整体

    2024年02月11日
    浏览(13)
  • ChatGPT引领AI时代:程序员、项目经理、产品经理、架构师、Python量化交易师的翅膀

    💂 个人网站:【 海拥】【神级代码资源网站】【办公神器】 🤟 基于Web端打造的:👉轻量化工具创作平台 💅 想寻找共同学习交流的小伙伴,请点击【全栈技术交流群】 在当今AI时代,ChatGPT作为一项卓越的语言模型技术,不仅仅在自然语言处理领域有着显著的影响,更在程

    2024年02月04日
    浏览(26)
  • Common Sense Machines(CSM):立志成为图像生成适用于游戏引擎的3D资产AI产品

    详细说明 Common Sense Machines(CMS):立志成为图像生成适用于游戏引擎的3D资产AI产品-喜好儿aigc 详细说明:https://heehel.com/CSM-3d 官方网站:https://www.csm.ai/ 使用体验网址:https://3d.csm.ai/ 来自普纳的前 Google DeepMind 研究科学家 Tejas Kulkarni 与他人共同创立了 Common Sense Machines, htt

    2024年03月10日
    浏览(25)
  • 产品经理学习-产品运营《社群搭建》

    有主题:成员有共同的需求,目标或价值观 有组织:有文档的群体结构,是有一群人协作而成的 有规则:有门槛和规则玩法 社交: 多数的社交是单点对单点的社交 以沉淀关系为目的 内容具有极强的定向性 社区: 社区要保证内容的质量,较低的内容质量会导致用户流失 帮

    2024年02月20日
    浏览(15)
  • 产品经理学习-产品运营《流程管理》

    信息可视化 甘特图-流程管理 思维导图-方案讨论 原型图-活动文档 明确责任制 分工明确,关键环境有主负责人 通过时间倒推督促管理 沟通技巧 明确共同利益 以结果激励 做好信息同步 监控活动的效果是要监控数据 活动每个环境的成绩和问题都是能通过数据体现的,每一个

    2024年02月19日
    浏览(11)
  • 产品经理学习-产品运营《用户运营策略》

    ⽤户画像与⽤户运营策略 对产品运营而言,用户画像就是对用户的各种特征贴上标签通过这些标签将用户分成不同的用户群体 为用户提供有针对性的服务。 制作用户画像是为了 专注 和 精准 使产品的服务对象更加聚焦,更加专注;根据产品特点,更加精准地找到目标用户,

    2024年01月20日
    浏览(19)
  • 产品经理和产品运营有什么区别?

    在很多公司中,经常会存在两个交叉性很高,但工作又不一样的岗位,就是产品经理和产品运营。其实产品经理和产品运营是推动产品的核心人物。业内经常会说“产品、运营不分家”,就是说的产品经理和产品运营,某种程度代表这两个角色岗位的合作深度。 以下我们从概

    2024年02月06日
    浏览(29)
  • 产品经理功法修炼(4)之产品管理

    点击下载《产品经理功法修炼(4)之产品管理》 产品经理功法修炼(1)之自我管理 产品经理功法修炼(2)之专业技能 产品经理功法修炼(3)之产品设计 产品经理功法修炼(4)之产品管理 产品经理功法修炼(5)之团队管理 产品经理的能力修炼并非局限于某一技能的速成

    2024年04月09日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包