预测式AI加剧既有不公
Search documents
预测式AI为什么一败涂地?
腾讯研究院· 2025-11-07 08:30
2015年,美国马里兰州的一所私立高校圣玛丽山大学的管理层希望提高新生留存率,也就是入学学生中顺 利完成学业的比例。为此,学校发起了一项调查,旨在识别那些在适应过程中可能面临困难的学生。乍看 之下,这似乎是一个值得称道的目标,因为一旦确定了需要帮助的学生,学校就可以提供额外支持,帮助 他们顺利适应大学生活。然而,校长却提出了一个截然不同的建议,他建议开除那些表现不佳的学生。他 认为,如果这些学生在学期开始的头几周退学,而不是在学期后期离开,他们就不会被计入"在校生"统计, 从而提高学校的留存率。 类似于EAB Navigate 的算法无处不在,它们被用于自动化流程中,做出与你相关的重要决策,而你可能完 全不知情。例如,当你去医院看病时,决定你是否需要留院观察一晚,还是可以当天出院的可能是算法; 当你申请儿童福利或其他公共福利时,评估你的申请是否有效,甚至是否涉嫌欺诈的是算法;当你投简历 找工作时,决定HR是否会考虑你的申请,还是将简历直接筛除的还是算法;甚至当你去海滩时,判断海水 是否安全,是否适合游泳的依旧是算法。 在一次教职工会议上,校长直言:"我的短期目标是让20到25名学生在9月25日之前离开,这样我 ...