上一期
下一期
目录
  • 101页
  • 102页
  • 103页
  • 104页
  • 105页
  • 106页
  • 107页
  • 108页
  • 109页
  • 110页
  • 111页
  • 112页
放大 缩小 默认 上一篇
众包平台用户数字标注行为中的偏见渗透
范红霞 俞律弘
  [本文提要]随着人工智能的广泛应用,与人工智能紧密相连的数据标注产业及其劳动过程日益受到关注。数据标注过程中可能产生偏见,并最终影响到机器学习的准确性和科学性。本文采用参与式观察和半结构性访谈的方法,对数据标注众包平台用户的认知劳动及行为特征进行扎根研究,阐明数据标注中的偏见类型及发生机制,探究人类的认知偏见如何“渗透”并植根于数据标注过程及结果,并最终影响人工智能的内在逻辑和运行性能。
  [关键词]数据标注 偏见 人工智能 众包平台 用户行为 行动者
  
一、问题的提出
  随着人工智能应用的快速发展,人工智能企业对从事数据分类、清理和标注等工作的数据标注员的需求呈现井喷(贾文娟,颜文茜,2022)。数据显示,2023年中国数据标注市场总规模达60.8亿元,同比增长约19.69%。①截至2023年,数据标注行业相关企业数量达到1123家,未来预计还将继续增长。
  当前,众包平台提供了数据标注市场79%的服务。②由于自建模式成本较高,所以大多采用数据标注业务外包的方式来降低成本。国外著名数据标注企业有美国的Scale AI、Mighty AI、Mturk、Supervise.ly等,欧洲地区代表性企业有塞浦路斯的Mindy Support等,国内数据标注众包平台有百度智能云、京东众智、海天瑞声、星尘数据、龙猫数据、网易有灵众包等。数据标注平台通常能提供文本标注、语音标注、图像标注、视频标注等服务,基本覆盖了AI模型算法中的所有需求。随着机器学习和人工智能技术的不断发展,一些众包平台尝试引入自动标注技术和机器学习,以提高标注效率和准确率,但目前仍以密集型人工劳动为主。
  训练人工智能的一个基础过程就是通过数据标注,对各种数据进行判断、识别、分离以及评估,并将处理后的数据集作为素材“投喂”给机器进行深度学习和训练,从而使人工智能获得识别和判断能力,通过整合计算,最终输出精确的结果。数据标注的准确度和精细度决定着人工智能的发展水平。而数据标注偏见是导致AI偏见的一个重要原因。因为机器学习模型的训练依赖数据标注的结果,如果标注过程或结果中存在偏见,就会导致人工智能系统在运行过程中出现有偏向性的举措或选择。早在2018年,就有报道称亚马逊公司研发的自动招聘系统存在性别歧视问题(Meyer,2018)。一些面部识别算法的训练数据集中由于有色人种的样本过少,导致算法在识别有色人种面容时出现不准确或不公平的结果,虽然在人工智能和机器学习的范畴里,“偏见”并不是一个带有价值判断的词汇,它只是反映了机器学习从数据中拾取规律并生成结果,但在现实应用领域,算法偏见或AI偏见反映了数据集乃至社会中真实存在的偏见(范红霞,孙金波,2021)。当前,很多关于人工智能或算法的研究往往关注算法偏见对于模型性能的影响,却较少深入探讨数据标注过程中因标注员个体偏差和认知劳动水平对数据质量的具体影响。本研究通过扎根理论,旨在揭示数据标注员在标注过程中如何因为个人经验、认知差异和行为模式,以及众包平台的互动机制,影响数据标注的准确性和一致性。具体而言,本研究希望回答如下问题:1.数据标注过程中的偏见是如何产生和传播的?2.数据标注员的认知偏见是否会显著影响标注数据的质量?3.数据标注中的偏见是否会导致人工智能模型在特定任务上的性能下降?
  
二、关于数据标注的研究回顾
  (一)作为认知劳动的数据标注
  数据标注是将原始数据(如文本、视频、图片、语音等)进行分类、标记或注释的过程,目的是为机器学习和人工智能算法提供训练所需的数据集,通过为数据添加标签或分类,帮助计算机更好地理解和处理数据。常见的数据标注任务包括分类标注、标框标注、区域标注、描点标注和其他标注等(蔡莉,王淑婷等,2020),业内俗称“拉框”。这些标注信息可以被用来训练机器学习算法,从而让其能够更准确地进行自动分类、预测和生成任务。在人工智能行业和机器学习领域,数据标注作为底端产业,为无人驾驶、人脸识别、智能医疗、电子商务、自动化产业等人工智能产业提供了源源不断的发展动力,成为其流水线上的重要一环。
  作为一种新型职业,数据标注员从事的是一种典型的“认知劳动”。所谓认知劳动(Cognitive Labor)是数字劳动生产关系中特有的劳动类型,主要依赖于知识和智力,而非体力。数据标注是一项认知密集型工作,标注员在长时间的标注过程中需要保持高度注意力,对大量数据进行准确的识别和分类,以避免错误和偏见。在某些复杂的标注任务中,标注员需要运用创造性思维和判断力,解决数据模糊性和不确定性的问题。
  数据标注员属于灵活用工、按件取酬的数字劳工,他们在进行平台众包劳动时,同时具有“平台用户”和“劳动者”的双重身份。他们在平台上以“用户”身份完成注册后,才能接单从事标注任务。标注员是弹性工作,具有一定的自主性,可以自行选择任务项目、分配时间,并根据个人目标优化劳动行为。但是,作为劳动者,数字标注员需要按照任务方和平台的数据要求和质量标准在规定时间内完成数据标注任务,质检合格后与平台结算工资。在这个看不见的“云上车间”(戴宇辰,袁冰雨,2023)里,大量分散的标注员通过远程工作,计件结算报酬,依然表现出工具化的劳动特征。
  作为网络零工,标注员彼此之间缺少连接与交流。无法避免普遍存在的数字劳工困境:如工作碎片化、非正式劳动关系、收入不稳定、低薪且无法享受雇主提供的保险福利等,同时他们会因为缺乏安全感而产生精神焦虑。由于其工作与社会隔绝,也难以与同一平台的同事进行沟通,难以形成身份认同(姚建华,2021:73)。事实上,这种分散的、碎片化的零工性质,也为数据标注结果的不稳定性、模糊性乃至偏差/偏见埋下了隐患。
  虽然很多时候,数据标注员看似从事的是“拉框”流水线的工作,然而,标注员并非完全中立的“工具”,而是具有主观能动性和个人动机的认知性劳动者。从工具理性与价值理性的角度来看,数据标注员的行为具有双重性质。一方面,作为人工智能和机器学习的辅助“装置”,标注员被期待以工具理性来执行任务,即通过精确、客观的方式完成数据标注,为算法提供高质量的训练数据。另一方面,作为独具个性的劳动个体,在数据标注过程中,标注员的认知框架、社会经验,以及个人利益驱动等因素,都会对其行为产生影响。这些主观因素体现了标注员的价值理性——即他们不仅追求任务完成的效率和准确性,还可能出于个人价值判断、信仰或利益考虑,采取某些抵制或反抗措施。例如,标注员可能在面对低报酬或不合理的工作要求时,在任务选择、标注质量等环节表现出效率与准确性之间的张力,从而体现为“上有政策下有对策”的博弈行为。这种行为进一步导致数据质量的波动。
  (二)数据标注中的偏见与偏差
  在数据标注中,偏见通常是指由于标注者的主观认知、文化背景差异或刻板印象引起,从而在数据标注时引入系统性误差,导致某类数据或标签被高估或低估。这种偏见会影响模型的学习,使其在某些特定群体或数据类型上表现不佳。数据偏见通常包括以下几种形式:1.数据采集偏见。这是指数据集中某些群体的样本数量不足,导致模型训练中无法充分学习到这些群体特征。2.数据测量偏见。是指在数据收集过程中出现错误或不准确,导致某些特征的测量值与实际值存在偏差。3.数据标签偏见。
  偏差在统计学中是指样本统计量与总体参数之间的差异,或指在某些过程和结果中出现的偏离标准或预期倾向。在本文中,指的是数据标注中的随机错误。
  无论是统计样本的偏差,还是统计过程中的随机错误,或者是因为标注员的心理差异、刻板印象或认知判断中引入的系统性误差,在算法和数据领域,都有可能导致不公平或不准确的决策。只不过,偏差多是指数据统计中的随机错误,而偏见更注重认知和价值层面的差异和倾向性。两者可以互相作用并影响AI模型。比如,标注过程中的随机偏差如果足够多,可能会掩盖潜在的偏见。而标注员的个人偏见也会被嵌入到训练数据中,逐渐累积为系统性偏见并渗透到AI模型中,影响AI模型的决策,从而加剧偏见效应,导致在实际应用中出现如性别歧视、种族偏见等问题。
  把数据标注任务分发给大量非专业标注员的众包模式,由于标准及规范不统一,总会产生某种程度的随机偏差和位移。这种偏差也会渗透进数据标注结果中。而数据标注员作为具有认知能力的主体,如果在标注过程中出于认知差异或个人利益的考虑,进行选择性标注或偏向性标注,那么所生成的数据将不可避免地带有偏见。尽管模型训练中可以通过多次训练迭代抹平某些随机偏差的影响,然而,如果数据集中的随机偏差足够多,或者偏差过于集中在某些特定对象或群体上,AI模型就会放大这种偏见。
  (三)数据标注中的用户角色与新型数字劳动关系
  数据标注从业者多是利用众包平台接单,根据要求完成任务后与平台进行结算。在这种劳动形式中,众包平台连接了数据客户和标注员,在他们之间扮演了经纪人、协调者、组织者和管理者等多个角色。平台的运营模式大致为:客户提出任务、平台分配任务、标注员完成任务、数据审核和处理、客服支付费用(图1 图1见本期第104页)。
  标注员以“用户”身份在平台注册,以“接单”形式完成任务。在劳动过程中,标注员根据平台的数据要求,对其进行打分或分类、添加数据标签。这项工作无需经过长期复杂的技能训练,简单培训后即可上手;用工的时间地点很灵活,可以兼职和远程工作,具有很大的弹性空间;给付报酬的依据和标准视标注员的劳动数量和质量而定,遵循“多劳多得”的原则。平台作为数字化生产工厂,重塑了生产过程中的各种社会关系。在这种“云上车间”里,劳动者、监工和雇主彼此都“不可见”,传统的社会关系逐渐被数据和算法掌控、管理和安置,并在此基础上形成了各种“未经协商的数字关系”,并按照算法的逻辑进行重新连接和整合,体现为一种抽象结构的数字关系(戴宇辰,袁冰雨,2023)。数据标注员的劳动则体现为双重不确定性,其劳动过程体现了当代数字经济中权力与控制的再生产。在众包平台上,标注员虽然有选择参与任务的灵活性,但是作为“劳动者”,他们在完成任务时受到平台监督和规则约束,通常处于弱势地位,面临低薪、高强度的工作压力,缺乏有效的劳动保障和话语权。
  
三、研究方法说明
  为探求数据标注众包平台用户是否、以及如何将个人偏见“带入”标注过程,并由此将认知偏差迁移或“渗透”到数据标注结果的问题,笔者采用深度访谈和扎根理论相结合的方法,针对众包平台的用户行为和数据偏见成因开展质性研究。本项研究的合作者之一曾以实习生身份进入某互联网大厂的机器人项目团队,进行了为期6个月的亲身实践和参与式观察,对身边同事、算法工程师、客户和平台用户开展访谈,了解数据标注的工作流程、平台运营规则、审核标准、存在问题和产业现状等。本研究以杭州某互联网公司的数据标注众包平台用户为研究对象,按照随机原则选取27名外部标注用户和9名内部标注用户进行半结构化访谈,编码为P01~P36(见表1),每次访谈时间约60分钟。
  根据扎根理论的三级编码程序,研究者对收集到的原始访谈资料进行逐级编码,从中提炼相关概念、建立类属关系和模型演示。在初级编码阶段,研究者从访谈数据中提取了标注员的行为、心理动因、平台规则等21个初级概念,记为A。在轴心编码阶段,研究者将开放编码中提取的初级概念进一步关联和整合。例如,通过分析标注员在不同身份下的选择权、劳动报酬、任务压力,逐渐揭示出身份张力如何具体体现在任务分配、报酬机制和工作效率之间的冲突。从条件-环境-行动层面建立认知行为关联,生成14个二级类属,记录为B。在选择性编码阶段,研究者基于触及和二级编码,逐步形成核心理论,即数据标注员的行为和心理偏向,最终概括出本研究的5个核心类属,记录为C(表2 表2见本期第106页)。
  考虑到在众包环境下,用户的社会属性以及用户的行为价值可以帮助设计者对众包的实施过程(如任务分发、报酬分配、质量控制、人员分工、任务评估和纠纷解决等)进行更细致的设计(江雨,2019),本文通过对访谈对象的属性分类和访谈资料归因分析,在一级主题“用户偏见”之下,提炼出“潜意识偏见”、“确认偏见”、“数据导向的偏见”、“互动偏见”、“选择性偏见”五个核心类属,并将类属间的内在逻辑概括为如下模型(见图2)。
  该模型揭示了众包平台用户在“用户”和“数字劳工”的双重身份压力之下,既要满足平台作为客户的需求,也要努力保障自身利益,由此在任务选择、标注行为、与平台博弈等环节产生多重偏见和偏差,并通过一系列机制渗透、累积并最终导致人工智能系统中的偏见。研究者通过分析潜意识偏见、确认偏见、数据导向偏见、选择偏见、互动偏见之间的因果关系,深入分析和揭示了从主体偏见到AI偏见的生成路径。
  
四、分析与讨论:数据标注过程中的偏见因何而来
  数据标注员作为平台用户与劳动者的双重身份,使其在平台规则、任务执行和报酬激励的语境下,劳动形式和质量也存在“双重不确定性”。一方面,网络零工式的派工方式,使其在劳动产出的质与量方面存在较大的主观性,数据标注行为难以做到完全的统一化和标准化;另一方面,劳动者的个体差异和自主性,有可能对生产效率和标注质量产生影响。
  (一)潜意识偏见:标注员的认知偏差是偏见链条的起点
  认知能力是人的意识活动所具备的人脑机能之一,潜意识虽没有被主体自觉意识到,但也是一种特殊的意识表现形态。而偏见作为一种非理性的社会认知现象,既有可能表现为显意识,也可能沉淀于人们的潜意识中。在本研究中,我们把与“个体心理认同”、“用户特性”、“社会环境”、“经济价值”等类属相关的因素列为“潜意识偏见”。
  杭州某公司在一项复杂标注任务中,将1000条数据分发给内部研究团队和标注平台用户团队共同完成。由于数据需要直接应用于算法模型,所以要求数据准确率必须为100%。如数据存在错误,在模型中不能运行,会出现报错,公司会要求标注返修直至模型完全运行通过为止。表3是对两个团队工作情况的对比。
  根据任务完成情况比对分析,可以看出虽然在首次标注结果完成时,标注平台用户确实速度较快,但从整体数据结果来看,内部研究团队的效率明显高于标注平台用户。由于任务规则明确,并不存在对任务本身的需求有理解偏差,因此推测用户可能存在“为追求完成速度而忽略需求本身目的”的情况。在对相关用户进行访谈中发现,约有83%的用户明确表示“能赚多少钱”是他们做任务时最为关注的出发点,76%的用户认为只要他们做得多、做得快,就能获得更多收益。但实际上如果用户交付的数据标注产品准确率低,完成周期更长,取得的报酬也更少。这种情况在内部标注团队中很大程度上得到避免,因为专业数据标注公司的工作要求更为严格,其工作场所固定且集中劳动,实际工作中受到严密监控,大大规避了标注过程中的散漫。
  个体标注员这种“不走心”的态度是普遍现象:“我实在不太能理解一张图只有0.5元或者几分钱的任务。空闲的时间刷刷抖音、小红书不香吗,为什么要浪费脑力来做这种题目。”(P08)潜意识偏见由此可能在初始阶段就嵌入数据中,成为偏见传递的源头。
  (二)确认偏见:用户话语权缺失导致被动迎合平台运营机制
  确认偏见的产生,主要是由平台方的管理机制这一外部因素所导致。在任务分发阶段,平台通常会根据用户过往行为或特定算法要求分配相关任务或信息,从而强化用户已有的信念或判断。这种偏见会进一步加剧潜意识偏见的影响,导致用户对任务形式和分配模式出现理解偏差。并且由于用户缺少话语权,只能被动迎合平台机制,即使出现偏差也无法得到及时纠正,从而造成数据标注结果出现“偏见”或失真。目前市面上的大部分数据标注平台在产品设计上更倾向于管理者视角。平台介入与线上发/接单固然提高了交易效率,但引入算法管理且管理水平参差不齐、数据错误无法预见、发单方不诚信等因素常常引发标注成果被拒或半途而废、账号被封或停权等风险,造成接单者权益受损,且难以申诉或申诉无反馈(粟瑜,2023)。这种情况造成了用户话语权缺失,访谈中就有用户质疑平台的公正性,对其缺乏信任感。“有的时候非常怀疑审核真的对吗?会把有些我做对的(题目)给判错”(P18)。“积分不正确时,给官方邮箱发过邮件,光说会尽快处理,但是一直没有结果”(P18)。
  人员、信息和资本的流动、集中与偏向,在数据搜集与处理阶段已经植入了不平衡和不平等的诱因,将直接导致机器学习与算法结果的偏差。
  (三)数据导向的偏见:“垃圾进、垃圾出”的因果循环
  机器学习的过程被设定为机器向外部环境(数据)学习,但机器无法自主判断哪些数据需要被保留或者丢弃;相反,它们只能依据人们给它提供的所有数据来做出判断。一旦数据从开始就存在扭曲的现象,那么必将影响最终的输出结果。这就是算法训练中所谓“垃圾进、垃圾出”原则。
  数据导向的偏见集中在“客户需求不明、规则模糊、学习资源匮乏”等方面。有些客户给出的数据本身就存在问题。以某个进行卡车挖掘机器人模型训练的数据为例,任务中挖掘机器人被设定为模型形成后作用于前面4个轮子后面8个轮子的装载。实际生活中,因为卡车出厂的年份、品牌不同,每个版本的卡车会有细微的差别。但标注的数据图片中仅体现单一车型,用户在进行正常标注后形成的算法模型便只能应用到这种车型上,按照这种模型研发的产品上市后便会出现不匹配的问题。在该种情境下,过失并不在数据标注员,而是因为算法模型设计者的认知不全面而导致的标注结果不匹配。在访谈中,有用户就抱怨说:“本身TTS标注就比较主观,然后客户那边也不给明确的准则,每次都是说具体内容具体分析,就等于每次标注提交的结果都是不确定的,反反复复开了好几次会对齐准则都没结果,所以这个需求就不了了之了。”(P34)
  也有时数据标注的标准模糊、缺少规范性。如在某个语音合成标注平台对语音风格分类的标注任务中,平台运营者将语音风格分为“苏”、“沙”、“温柔”、“烟嗓”、“嗲”、“甜”等近20个标签分类。然而人的感官是复杂且不断变化的,有些难以被标签化,同样一种音色每个人听起来可能有不一样的体验。因此在某批音色判断任务投放给固定用户完成标注并回收后,研究人员发现即使是“多数人选择的答案”,比起所有参与任务的用户的收敛比③也存在很大差异,有多个音色标签最后算法判决答案仅有三分之一至二分之一的用户进行了选择,可见用户在完成任务时确实对音色的分类方式存在疑惑,但是管理方却没有接收到任何关于标签分类的质疑。
  平台作为数据管理方,为提高数据质量或满足特定算法训练需求,可能忽视数据多样性。当他们对这些数据标签进行主观分类时,已经把初始偏见先入为主地带入到整个任务中,并在后续的AI 模型训练中反映出来。因为平台缺少反馈和调整机制,导致即使有人对这种分类标准存在质疑,也无法得到体现和纠偏。
  (四)互动偏见:数据标注中的双重不确定性
  平台数据质量的不稳定还源于众包平台的分配规则。通常在预算允许的情况下,数据标注众包平台会根据客户的具体需求,把一个数据标注任务分配给多名标注员,并在结果上遵循“多数原则”。在这个过程中,平台可能通过反馈机制强化用户的偏见行为,而用户与AI系统之间的交互又可能因为算法设计的缺陷进一步放大偏见。一般来说,在平台接受任务的标注员都是分散的、临时性的劳动力,彼此之间缺少沟通、合作与反馈。例如,当一个被应用于动漫人物服饰塑造、对服装颜色美观度进行评估的标注任务产生时,平台随机分配给3名标注员,其中2名年龄在51岁以上,1名年龄在24~30岁之间,那么两名51岁以上人员的选择将主导标注结果,但很可能与动漫人物实际受众的喜好度存在很大偏差。
  此外,不同身份的用户对于标注工作本身也存在个体差异。在访谈中我们发现,内部用户关注数据用途,而外部用户更关注报酬问题。比如,同样做任务,有人从工作中获得了自豪感:“(我)做的声音被应用到了某某车上,每次听到都能很骄傲地说,这个声音是我做的,然后和家人分享自己的工作内容。”(P34)但也有人只想快快做完,“多拉快跑”:“在平台也做了一段时间了,体验感挺好的,就是对一些任务有的时候想做快点,多拿积分,然后账号被封禁了。”(P16)
  人机交互的设计本身就是以人工补机器之不足,但人机交互过程存在“双重不确定性”的难题:一方面,反映在数据标注过程中,“虽然雇主购买了劳动者在一定时间内的劳动能力,但其所获得的质与量都是不确定的”(哈里·布雷费曼,1978);另一方面,标注员个体之间的认知偏差又会影响标注的效率及其结果的准确性。这种双重不确定性会加重人机交互所形成的“互动偏见”,从而对数据质量或人工智能模型产生一定的影响。
  (五)选择性偏见:人工质检偏差中的用户差异
  平台的审核标准包括准确性、一致性、完整性和合规性四个方面。平台通过自动化算法和人工审核以确保标注结果准确、符合任务要求和平台标准。在数据标注的质检环节,平台除了使用机器(算法)质检外,还会加入人工抽检。但这种人工干预的结果,是否一定能有效排除偏差/偏见呢?
  每个标注众包平台对答题结果都有自己的质检方式,但仅仅停留在算法生成的是非判断上。因为算法模型缺少人类的情感和语言能力,在无法理解上下文含义和语境的情况下,可能会做出片面或武断的判断;同时,算法模型也可能会反映其训练数据结果的偏见或限制性。当人工质检员在进行筛选时,也许会在无意间加入具有导向性的主观性想法,这种“选择性”偏见可能导致样本选择存在偏差,即只选择某些特定的数据或忽视某些数据,而这些特定的数据无法代表整个数据集的特征。雪城大学的研究人员深入分析了社交平台上对种族歧视言论的审查政策,呼吁平台应针对不同的众包意见和方案进行合理裁决,不能只按照“对算法有利”或者“可接受的”原则随意应用(Sang & Stanton,2022),即使这种人工干预的做法在标注平台中很常见。
  
五、从“社会行动者”角度出发实施多元纠偏
  本研究在扎根理论的框架下重点探讨了数据标注过程中的偏见问题,识别并总结了五种主要的偏见:潜意识偏见、确认偏见、数据源偏见、互动偏见和选择性偏见,继而深入探寻导致偏见的各种因素,包括用户行为、平台-用户之间的互动关系、平台运营模式、数据源质量、数据审核中的人机协作等。通过社会行动者理论的视角,我们可以进一步探讨数据标注偏见的发生机制及其背后的行动者因素,进而揭示数据不正义现象的系统性根源和治理路径。
  潜意识偏见源于标注员在无意识中受到自身文化、背景或个体经历的影响。社会行动者理论指出,个体行动者的社会背景与认知框架在无形中影响其判断和决策。潜意识偏见正是这种作用的典型表现。标注员在处理数据时,其所处的社会环境和固有的价值观会在不自觉中渗透到标注结果中。为了治理这种偏见,应加强对标注员的多样性培训,通过强化其对不同社会背景和观点的理解来降低无意识偏见的影响。
  确认偏见是标注员倾向于选择与其已有认知一致的信息或标注的倾向。即个体在面对信息时更倾向于过滤或接受那些符合其既有认知框架的信息。确认偏见不仅仅是个体的认知局限,更是其所处社会结构对其行为模式的强化。要减轻确认偏见,可通过建立更严格的标注审核制度,规范标注标准,并引入多方审查机制。
  数据源偏见则是指源自于数据本身的偏见,往往与数据采集过程中的选择性有关。数据本身并非客观中立,而是由一系列社会行动者在特定情境下所构建的。因此,数据源偏见反映了社会行动者在数据采集过程中的选择性关注与忽略。为治理数据源偏见,应在数据采集阶段确保数据的多样性和代表性,并在标注阶段进行严格的来源审查。
  选择性偏见表现为在数据标注结果审核过程中引入的偏见。审核员作为行动者,其行为同样受限于社会背景、知识结构和权力关系。审核过程中的不对称权力结构往往导致某些偏见的再生产。因此,在审核机制设计中,需强调审核者多元背景的引入,并通过自动化标注程序作为辅助审核来减轻个人偏见的影响。
  互动偏见体现了数据标注员与平台或其他参与者之间互动所引发的偏见。社会行动者之间的互动结构会塑造彼此的行为模式,而用户与AI系统之间的交互又可能因为算法设计中的缺陷而进一步加剧偏见。在我们的访谈调查中,许多标注员表示对众包平台和标注行业缺乏信心。原因就是,作为底层劳工的数据标注员劳动权益无法得到保障、严苛的标准化考核、分散劳动造成的社会隔绝,难以形成共同利益和劳工团结,以及厚此薄彼的数据体制等,共同形塑着新型的数字不正义。治理互动偏见的关键在于设计更加透明和公平的互动机制,确保标注员在互动过程中拥有平等的话语权和信息获取能力。
  综上所述,数据标注中的偏见问题并非孤立的技术性问题,而是深嵌于社会行动者的互动网络和权力结构之中。这些偏见不仅削弱了数据的公正性,更有可能影响人工智能的精准性,加剧数据不公正的现象。因此,治理偏见的关键在于关注数据标注员与平台运营者等行动者角色及其互动关系。通过设计合理的制度和技术措施,平衡不同行动者之间的权力分配,有助于建构更加公平和公正的人工智能生态系统,推动数据正义的实现。■
  
注释
①②《中国数字标注行业发展分析与投资前景预测报告(2024-2031年)》,https://baijiahao.baidu.com/s?id=1795814724624432129&wfr=spider&for=pc。
③收敛比,是数学分析的基本概念之一。它是指在数值计算或优化算法中,用于衡量算法的收敛速度和效率的指标。通常表示为迭代过程中每一步的误差减小的比例。较高的收敛比意味着算法能够更快地接近最优解或收敛到目标值,而较低的收敛比则表示算法收敛速度较慢。因此,收敛比是评估算法性能和效率的重要指标之一。
  
参考文献
蔡莉,王淑婷,刘俊晖(2020)。数据标注研究综述。《软件学报》,(02),302-320。
戴宇辰,袁冰雨(2023)。云上车间中的劳动折叠:人工智能数据标注的劳动过程研究。《福建师范大学学报(哲学社会科学版)》,(03),108-121+170。
范红霞,孙金波(2021)。看不见的“大象”:算法中的性别歧视。《新闻爱好者》,(10),29-32。
方晔玮,王铭涛 (2022)。基于自动弱标注数据的跨领域命名实体识别。《中文信息学报》,(03),73-81+90。
[美]哈里·布雷费曼(1978)。《劳动与垄断资本》(方生,朱基等译)。北京:商务印书馆。
贾文娟,颜文茜(2022)。认知劳动与数据标注中的劳动控制——以N人工智能公司为例。《社会学研究》,(05),42-64+227。
江雨(2019)。《基于不确定任务环境的众包用户行为分析及调度策略研究》。上海:华东师范大学硕士学位论文。
粟瑜(2023)。人工智能时代数据标注众包劳动的法律保护。《暨南学报(哲学社会科学版)》,(01),64-77。
姚建华(2021)。《数字劳动:理论前沿与在地经验》。南京:江苏人民出版社。
Meyer,D.(2018). Amazon Reportedly Killed an AI Recruitment System Because It Couldn't Stop the Tool form Discriminating Against Women. http://fortune.com/2018/10/10/amazon-ai-recruitment-bias-women-sexist/.
SangY.& StantonJ.(2022). The origin and value of disagreement among data labelers: a case study of individual differences in hate speech annotation. Cham: Springer.
  
[作者简介]范红霞系浙大城市学院新闻与传播学院副教授,浙江大学传媒与国际文化学院硕士生导师、博士后合作导师;俞律弘系英国谢菲尔德大学历史、哲学和数字人文学院硕士研究生。本文为国家社科基金青年项目“中国影视海外传播塑造国家形象研究”(20CXW010)的阶段性成果。
主管单位: 上海报业集团
主办单位: 上海报业集团      上海社会科学院新闻研究所