从算法到问责:可信与负责任AI的跨学科治理、AI素养与透明度实践

《IEEE Transactions on Computational Social Systems》:Exploring AI Law and Ethics in Practice: From Algorithms to Accountability [Trustworthy and Responsible AI]

【字体: 大 中 小 】 时间:2026年10月21日 来源:IEEE Transactions on Computational Social Systems 4.6

编辑推荐:

  在高风险领域(high-stakes domains)中,人工智能(artificial intelligence, AI)的有效治理和负责任采用需要跨学科、跨部门及跨司法辖区(jurisdictions)的协作。2026 IEEE World Congres

  
在高风险领域(high-stakes domains)中,人工智能(artificial intelligence, AI)的有效治理和负责任采用需要跨学科、跨部门及跨司法辖区(jurisdictions)的协作。2026 IEEE World Congress on Computational Intelligence(WCCI 2026)举办的“From Algorithms to Accountability: Exploring AI Law and Ethics in Practice”研讨会,考察了共同制定AI系统标准(standards)、问责机制(accountability mechanisms)和治理框架(governance frameworks)的方法。该研讨会汇聚来自不同领域的专家,探讨当前伦理、法律与监管挑战,并识别负责任AI(responsible AI)研究与实践的优先事项(priorities)。该报告总结了讨论中形成的关键主题、见解和建议。
**研究背景与问题**
该报告聚焦人工智能(artificial intelligence, AI)在社会中快速且广泛采用所带来的治理需求,尤其强调高风险领域(high-stakes domains)中的负责任部署需要超越学科、部门和地理边界的协作框架。现有问题包括:伦理、法律和监管挑战并存;AI素养(AI literacy)不足可能造成对自动化的过度依赖、偏见或错误被忽视以及质疑不当决策的能力下降;生成式人工智能(generative AI, GenAI)和大语言模型(large language models, LLMs)使可解释性与透明度更加复杂;欧盟人工智能法案(EU AI Act)与医疗器械法规(Medical Device Regulation, MDR)等监管框架存在重叠;数据空间(data spaces)和健康数据二次使用带来目的变化、责任碎片化和重识别风险。为此,研讨会组织者Tayo Obafemi-Ajayi、Keeley Crockett、Chiara Gallese、Amanda Horzyk、Maja Ni?evi?和Asim Roy设计并组织“From Algorithms to Accountability: Exploring AI Law and Ethics in Practice”研讨会,于2026年6月25日在荷兰举行的IEEE WCCI 2026期间召开,由IEEE Computational Intelligence Society Technical Committee on Ethical, Legal, Social, Environmental, and Human Dimensions of AI/CI(SHIELD)与International Neural Network Society(INNS)AI Law and Regulation(ALR)Section共同赞助。报告指出,可信AI实践不仅需要技术性能或监管合规,还需要跨学科协作、明确问责、有意义的透明度、相称治理、隐私与安全感知设计,以及在安全性、合法性或伦理一致性无法证明时挑战或拒绝AI系统的能力。其重要意义在于把抽象原则转化为分配责任、保护权利、支持监督和促进利益相关者参与的具体机制,从算法走向问责。

**关键方法**
该文为研讨会报告而非实验研究。方法学核心是围绕三大主题组织受邀主旨报告、专家小组讨论、互动分组讨论和圆桌讨论,整合学术界、产业界、监管机构与公民社会视角,主题涵盖高影响部门AI素养、可解释性与透明度、产业案例与合规。未涉及试剂、培养、质粒构建等实验操作,也未涉及样本队列来源。

**研究结果**
**Theme 1: Navigating Trust Through AI Literacy in High-Impact Sectors(高影响部门中通过AI素养导航信任)**:通过Steph Wright和Gianmaria Silvello的主旨报告及分组讨论得出,AI素养不仅是技术熟练,而是批判性质问、治理并在适当时拒绝AI系统的能力,是高影响部门可信、可问责和安全采用的基础。
**A. Challenging Narratives to Earn Trust**:通过Wright的报告得出,“安全采用”的叙事本身应受挑战;AI系统并非中性工具,信任须通过可证明的问责持续赢得,评估应覆盖全生命周期,包括环境成本、数据与劳动剥削、社会影响和算法问责;在安全未验证、伦理对齐缺失或问责分散时,利益相关者应准备停止或拒绝部署。
**B. From Federation to Accountability**:通过Silvello的报告得出,AI素养因利益相关者而异;HEREDITARY项目以共享本体查询分布式敏感患者数据并支持数据最小化,但查询或查询组合仍可能识别个体;PRISM(Privacy Risk Intensional-to-Statistical Model,隐私风险内涵到统计模型)框架在执行前评估查询的隐私与识别风险,并建议允许、保障、升级或拒绝及解释风险因素;尚待解决问题包括谁决定可接受风险边界以及如何治理累积风险。
**C. Key Insights From Theme 1 Discussion**:通过主题讨论得出,AI素养是多维、角色特定的能力,涵盖技术意识、伦理推理、治理、风险评估和批判性评估AI支持决策的能力;高层领导尤需较强素养;行动呼吁是超越推广采用,确认AI使用是否必要和正当,投资持续的角色特定教育,嵌入跨学科参与式监督,并确保全生命周期透明度、可审计性、责任和问责。
**Theme 2: Socio-Technical Translational Insights on Explainability and Transparency(可解释性与透明度的社会技术转化洞见)**:通过3场闪电演讲和小组讨论得出,随着AI走向复杂生成式和代理式系统,可解释人工智能(explainable AI, XAI)与透明度须演进,透明度应成为社会技术设计与治理原则,并由系统级审计和监测支持。
**A. Explainability for Generative AI Pipelines**:通过Alan Perotti的报告得出,传统机器学习解释相对明确,而GenAI和LLMs具有随机、开放函数并嵌入提示工程、检索增强生成(Retrieval-Augmented Generation, RAG)、网络接地和API工具调用,带来幻觉、记忆、毒性、提示注入、越狱和后端静默更新等新失效模式;需要系统级工程纪律,包括审计测试组件、守护交接、部署前红队和人类可读日志,并面临评估与操作化挑战。
**B. A Paradigm Shift in Modeling: Explainability as the Driver, Model as the Tool**:通过Asim Roy的报告得出,可解释性应成为设计要求而非事后解释;应反转建模过程,先定义人类理解所需概念和解释,再设计模型产生并验证解释,此即DARPA所称“部分验证”(part verification);该“认知优先”路径与神经符号AI一致,使可解释性成为驱动、模型成为工具。
**C. ICO Guidance to Individuals and Companies on Data Protection Regulation**:通过Christos Christodoulopoulos的报告得出,透明度是数据保护基本原则,是企业证明合规和数据主体行使权利的前提;深度学习和GenAI及网络规模模型使透明度更困难;ICO技术研讨会汇集产业工程师和学术研究者审查网络规模AI训练数据的透明度挑战并开发概念验证方案;透明度是跨计算、心理和社会维度的社会技术研究挑战,需要持续监管参与和跨部门协作。
**D. Key Insights From Theme 2 Panellists and Discussion**:通过小组讨论得出,透明度和可解释性是可信AI的必要但不充分条件,需要以人为本并平衡稳健性、安全性、公平性、隐私、安全、问责和人类监督;Crockett主张从技术可解释走向公民可理解,解释应可及、情境敏感并适配不同AI素养;讨论强调透明度须超越模型而覆盖整个AI管道和数据来源、质量与处理,可解释性须以人为中心,监管应将合规差距转化为设计挑战。
**Theme 3: Industry Case Studies: Responding to and Moving Beyond Compliance(产业案例:回应并超越合规)**:通过Chiara Galliese和Michael van Hartskamp的报告及圆桌讨论得出,组织在EU AI Act与部门框架交互下需从形式合规走向实质问责。
**A. AI, Data Spaces, and Compliance**:通过Galliese的报告得出,EU AI Act、通用数据保护条例(General Data Protection Regulation, GDPR)与欧洲数据空间交汇对问责和基本权利构成挑战,尤其健康数据复用训练AI时;目的变化、责任碎片化和重识别风险需关注,人类监督和合成数据等传统保障可能不足;有效合规需要全生命周期可追溯问责、明确责任、稳健治理,并考虑是否排除某些敏感数据用于AI训练。
**B. Integrating AI Act and Medical Device Risk Management**:通过van Hartskamp的报告得出,AI医疗设备可能为高风险,需同时遵守EU AI Act和MDR;两者质量与风险管理要求不同但法律文本相似,AI Act增加基本权利风险,需整合进医疗器械合规流程;偏见应作为风险管理问题而非仅数据质量问题;prEN 18283标准提供识别偏见危害、定义相关群体、选择偏见指标和实施缓解措施的方法,良好标准可桥接两监管框架并减少重复。
**C. Lessons From Theme 3 Round-Table and Discussion**:通过圆桌讨论得出,重叠监管带来术语和要求差异、不确定性、重复和成本,尤其影响中小企业;需要监管一致性、早期利益相关者参与和协调标准;AI治理须超越形式合规,进展需要连贯监管、有意义参与、可操作标准、适当激励和全生命周期明确问责。

**讨论总结与研究结论翻译**
讨论部分指出,三个主题的共同信息是:可信AI实践需要超过技术性能或监管合规,要求跨学科协作、明确问责、有意义的透明度、相称治理、隐私与安全感知设计,以及挑战或拒绝无法证明安全、合法或伦理对齐的AI系统的能力。Grefen提出责任四方(responsibility quadrangle)在AI系统或其所有者、系统设计者、依赖其决策的用户和受决策影响的主体之间分配责任;Ni?evi?强调负责任AI须超越合规,将治理和伦理反思嵌入组织文化。参会者反思认为,将AI伦理转化为实践需把AI素养、监管合规和社会技术考量嵌入工程与治理,优先透明度、公民参与和有意义的审查,并面对性能、公平与包容之间的权衡。关键结论是应为可理解性而非仅透明度而设计,解释应使受影响者能够理解、质疑并据以行动;问责应提供人工审查、可争议和救济机制。
研究结论翻译:展望前路,需要在人工智能、法律、伦理、产业及整个社会之间开展持续的跨学科交流。对关键性AI素养、参与式研究、人类价值以及安全设计的投入并非创新的边缘事项。持续的集体意义建构论坛对于将原则转化为实践、并从算法走向问责至关重要。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号