《Information》:The Readability of Generative AI Policies: An Empirical Analysis of OpenAI’s Informational Documents
编辑推荐:
近年来,媒体关注聚焦于人工智能(artificial intelligence, AI),尤其是聊天机器人服务和生成式智能。由OpenAI创建的ChatGPT(Chat Generative Pre-trained Transformer)是最早的在线工具之一
近年来,媒体关注聚焦于人工智能(artificial intelligence, AI),尤其是聊天机器人服务和生成式智能。由OpenAI创建的ChatGPT(Chat Generative Pre-trained Transformer)是最早的在线工具之一,并迅速获得普及。用户确实接触到带有隐私通知和使用条件的服务,这些条件控制服务使用和个人数据收集,限制滥用。然而,至关重要的是,这些材料必须可用以确保该技术的伦理性使用。这项探索性单一提供者案例研究评估了11份英文OpenAI信息文档的文本属性。具体而言,计算了若干可读性指数,即Gunning Fog Index(GFI)、Coleman–Liau Index(CLI)、Flesch–Kincaid Grade Level(FKGL)、Automated Readability Index(ARI)、Simple Measure of Gobbledygook(SMOG)和Flesch Reading Ease(FRE),以及词汇密度(lexical density)和估计的默读与朗读时间。对面向普通消费者(n = 4)和专业/企业对企业(n = 7)的文档属性进行了比较。结果表明,大多数文档表现出高度的结构语言复杂性。组级检验在多重比较校正后未发现两个受众群体之间存在显著差异,而可读性指数之间高度相关。文档长度与可读性分数无系统性关联,其与估计阅读时间的关系是确定性的,因为阅读时间是根据单词数计算的。本研究为提供者的政策复杂性建立了描述性基线。研究发现识别了潜在的结构性和时间性障碍,但不证明实际的理解、可访问性、法律合规性或知情同意。
**研究背景与现存问题**
自2020年以来,媒体对人工智能(artificial intelligence, AI)的关注显著升温,尤其是聊天机器人服务与生成式智能。OpenAI开发的ChatGPT(Chat Generative Pre-trained Transformer)上线两个月即吸引约1亿用户,2023年11月报告每周活跃用户达1亿。生成式AI服务不仅由模型设计和技术保障措施约束,还受提供者发布的信息文档规制。这些政策构成AI治理的用户面向层,将组织规则转化为个人和专业客户据以行动的信息。负责任AI框架因此要求披露信息不仅要形式可得,还必须对目标受众可用。欧盟《通用数据保护条例》(General Data Protection Regulation, GDPR)第12条要求信息须简洁、透明、可理解、易于访问,并使用清晰、朴实的语言;《人工智能法案》亦为与自然人交互的AI系统提供者设定了透明度义务。
既有"告知—同意"文献已揭示披露与知情选择间的持续障碍:隐私政策造成可观时间成本(McDonald和Cranor),用户常在未阅读情况下接受条款(Obar和Oeldorf-Hirsch),展示条件影响政策是否被打开和关注(Steinfeld),法律歧义导致提供者含义与用户理解错位(Reidenberg等),政策长度、未定义术语与技术词汇与较差理解相关(Bailey等)。Fabian、Ermakova和Lentz分析49,036份隐私政策发现可读性水平普遍超过一般人群教育程度;Jensen和Potts证明在线隐私通知通常要求大学以上阅读能力。然而,仍存在三个局限:第一,多数证据关注传统网站隐私通知而非生成式AI提供者的完整政策生态系统;第二,研究常聚合功能与受众不同的文档,掩盖了面向消费者的条款与面向开发者、企业或法律专家的文档之间的差异;第三,可读性公式仅估计表层文本难度,不直接测量理解、信任或同意有效性。因此,悬而未决的问题不是在线政策是否普遍困难,而是生成式AI服务的多份治理文档如何在不同文档类型和受众之间分配结构性与时间性访问负担。
**研究内容与主要结论**
研究人员以探索性单一提供者案例研究为设计,选取OpenAI作为分析对象——作为市场领导者,其政策生态系统实际为生成式AI行业确立基线标准。研究分析了2024年3月21日采集的11份英文信息文档,先验分为普通消费者文档组(n = 4:Terms of Use、Privacy Policy、Usage Policies、Sharing & Publication Policy)与专业/企业对企业(business-to-business, B2B)文档组(n = 7:Service Terms、Data Processing Addendum、Plugins and Actions Terms、Service Credit Terms、Business Terms、Enterprise Privacy at OpenAI、Coordinated Vulnerability Disclosure Policy)。计算六种可读性指数、词汇密度(lexical density, LD)及估计默读与朗读时间。结果表明:大多数文档呈现高结构语言复杂性,许多数值落入与大学本科(13–16年级)相关的区间;Data Processing Addendum复杂度最高(FRE最低,SMOG、GFI、FKGL最高),Enterprise Privacy at OpenAI可读性相对最高;LD在Usage Policies中最高、在Terms of Use中最低;最长文档需近20分钟默读。多重比较校正后,两组间在所有指标上均无显著差异(所有q = 0.927),最大效应量为ARI(秩双列r = 0.50;未校正p = 0.230)。文档长度与可读性分数无系统关联,但与估计阅读时间完全相关(rho = 1.00,因阅读时间由词数直接计算);FKGL与ARI正相关(rho = 0.945, q < 0.001),CLI与FRE负相关(rho = ?0.927, q = 0.001)。本研究为生成式AI政策生态系统建立了多指标描述性基线,区分了普通消费者文档与专业/B2B文档,并将可读性解释为信息可访问性的前因而非理解或知情同意的直接度量。
**关键技术方法**
使用Python 3.10环境:NLTK(3.8.1)进行句子切分与词元化,textstat(0.7.3)执行音节计数,spaCy(en_core_web_sm模型)进行词性标注以计算LD。原始文本经人工清理,移除导航菜单、页眉页脚、超链接、URL、表格数据、法律引用编号等非叙述性元素,项目符号转为标准句子。六种可读性指数按标准化公式计算:GFI基于总词数、总句数与三音节以上复杂词数;CLI基于每100词字母数与每100词句子数;FKGL基于词、句与音节数;ARI基于字符、词与句子数;SMOG基于多音节词与句子数;FRE基于词、句与音节数(0–100分,分数越低文本越难)。阅读时间按默读250词/分钟、朗读150词/分钟的标准速率估算。统计推断采用精确双侧Mann–Whitney U检验,报告秩双列相关为效应量;指标间关联用Spearman秩相关(99,999次置换检验),Benjamini–Hochberg校正控制错误发现率。
**研究结果**
*文档长度与句子复杂度*:Data Processing Addendum和Business Terms词数最多,因而估计阅读时间最长。结构分析显示文档长度和句子复杂度存在显著差异。
*可读性指数分级*:六种公式在文档和指数间产生了高中、本科与研究生相关的基准分类混合值,许多值落入本科相关区间。Data Processing Addendum复杂度最高,Enterprise Privacy at OpenAI可读性相对最高。LD在语料库中有所变化:在Usage Policies中最高,在Terms of Use中最低。
*阅读时间负担*:估计阅读时间显示可观的时间负担,最长文档在固定速率下需要近20分钟默读。
*受众组比较*:普通消费者组词数中位数为2332.5(四分位距1397.5–3192.0),专业/B2B组为1539.0(974.5–3320.5);对应默读时间中位数分别为8.93和5.97分钟。精确Mann–Whitney检验经Benjamini–Hochberg校正后未发现任何指标存在可靠组间差异(所有q = 0.927)。最大效应量出现在ARI(秩双列r = 0.50;U = 21;未校正p = 0.230)。小样本量导致统计功效较低、不确定性较大。
*指标间关系*:词数与估计默读时间完全相关(rho = 1.00),属算术依赖而非独立经验关联。词数与LD或可读性指数在校正后无显著关联。FKGL与ARI正相关(rho = 0.945, q < 0.001),CLI与FRE负相关(rho = ?0.927, q = 0.001),表明公式在共享的结构复杂性维度上收敛,但仍为不同度量。
**讨论与结论**
讨论指出,结果与更广泛的隐私政策文献一致:Fabian等报告的FKGL、CLI、ARI和GFI平均年级估计分别为13.60、12.70、14.58和16.49,本研究中Privacy Policy对应值为15.13、14.04、14.38和17.04,同属困难的大学水平区间。Krumay和Klar的多公式比较建议亦得到支持:六指标收敛强化了困难并非单一公式伪影的解读,指数间差异则提示不应将任何单个年级估计视为精确值。
研究明确区分了可读性、信息可访问性、理解、法律透明度与知情同意。可读性度量表层文本复杂性,不评估读者是否定位并理解实质信息、做出自愿选择或给予法律上有效的同意。估计阅读时间代表建模的时间负担而非实际阅读行为;文档长度与词汇复杂性是文本可访问性的不同维度。结论认为,消费者面向的复杂性可能构成知情决策的潜在结构性障碍,而专业文档即使对目标专业受众也可能具有较高要求——但两种含义均未经行为测试验证。
研究局限包括:仅单一提供者、11份英文文档、单时间点(2024年3月);小组规模限制统计功效,非显著比较不应解释为等价证据;未收集行为、人口统计、理解或同意数据。未来工作应跨提供者、语言、法域和时间点比较等价政策类型,并通过随机化实验测试原文与平实语言、分层、交互式及AI辅助格式在条款检索、理解、回忆、决策质量、阅读时间与信任方面的差异。