《Design Science》:Characterising design tasks for assessing Learners’ Design Competence
编辑推荐:
学习者设计能力(Learners’ Design Competence, LDC)是学习者在多个情境中整合并应用相关知识、技能与态度,以有效完成给定设计任务的能力。本文旨在表征该设计任务,并使其特定于情境,从而可用于评估设计学习者。对文献的全面综述提出了一种适
学习者设计能力(Learners’ Design Competence, LDC)是学习者在多个情境中整合并应用相关知识、技能与态度,以有效完成给定设计任务的能力。本文旨在表征该设计任务,并使其特定于情境,从而可用于评估设计学习者。对文献的全面综述提出了一种适用于验证的设计能力模型。首先,研究人员使用 Kipling 方法验证其构念(construct),以检验其是否能够识别决定设计任务的主要(子)因子。由此提出了设计任务本体(design task ontology)。其次,通过将编码者间信度(Inter-Coder Reliability, ICR)和 Krippendorff’s alpha(K-α)与真实标注(ground truth)进行比较,对经验证据进行主题分析,验证了其内容的全面性,并据此对本体提出修订。最后,通过设计任务句法(design task syntax)界定各因子之间的关系,评估了标准效度(criterion validity),从而验证其在真实情境中的应用。由此构建的完整设计任务集合被存入设计任务生成器(design task generator)工具中,以便于陈述评估 LDC 所需的设计任务。
面向学习者设计能力评估的设计任务表征研究解读
研究背景与问题:设计教学历史上通过雕塑、建筑等工艺组织,学徒制在完整从业者指导下训练。此后,De Architectura、Vāstushāstra 等论著将工艺科学化。现代按大纲进行的设计教学源于德国 Bauhaus 设计学校,用于应对20世纪初大规模生产需求,但学徒制仍限于特定设计实践学科。Simon 认识到设计活动具有普遍性,包括在各职业中识别和解决不良结构问题,并主张在高等教育专业教育中传授设计基础。Lawson 认为这可能太晚,因为专业化从学校开始。设计融入学校课程主要有两种策略:艺术或技术中的设计认证;设计思维作为科学、数学、地理等常规科目的教学法。然而,策略1使学生过早专业化,策略2因儿童认知成熟度演变而难以模拟完整设计过程。尽管存在不足,国际广泛采用 IGCSE 艺术与设计、设计与技术课程;印度 CBSE 在中学规定 Design Thinking and Innovation、Tinkering Lab 专用教材。艺术课程以工作室为中心(studio-centric),技术课程以实验室为中心(laboratory-centric)。用此类专门课程教授跨学科设计,不仅不充分,也违背教育“培养全面均衡个体”的目的。印度学校侦察调查还发现,这些课程由传统学科教师承担,教师缺乏设计导向培训,课程存在学科偏见,使教学和评估设计学习者更困难。为克服不足,研究人员倡导能力本位评估。设计能力被定义为有效执行任何设计任务的能力。已有研究详细讨论这种能力的性质,但未解决可用于评估的任务类型。因此,本研究旨在填补这一空白,目标是:识别决定设计任务的主要因素;验证这些因素跨设计学科的全面性;提出定义设计任务的标准代码并评估应用。意义在于扩展作者早期关于设计能力构念的工作,将模型识别、验证并修订为设计任务本体,跨学科验证内容效度和标准效度,并统一基础设计能力本位评估。
研究人员开展的研究:采用混合方法,因研究同时具有确定性和随机性。研究基于 Chakrabarti 的 Design Aspects 模型,依次进行构念效度(construct validity)、内容效度(content validity)和标准效度(criterion validity)验证,提出设计任务本体(Design Task Ontology)、设计任务句法(Design Task Syntax)与设计任务生成器(Design Task Generator)。结论是:该本体可跨学科全面表征设计任务,句法可标准化定义任务,生成器可交互访问真实设计任务,支持 LDC 评估。其意义包括编码统一设计课程、策略化 LDC 评估以及单元化设计问题。
关键技术方法:采用混合方法。理论上以 Kipling 方法(5Ws1H)对 Design Aspects 模型做构念效度检验,提出设计任务本体。内容效度采用演绎主题分析与编码者间信度(Inter-Coder Reliability, ICR):开发 Codebook,三名编码者 C0(研究者,建筑学学士)、C1(非设计者,英语文学与新闻学硕士)、C2(设计者,设计学学士),对60个学习目标(Learning Objectives, LOs)分层样本编码;样本来自 QS 2025 国际前五和印度 NIRF 2025 前五高校的艺术、建筑、工程基础年本科课程。总体1078个 LOs(国际485、印度593),清洗后600。比较 ICR 与 Krippendorff’s alpha(K-α)对 ground truth,修订本体后进行第二轮编码。标准效度通过设计任务句法定义六因子关系,抽样270个任务在建筑等领域检验,并建立在线设计任务生成器。
研究结果:
3.1 Design Aspects 模型(现有):Chakrabarti 的模型提出五个设计能力方面,即 Discipline、System、Lifecycle、Application、Innovation process 及其子方面,原用于分类设计者及其设计。
3.2 模型验证——构念效度:研究人员用 Kipling 方法按 5Ws1H 检验模型能否识别决定设计任务的主要(子)因素。将 Innovation process 改为 Artefact(What),包含 Product、Process、Service、Organisation;Lifecycle 改为 Implementation(When),包含 Production、Distribution、Use、Retirement;System 改为 Scope(Where),包含 System、Environment、Interface;Technology 改为 Techne(How),包含 Form、Function、Value;Application 改为 Stakeholder(Whom for),包含 Society、Economy、Ecology;新增 Needs(Why),包含 Existence、Sustenance、Furtherance。由此提出设计任务本体。
3.3 内容效度:对艺术、建筑、工程基础课程 LOs 进行主题分析,数据来自 QS 2025 和 NIRF 2025 前五高校,总体1078个 LOs,清洗后600,分层抽样60。三名编码者 C0、C1、C2 编码。第一轮发现 Process–Production、Product–System、Function–Value、Environment–Ecology 存在歧义;修订包括增加 Development,将 Production/Distribution 合并为 Realisation,Use 改为 Maintenance,Scope 改为 Focus,Environment 改为 Surrounding,Form 改为 Form/Structure,删除 Value。第二轮后 ICR ≥90%,K-α 分别为 C0–C1 0.91、C0–C2 0.93、C1–C2 0.86,表明修订本体可靠且有效。
3.4 标准效度:将六因子 F
1 Implementation、F
2 Artefact、F
3 Techne、F
4 Focus、F
5 Need、F
6 Stakeholder 按任务目的驱动顺序 F
1→F
6 关系化,笛卡尔积 F
1×F
2×F
3×F
4×F
5×F
6 产生864个唯一设计任务。设计任务句法为:Plan to implement an artefact, by manipulating techne in its focus, towards stakeholder needs。在建筑领域抽样270个任务,检验多实施阶段、任何人工物、任一 techne、变化焦点、多利益相关者、变化需求等准则,并扩展到其他学科。任务存入在线设计任务生成器。
4.1 设计任务(子)因素识别:通过构念与内容效度,识别并修订设计任务(子)因素,完成目标1和目标2。
4.2 设计任务框架标准代码:通过关系映射与设计任务句法,形成标准代码,经270个任务示例和生成器验证应用,完成目标3。
讨论与结论:讨论指出,构念效度导致本体提议,内容效度通过 ICR 与 K-α 确认高一致,标准效度通过句法、270个任务示例和在线生成器确认。局限性包括:本体穷尽性受 LOs 代表性限制;数据限于高等教育基础设计 LOs;后期本科教育超出范围;应用示例主要在建筑领域。研究意义包括编码统一设计课程、策略化 LDC 评估、单元化设计问题。研究结论翻译如下:总之,本文报告的研究评估了所选设计能力模型是否通过构念、内容和标准效度有效,以表征基础阶段 LDC 评估的设计任务。设计情境的变化不仅因为问题不同,也因为设计者习惯采用不同方法。该模型对设计者学科的依赖,以及其他缺点,通过审查其构念,将决定任何设计任务的主要(子)因素在理论上概念化为设计任务本体而得到克服。因此,这些(子)因素用现有设计学习课程的经验证据验证,以确保本体内容互斥且穷尽,除少数后来解决的模糊子因素外,从而提出修订的设计任务因素本体。最后,为实现表征适合评估 LDC 的设计任务这一目标,开发了组织设计任务因素之间关系的标准模板,即设计任务句法。该句法应用于现实情境,导致设计任务生成器的开发;它是在复杂性一阶下可能的864个独特情境中三分之一设计任务的汇编库,从而明确肯定本体的标准效度。