《Biomedical Signal Processing and Control》：CAT: A Concept Annotation Tool for supporting the development of interpretable deep learning models
编辑推荐：
可解释深度学习模型（eXplainable Artificial Intelligence, XAI）的部署通常在多个领域受到限制，主要原因是缺乏经过适当标注的数据。开发先进的可解释模型——尤其是为细粒度分类（fine-grained classificati
可解释深度学习模型（eXplainable Artificial Intelligence, XAI）的部署通常在多个领域受到限制，主要原因是缺乏经过适当标注的数据。开发先进的可解释模型——尤其是为细粒度分类（fine-grained classification）设计的模型——不仅需要简单的类别标签，还需要丰富的元数据，如属性（attributes）和部分位置（part locations）。这一需求因国际上日益要求使用可信且可解释的XAI法规而进一步放大。现有的公开数据集往往缺失此类关键的细粒度信息，在实际应用中有必要进行自定义标注，而这通常由人工完成。为解决上述挑战，研究人员提出了概念标注工具（Concept Annotation Tool, CAT）——一种通用、平台无关的标注应用程序，专门设计用于快速、灵活地丰富任意图像数据集。该工具允许用户通过添加属性来标注每张图像、执行部分标注（part annotation），以及应用标准标注（如边界框和图像裁剪）。研究人员通过对两个数据集进行增强来展示该工具的实用性与普适性：一个是来自农业食品领域与蘑菇分类相关的数据集，另一个是参考色素性皮肤病变（pigmented skin lesion）分类的医疗数据集。案例研究表明，相较于人工方法，使用CAT能显著加快大规模数据集中细粒度属性的赋值过程。
论文解读：《CAT: A Concept Annotation Tool for supporting the development of interpretable deep learning models》发表于《Biomedical Signal Processing and Control》
一、研究背景与动机
计算机视觉领域广泛依赖不透明的"黑箱"深度学习模型，这促使各界对可解释人工智能（eXplainable Artificial Intelligence, XAI）的需求不断增长。细粒度分类（fine-grained classification）任务要求模型依据数据集中标注为属性的细微特征来区分同一类别下的不同子域，同时可解释模型及部分新兴法规要求训练数据需包含丰富的概念级标注（如部位属性、可见度、部件坐标）。然而现有公开数据集极少提供此类细粒度标注，传统人工标注耗时昂贵且易出错，主流标注工具（如LabelMe、VGG Image Annotator(VIA)、Roboflow）虽支持目标检测或分割框标注，但不支持通过可视化示例辅助标注细粒度属性及部件可见度，也不原生保存属性可见度信息。使用Amazon Mechanical Turk(AMT)等众包平台虽可定制但需付费。因此研究人员开展了Concept Annotation Tool(CAT)的开发与验证研究，旨在提供免费开源、可配置、带可视化属性引导的细粒度概念标注环境。研究结论表明CAT能大幅缩短标注时间并保持或提升标注质量与一致性，对构建可解释深度模型所需的概念标注数据集具有重要实用价值。
二、主要关键技术方法
研究人员使用Python编程语言及PyQt5图形界面库开发了跨平台桌面端标注软件CAT。CAT通过外部文本配置文件（questions.txt）让用户按"类别∥说明|属性1|属性2…"格式自定义需标注的部位（parts/categories）及其候选属性值，并可放置同名PNG示例图至img文件夹实现属性可视化参照。软件界面支持加载图像文件夹与输出CSV，提供图像列表与标注进度统计、图像显示区、裁剪(crop)与边界框(bounding box)绘制功能（用于提取个体或标记原型部位坐标）、属性面板（含Not Visible/Partially Visible/Fully Visible三档可见度图标，不可见图自动禁用属性选择）、实时CSV/JSON预览。标注结果默认存为逗号分隔值(Comma-Separated Values, CSV)或JavaScript Object Notation(JSON)；每次保存前自动生成带时间戳备份（至多保留10版）。为验证效用，研究人员选取FungiTastic蘑菇数据集（含专家标注的多部位形态色彩属性）及Skin Cancer MNIST: HAM10000色素性皮肤病变数据集（含不对称、边界、颜色、大小、演变特征），分别配置questions.txt并让两名标注员独立完成纯手动标注（查资料+外部取点+手填CSV）与CAT辅助标注对照实验，以专家标注为真值(Ground Truth, GT)计算标注时间、准确率(Accuracy)及与GT的平均Cohen's κ及Fleiss' κ。
三、研究结果
3.1. Main features（主要功能）
CAT界面分五区：图像列表与进度统计区——上传图像文件夹后滚动浏览并显示已标/未标数；图像工作区——支持点击取部件中心点坐标、绘制裁剪框或边界框；裁剪/框开关按钮区；属性标注区——由questions.txt配置生成带可视化示例按钮的属性选项及可见度三态图标（Not Visible自动锁属性），部分可见或完全可见时可勾选对应属性；CSV/JSON输出预览区。支持CSV与JSON双导出，因COCO JSON格式无原生细粒度属性可见度字段故未采用。内建自动版本控制防数据丢失。
3.2. How to configure CAT（CAT配置方法）
用户编辑同级目录questions.txt，每行定义一个子域：首段为类别名（Category），后接∥分隔标注员说明，再用|分隔各候选属性。同属性可跨类别复用，同类别多子域分行书写。将同名PNG示例图放入img文件夹即可在属性按钮上显示视觉参照（区分大小写）。建议配置定妥后再启动标注以避免重标。
3.3. CAT at work（CAT应用实例）
实例一——蘑菇(FungiTastic)标注：配置六部位（菌盖hat、菌褶/管gills or tubes、菌柄stipe、菌幕veil、菌环ring、菌托volva），每部位分行设形态（形状/color/surface等）属性，GUI中属性按钮旁显示Convex.png等示例图辅助判断，可在图上点选菌盖中心（蓝十字）并标 Fully Visible 后勾选 Convex、棕褐色等属性，提交写入CSV。
实例二——色素性皮肤病变(HAM10000)标注：配置五特征（asymmetry, borders, color, size, evolution；color再分两行标不均匀性pigmentation与主导色），界面中绿十字标病变中心，标注color为uneven且brown后提交保存。两案例证实CAT可按领域灵活配置处理不同尺寸图像。
3.4. Quantitative evaluation（定量评估）
实验设计：两名标注员分别对同批FungiTastic蘑菇子图独立完成手动标注与CAT辅助标注，以领域专家GT为基准。
Metrics：标注总时长(mm:ss，仅计循环标注不含加载)、Accuracy（GT正标签及坐标——预测坐标与GT欧氏距离≤图像对角线10%视为正确——中被正确复现比例）、平均Cohen's κ（分别对属性标签、可见度标签、坐标注释二值化后算κ再取均值）、Fleiss' κ（GT+两名标注员三方一致性）。
Results：标注时间均值从手动97:21降至CAT辅助10:56（约9倍加速）；平均Accuracy从80.4%微升至81.9%；平均Cohen's κ从0.4007升至0.4180（CAT组达轻度至中度一致临界），Fleiss' κ从0.3968升至0.4405。结果表明CAT在显著缩短标注耗时的同时保持或提升了标注准确性与标注重复一致性。
四、讨论与结论（翻译并总结）
需为医疗等领域研究项目定制细粒度标注而缺乏易配工具催生了CAT。鉴于其影响与易用性研究人员予以公开发布供多学科研究者使用。CAT设计为可通过配置文件适应任意通用数据集的细粒度部位/属性标注工具，GUI借助可视化属性关联加速并简化标注，优于传统无视觉参照的CSV手写或付费众包。系统除CSV外原生支持JSON导出以融入现代深度学习流程；自动版本控制保多时间戳备份防长期项目数据丢失；允许界面内新建注解文件无需预置模板。第5节定量评估提供经验证据：相较传统手工方法CAT显著提升标注效率与一致性。未来工作拟将CAT迁移至在线平台支持团队注册与并发修改；可增加图像统一尺寸过滤功能以满足经典深度学习网络输入要求。
研究人员得出结论：Concept Annotation Tool(CAT)是一款免费开源、通过questions.txt可高度自定义的桌面图像标注软件，支持可视化属性示例引导的细粒度概念标注、部件中心点/边界框/裁剪标注、属性可见度(Not Visible/Partially Visible/Fully Visible)记录，以及CSV与JSON双格式自动保存与版本备份。对照实验证明CAT可将图像细粒度属性标注时间缩短约九成，并在保持或微幅提升标注准确率的同时提高标注重复一致性（Cohen's κ与Fleiss' κ上升），为构建支持可解释深度学习模型(XAI)所需的概念级标注数据集提供了有效且易用的解决方案。源码发布于 https://github.com/antdimarino/CAT。
