UIDP🔍

UIDP

>>> Dark Patterns of UI 📱

The Dark (Patterns) Side of UXDesign.

这一篇应该是暗模式领域的奠基之作，第一作者是后续文章会多次引用到的提出五种策略的 Gray，他提出五种主要的暗模式，提出了许多亟待思考的问题

论文贡献

描述并分析了暗模式的实例，为学术界定义这一个由日常生活实践者界定的现象
进一步研究了用户体验中可能存在的道德问题，比如操纵、欺骗等不正常现象
识别暗模式的含义和用户体验实践者的道德责任之间的关系

设计用户体验中的伦理学

设计师在设计用户体验时，应该更多地考虑到伦理道德的问题，并且要找到一些实际可行的方法，把这些伦理道德的考虑融入到设计中去。这样，我们在使用各种应用和服务的时候，就能有更好的体验，不会被那些不太诚实的设计所困扰。

我们的实验方法

语料库生成

之前已有 Brignull 收集的众多例子，构成基础语料库并且提供基本的分类方法
本实验的研究人员还迭代地扩大了互联网搜索的关键词集，找到更多未标记的暗模式可能存在的案例

分析

使用 Brignull 分类法有一些策略和动机的重叠，并且有的类别不直接平行
需要对语料库的所有示例进行第二次分析，采用开放式编码方法，以 Brignull 分类法为基准，同时强调互动质量、上下文、目标用户群体等方面，把重点转向了设计师的策略和潜在设计动机

五种主要的暗模式

NAGGING

正常交互过程的反复干扰
遮挡界面的弹出窗口、分散用户注意力的音频通知等

OBSTRUCTION

阻碍用户完成特定的任务
不付费无法使用特定功能、阻碍用户关闭广告通知

SNEAKING

隐藏一些对用户有害的行为
声明中隐藏有侵犯隐私的条款、购物车添加用户未选择的商品

INTERFACE INTERFERENCE

特定界面设计干扰用户的重要操作
隐藏信息（将相关信息隐藏成无关信息）、预选（用户交互之前选项默认被选择）、美学操作（转移用户注意力而忽视功能）

FORCED ACTION

用户为了访问特定功能被要求执行特定动作
windows 强制更新、

Ul Dark Patterns and Where to Find Them-A Study on Mobile Applicationsand User Perception.

本文结合以前的暗模式分类工作，进一步结合了用户的感知能力进行实验

实验方法

分析了流行应用中的黑暗模式：研究者们检查了240个在Google Play商店中流行的移动应用，看看这些应用中有多少使用了故意误导用户的黑暗模式。
进行了用户感知实验：一个在线实验，邀请了589个用户来看应用的操作视频，然后询问他们是否能识别出视频中的黑暗模式，帮助研究者们了解了用户对这些黑暗模式的感知能力。
提供了数据集：一个公开的数据集，里面包含了他们分析的每个应用和黑暗模式的分类信息

未来方向

提高用户意识：可以通过教育和宣传活动，提高用户对黑暗模式的认识，让他们在使用应用时更加警觉。
开发识别工具：可以开发自动化的工具，帮助用户识别出应用中的黑暗模式，或者在应用商店中筛选出那些使用黑暗模式的应用。
进一步研究黑暗模式的影响：可以更深入地研究不同类型的黑暗模式对用户行为的影响，以及它们可能带来的长期后果。
进一步细化暗模式分类法：五种分类并不一定完善，可以考虑更多因素，比如地域和文化背景
改进设计伦理教育：在设计和计算机科学教育中加入更多关于伦理设计的内容，帮助未来的设计师避免使用黑暗模式。
继续研究用户感知：可以进一步研究用户对黑暗模式的感知能力，了解在不同情况下用户如何识别和应对这些模式。
扩展研究范围：可以将研究扩展到其他类型的应用或平台，比如付费应用、网站或其他类型的数字服务。

AidUl- Toward Automated Recognition of Dark Patterns in User Interfaces.

本文在此前研究成果基础上（暗模式分类、用户意识），开发了一个自动化识别工具，自动化检测用户界面的暗模式

AidUI

核心思想

论文提出了AidUI，这是一个自动化方法，它结合了计算机视觉和自然语言处理技术来识别应用程序截图中的视觉和文本线索
核心思想是：存在一些视觉和文本线索，当它们共同出现时，表明存在各种暗模式，通过检测这些单独的线索并分析它们的出现，可以克服暗模式的变体给检测带来的挑战

四个阶段

视觉线索检测：使用深度学习的对象检测模型如 Faster R-CNN 识别UI中的图标
- 图标检测：使用 RICO 数据集，包含大量 Android 设计资源
- 映射图标到 DPs：使用预定义的规则将检测的图标映射到 DPs
UI及文本内容检测：提取包含文本和非文本内容的UI段
- 对于文本检测和提取，使用EAST文本检测模型
- 对于图形 UI，使用无监督边缘检测算法和 CNN
DP分析：应用文本、颜色和空间分析技术来分析提取的UI段，以预测潜在的暗模式
- 对于文本分析，使用定义的启发式模式匹配规则
- 对于颜色分析，使用颜色直方图技术
- 对于空间分析，分析邻域距离、大小、坐标等因素
DP解析：结合视觉线索检测和DP分析阶段的结果，预测给定UI中的底层暗模式，并使用边界框进行定位
- 段级别决议：在邻接段落之间使用投票机制，考虑文本、颜色、空间等因素
- UI级别决议：考虑段级别决议和视觉线索检测的结果，做出最终预测

仅仅基于 UI 屏幕截图的像素数据运行，适用于不同的软件领域

Unveiling the Tricks- Automated Detection of Dark Patterns in Mobile Applications

本文也开发了一个自动检测移动应用暗模式的知识驱动系统，不需要为每个应用手动创建规则，能覆盖更多类型的暗模式

Abstract

论文讨论了移动应用中“暗模式”（Dark Patterns）的问题，即通过恶意设计（例如通过预设选项或隐藏信息）来诱骗用户做出违背最佳利益决定的界面元素。
作者提出了一个名为UIGuard的知识驱动系统，该系统使用计算机视觉和自然语言处理技术来自动检测移动应用中的暗模式。
UIGuard系统不需要为每个新的应用手动创建规则，能够覆盖更多类型的暗模式，并具有更好的性能。

Introduction

已有工作的局限性

已有的暗模式的策略和类型的识别存在异质性和缺乏一致性
研究人员的解决暗模式的方案存在局限性
- 众包技术（crowd-sourcing）
  - 耗时难以泛化，或者仅限于某些模式
  - 开发者需要重新打包程序，可能难以扩展
- 基于文本的分类技术（text-based）
  - 需要大量标注数据集来训练模型
  - 由于仅仅依赖文本很可能产生错误

论文工作的先进性

工作步骤
- 分析并合并了移动平台上现有的暗模式分类，形成一致分类
- 对统一的分类进行特征分析，识别关键属性
UIGuard 的组成
- 属性提取器
- 知识驱动的暗模式检查器

Background

Gray 的五种策略

Nagging
- 重复的中断应用程序操作
- 比如弹出不相关的广告或评级
Obstruction
- 让一些事情变得困难来满足公司的利益
- Three Types
  - Roach Motel: 容易进，难得出
  - Price Comparison Prevention：在其他平台无法比较
  - Intermediate Currency：阻止用户通过虚拟货币获得真实货币
Sneaking
- 隐藏、欺骗或者延迟和用户有关的信息
- Four Types
  - Forced Continuity：购买到期时强迫用户继续购买
  - Hidden Costs：延迟告知高税收或者运送费等信息
  - Sneak into Basket：未经用户许可添加一些附加项目
  - Bait and Switch**：给出错误的预期来误导用户
Interface Inference
- 某些选项置于上方来隐藏信息迷惑用户
- Four Types
  - Hidden Information：降低与用户有关信息的可见性
  - Preselection：默认选择不利的选项
  - Aesthetic Manipulation：利用视觉效果分散用户注意力
Forced Action
- 强迫用户执行一些操作

Analysis

屏幕级别的视角

静态暗模式
- 仅针对单一用户界面，不依赖于用户的上下文或交互历史
- 如坐标、类型、颜色、文本内容和图标语义
动态暗模式
- 依赖于上下文，需要超出当前用户界面的额外信息来识别
- 包括之前的UI，触发当前页面或动画效果的元素，以及用户的意图

元素级视角

识别单一元素的暗色图案
- 单独评估每个元素的属性，如其坐标、包含的文本、颜色、图标语义和元素类型
多元素暗模式
- 分析多个元素的属性
- 分析用户界面元素之间的关系

特性识别

关键特征
- 元素元信息
  - 坐标、元素类型
  - 帮助识别元素的形状和关系
- 元素的文本内容
  - 确定模式的语义
- 某些类型元素的状态
  - 复选框、图标
  - 识别UI页面的整体含义
- 背景和文本颜色
  - 与视觉模式有关
- 更高级别的信息
  - 相似元素的分组、元素之间的关系

Method

UI元素属性提取

UI元素检测
- 使用 Faster-RCNN 来定位和识别UI元素
文本内容提取
- 使用 PaddleOCR 从UI中提取文本
- 结果合并，匹配UI元素和文本内容
图标语义
- 使用 Res-18 模型将图标分类为更精细的语义类别
元素状态识别
颜色提取
- 影响视觉突出性，操纵用户感知
UI元素分组
- 使用基于密度的空间聚类算法 DBSCAN
- 比较相关UI元素的视觉显著性

知识驱动的暗模式检查器

利用常识关联识别
文本内容、图标含义

DATASETS AND IMPLEMENTATION

深度学习数据集和模型训练

Rico数据集：实验的基础数据集，提供了UI的视图层次结构信息，如布局和元素属性
元素定位数据集：使用Rico数据集来训练元素定位模型（FasterRCNN），选择了15种Android GUI元素类型作为目标对象，并进行了数据增强以提高模型的鲁棒性
图标识别数据集：基于Liu等人的标注，识别了135种图标类型，并进行了数据清洗和增强，以提高图标识别的准确性
状态识别数据集：从Rico数据集中提取了特定类型的UI元素（如复选框），并手动标注了它们的状态，用于训练状态识别模型

暗模式数据集

数据集构建：手动标注的一个包含暗模式的UI数据集
注释过程
- 首先标注UI中存在的暗模式类型
- 然后标注这些模式在UI中的具体位置

实验设置

模型训练：使用了多种深度学习模型，包括 FasterRCNN 和 ResNet-18，并对这些模型进行了细致的调整和优化，以适应不同的任务需求
性能评估：通过精确度、召回率和F1分数等指标来评估模型的性能

用户研究

设计了包括不同背景的58名参与者的用户研究
通过比较用户自身对暗模式的识别和UIGuard的检测结果，来评估工具的有效性。

Accuracy

研究问题

RQ1: 评估UIGuard系统中每个深度学习（DL）模块的准确性。
RQ2: 评估UIGuard系统在检测暗模式方面的整体准确性。

深度学习模块的准确性

元素定位和分类：比较了不同的 baseline，包括UIED、FRCNN（非文本）、FRCNN（非文本）结合 PaddleOCR，以及UIGuard模型。使用了精确度、召回率和F1分数作为评估指标。UIGuard在非文本元素检测、文本元素检测和所有元素检测中均表现出较好的性能。
图标语义理解：评估了图标识别模块的准确性，发现UIGuard能够以较高的准确率识别图标。
状态识别：评估了UI元素状态识别模块的准确性，同样发现UIGuard在这一任务上达到了高精度。

检测暗模式的准确性

整体性能：UIGuard在检测暗模式方面达到了0.93的准确率，能够正确识别大部分包含暗模式的用户界面。
详细性能：对于每种暗模式类型，UIGuard在7种类型中F1分数达到或超过0.80，显示出在检测特定暗模式方面的高效性。
消融实验：通过逐步添加UIGuard的不同组件，如图标语义、模板匹配、状态识别和颜色分组，展示了每个组件对系统性能的贡献。

Usefulness

研究招募了58名背景多样的参与者，让他们评估UI界面中的暗模式，并与UIGuard的检测结果进行比较。
结果显示，参与者在使用UIGuard后，对暗模式的识别能力显著提高，表明系统能有效辅助用户识别和避免暗模式。
此外，研究还表明，参与者知识水平的提高是显著的，UIGuard可以作为教育工具，帮助用户学习如何识别暗模式。

Discussion and future work

讨论

利益相关者受益：UIGuard工具可以为多种利益相关者提供帮助，包括最终用户、应用开发者和监管机构。
教育和意识提升：UIGuard不仅可以检测暗模式，还可以作为教育工具，提高用户对这些不道德设计实践的认识。
监管支持：UIGuard可以辅助监管机构监督和执行移动应用市场中的道德实践，帮助他们更有效地检查和评估应用程序。

未来工作

暗模式边界：探讨暗模式与个性化设计的边界，为用户提供可调节的警告级别，以便他们可以选择哪些暗模式对他们更重要。
设计权衡：研究如何在保护用户免受暗模式影响的同时，允许一定程度的个性化和定制化设计。
检测范围扩展：将UIGuard的应用范围扩展到更多类型的暗模式，特别是那些动态变化的模式。
工具自动化和进化：研究如何使UIGuard能够自动适应暗模式分类的变化，以及如何整合用户界面修改工作，以直接阻止恶意设计。
用户行为影响：研究UIGuard对用户行为的影响，例如它是否改变了用户使用应用程序的习惯，以及如何平衡直接修改和提示方式。
法律方面：进一步明确暗模式的法律含义，为监管机构提供更清晰的指导。

AI > UIDP

#笔记

repoCodeGen🤖 上一篇

浏览器底层梳理下一篇