1. AI绘画技术的发展
AIGC全称为“Artificial Intelligence Generated Content”,即“人工智能生成内容”。这是指利用人工智能技术自动或半自动地生成各种类型的内容,如文本、图像、音频和视频等 [1] 。AIGC技术涉及深度学习、机器学习模型等先进技术,广泛应用于内容创作、媒体、娱乐、艺术等领域。AIGC的关键在于通过算法模拟人类的创造过程,以高效、创新的方式生成具有一定质量和创造性的内容。
在AI绘画技术的初级阶段,重点在于使计算机能够理解和模仿现有艺术风格。这一时期的技术,如基于规则的系统和简单的神经网络,致力于识别和复制经典艺术作品的基本元素,例如色彩和构图 [2] 。例如,某些早期系统可能尝试复制特定艺术家的笔触风格,如通过分析梵高的画作来模仿其特有的漩涡状笔触。
发展阶段见证了深度学习和神经网络技术的引入,特别是卷积神经网络(CNN)和生成对抗网络(GAN) [3] 。这些先进算法使得AI不仅能够模仿现有艺术风格,还能创造出全新的、独特的艺术作品。一个著名的例子是Google的“DeepDream”项目,它使用神经网络来解释和改变图像,创造出超现实的视觉效果。另一个重要的发展是风格迁移技术,它使得AI可以将一个艺术风格应用到任何照片上,例如,将梵高的《星夜》风格应用到现代城市风景照片中,创造出全新的艺术作品。这些技术的发展不仅推动了AI绘画技术的创新,还拓宽了AI在艺术创作中的应用范围,从而影响了艺术界的发展方向。
AI实时绘画技术是AI绘画领域的一项重要创新。它结合了深度学习、神经网络等先进技术,实现了艺术创作过程的实时互动。与传统AI绘画相比,实时绘画技术能够即时响应艺术家的输入,创造出动态变化的视觉作品。这种技术的发展不仅推动了艺术表达方式的变革,也为艺术家提供了新的创作工具,使艺术创作过程更加灵活和互动。
其中LCM模型和SDXL TurBo模型是实时绘画实现的基础。LCM模型全称为“Latent Consistency Models”(潜在一致性模型),是一种在图像生成领域应用的先进技术。这个模型的核心特点是能够通过较少的步骤快速生成高分辨率的图像,显著提高了图像生成的效率。LCM模型通常应用于如Stable Diffusion这类的生成模型中,通过减少生成图像所需的步数,从而达到加速图像生成的目的。
LCM模型的主要优势在于它能够大幅度缩短图像生成的时间,同时保持图像质量。这使得LCM模型非常适合需要快速生成图像的应用场景,如实时艺术创作、游戏设计、动画制作等。此外,LCM模型的高效率也意味着在相同的计算资源下能够产生更多的图像输出,这对于资源有限的环境尤为重要。
SDXL Turbo是基于一种名为对抗性扩散蒸馏(Adversarial Diffusion Distillation, ADD)的新颖蒸馏技术开发的新型文本到图像模型。它允许模型在单一步骤中创建图像输出,并生成实时的文本到图像输出,同时保持高采样精度。这种技术显著提高了图像生成的速度,使得在实时环境中的应用成为可能,这在动态艺术创作、游戏设计、互动媒体等领域具有重要意义。SDXL Turbo的出现代表了AI图像生成领域的一个重要进步,为未来的AI驱动视觉内容创作开辟了新的可能性。因此实时绘画技术的应用范围广泛,不仅限于视觉艺术,还包括音乐、舞蹈和其他表演艺术。
2. 交互设计中投影交互装置的现有案例
交互设计是一种致力于创建产品和系统以促进人与人、人与产品、人与环境之间有效互动的设计领域 [4] 。它涉及设计界面、硬件、软件和服务,以提供直观、易用且满足用户需求的用户体验。交互设计的关键目标是使产品不仅功能丰富,而且易于使用,能够引导用户顺利完成所需任务,同时提供愉悦和有意义的使用体验。交互设计中交互装置是指那些设计用来与人进行交互的设备或系统。这些装置通常包含传感器、输入/输出界面和处理单元,能够响应用户的行为或指令,并提供反馈。在艺术、展览、公共空间、教育和娱乐等领域,交互装置被广泛应用,以创造吸引人的体验和沟通新的信息或概念。
投影交互装置是一种结合了先进投影技术和交互设计的系统,用于创造独特的用户体验。它通常包括投影仪、传感器、计算平台和专门的软件。这种装置能够将图像或视频内容投影到各种表面上,如墙面、地板或特殊的屏幕,并通过传感器(如摄像头、红外传感器、触摸传感器等)捕捉用户的动作或互动。
用户可以通过身体动作、手势或触摸与投影的内容互动,从而产生动态变化的视觉效果。这种互动可以用于教育、娱乐、艺术展示和商业展示等多种场合。投影交互装置的设计强调用户体验、直观的操作方式和沉浸式的互动环境,旨在提供创新和吸引人的互动方式。
《区隔·共生》是一个以保护野生动物为主题的投影交互装置 [5] 。这个作品使用投影技术展示动物形象,并通过触控互动启动动画,提供沉浸式体验。它旨在传递尊重生命和共生的理念,通过触摸静止画面来激活动物的生活动画,既有艺术价值又具有公共宣传作用。装置的制作过程包括前期调研、材料准备、绘制和动画制作,以及技术结合。作品的互动设计使观众能够通过触摸感应区域来互动,引发动画,增强参与感和体验效果。
《地球垃圾全图》是一个交互装置,旨在展示全球的垃圾数据和垃圾分类信息 [6] 。这个装置分为两部分:数据全图和循环全图。数据全图通过数据可视化展现了2015至2019年全球人口数据与垃圾数据的匹配,用户可以通过时间轴选择查看不同年份的数据。循环全图则结合垃圾实物与投影,展示垃圾分类后的去向和处理方式。这个装置通过动效投影在墙面上再现垃圾循环利用过程,当人手触摸墙壁时启动动画效果,以此增强互动体验。
基于镜面全息成像系统的非遗苗画艺术互动装置设计以国家级非物质文化遗产湘西苗画为主题 [7] ,结合镜面全息成像技术和交互设计方法,旨在提升非遗苗画的知名度和关注度。论文详细介绍了设计流程、视觉设计元素、以及交互装置设计,强调了使用新媒体技术如全息成像在非物质文化遗产保护和推广中的重要性和实用性。通过这种创新方式,非遗苗画得以在数字化和交互性方面得到全新的展现,提高了公众的参与度和文化体验。
3. AI实时绘画技术在交互设计中的应用
实时绘画是一种利用先进技术,尤其是人工智能(AI),实时生成和修改图像的艺术形式。这种技术允许艺术家与AI系统互动,创造出独特的艺术作品。在实时绘画过程中,艺术家的手势、声音或其他输入会被系统实时捕捉并转化为视觉艺术元素。AI系统可以根据艺术家的指令和反馈立即生成图像,或对现有图像进行修改,从而实现即时的艺术创作。实时绘画技术不仅提高了创作效率,还为艺术表达带来了新的维度 [8] 。
投影交互装置主要分为两部分,分别是用户操作部分和投影部分。用户操作界面是由触摸屏或数位板与计算机组成,用户可以在界面的画布上进行绘画(如图1左作者自绘部分)。这个部分特点是对用户绘画基础和想象力没有限制,而且还搭配了语音输入提示词功能,使得AI图像生成更符合用户要求,画布的功能也是简捷,可以调节画笔的形状、大小、颜色与强度,背景的颜色和还原和清除画布。投影部分是由AI绘画工具Stable Diffusion根据用户绘画的内容进行图像生成(如图1右AI绘画部分),生成的图像是可以控制的,包括图像的大小、图像的风格、图像的质量和出图的速度与质量等,例如可以改变图像的风格,比如真实,动漫,3D等(如图2),其他的设置都可以在Stable Diffusion Comfy UI这个界面里进行控制。语音输入提示词功能可以在用户边画边描述绘画内容时进行语音识别并输入提示词栏目内,在没有识别绘画相关的提示词时,AI会自动识别用户绘画的大概内容,再对用户的绘画内容进行艺术加工。在Stable Diffusion Comfy UI里通过LCM模型来实现实时绘画,能够实现用户每画一笔AI都能几乎同时生成图像。

Figure 1. AI real-time painting operation interface
图1. AI实时绘画操作界面

Figure 2. AI real-time painting operation interface
图2. AI实时绘画操作界面
4. 结语
本文研究AI实时绘画技术在交互设计中的应用是一次AI实时绘画技术在交互装置上的实现,是一次AI实时绘画技术与投影交互装置的结合,也是一次图像生成艺术与科技的再融合。本设计是让用户体验到AI实时绘画带来的图像生成艺术性,达到用户与AI同步绘画的程度。
本文全面探索了AI绘画技术在艺术创作和交互设计中的创新作用。我们深入探讨了AI绘画技术对于艺术创作和交互设计的深刻影响。这些技术通过模仿和超越传统艺术风格,为艺术家提供了新的表达方式和创作工具。LCM模型和SDXL Turbo模型等创新技术的应用,不仅增强了艺术作品的互动性和参与度,还为艺术与观众之间的互动开辟了新的可能性,还为艺术作品带来了前所未有的动态互动性。AI绘画技术在实时艺术创作、游戏设计等领域的应用,预示着艺术与科技融合的新趋势。这些进展不仅推动了艺术和设计领域的创新,也为人工智能在更广泛领域的应用提供了宝贵的经验和灵感。此外,这些技术的发展对于推动艺术与科技的融合具有深远意义,预示着未来人工智能技术在更广阔领域的应用和发展。通过这一探索,我们看到了AI技术在艺术和设计领域中的巨大潜力,以及它对于未来创造力和创新的推动作用。通过这一技术的发展,我们可以预见一个更为丰富多彩、充满创新的艺术和设计未来。
注释
所有图片来源:作者自绘。