基于StyleGAN2的柯尔克孜族纹样的生成研究
Research on the Generation of Kirgiz Patterns Based on StyleGAN2
DOI: 10.12677/Design.2023.83215, PDF, HTML, XML, 下载: 179  浏览: 417  科研立项经费支持
作者: 冯政辉, 米高峰*:陕西科技大学设计与艺术学院,陕西 西安
关键词: 柯尔克孜族纹样生成式对抗网络GAN纹样创新生成Kirgiz Patterns Generative Adversarial Network GAN Pattern Innovation Generation
摘要: 探究柯尔克孜民族纹样的创新生成方法,在民族优秀传统文化传播方面进行尝试。通过技术方法的创新促进民族纹样与现代时尚元素的结合,加快民族纹样的现代化应用。将收集到的柯尔克孜族图案导入到模型系统中,并运用生成式对抗网络技术对模型进行训练,使其衍生出新的纹样元素,建立柯尔克孜族纹样元素库。在实验样本有限的情况下,得到了柯尔克孜族创新性纹样,丰富了柯尔克孜族纹样元素库,为进一步探索更可控的纹样生成技术奠定了基础。运用生成式对抗网络模型计算得到的柯尔克孜族纹样元素,既有传统纹样的艺术性,也满足了信息时代艺术设计衍生的时效性需求,更与现代时尚追求偏好相一致。通过在现代文创产品和服装服饰等设计中的应用,促进了优秀民族文化的传播和继承。
Abstract: The objection of this study is to explore the innovative generation method of Kirgiz ethnic pattern and attempt to apply it into diffusion of the excellent traditional culture of the nation, promote the combination of ethnic patterns and modern fashion elements through the innovation of technical methods, and accelerate the modern application of ethnic patterns. The collected Kirgiz patterns were imported into the model system, and the model was trained using generative adversarial network technology to derive new pattern elements and establish a Kirgiz pattern element library. In the case of limited experimental samples, the innovative patterns of Kirgiz were obtained, and the pattern element library of Kirgiz was enriched, which is favorable for further exploration of more controllable pattern generation techniques. The Kirgiz ethnic pattern elements calculated using the generative adversarial network model not only have the artistry of traditional patterns, but also meet the timeliness requirements of derivation of art and design at information age, and are consistent with the contemporary preferences for fashion pursuit. Through its application in modern cultural and creative products and clothing design, the study has promoted the dissemination and inheritance of excellent ethnic culture.
文章引用:冯政辉, 米高峰. 基于StyleGAN2的柯尔克孜族纹样的生成研究[J]. 设计, 2023, 8(3): 1785-1795. https://doi.org/10.12677/Design.2023.83215

1. 引言

民族传统装饰图案是由各个民族根据各自的文化发展理念,不同的历史地理优势,在多年的工作和生活过程中,为了适应心理的美学需求而在媒介物上加以平面或立体装饰而产生和构成的,既体现了本民族的特点,又不同于其他民族的风格,是各个民族精神文化的凝练。2022年5月,中共中央办公厅、国务院办公厅出台了《关于推进实施国家文化数字化战略的意见》 [1] 。当前,我国已大步迈向数字文化时期,以5G技术、虚拟现实、人工智能等为代表的新兴技术正蓬勃发展,对于怎样运用好新型信息技术来弘扬我国优秀的传统文化,有待进一步研究。如今计算机信息技术蓬勃发展,运用计算机技术助力传统文化的传承发展是对国家战略的响应,也是时代发展的趋势。

2. 研究背景

2.1. 弘扬民族文化需求日益显著

民族传统文化精神流寓于传统装饰纹样中,民族传统装饰纹样又受民族文化精神的支配,是民族深厚的历史积淀。我国柯尔克孜族具有悠久的历史和璀璨的文明,在保卫边疆,维护祖国统一和共建中华文化宝库中做出了重要贡献 [2] 。他们在长期的生活劳动中形成的传统美术,艺术类型异彩纷呈,且具有鲜明的地域文化特征。作为我国少数民族装饰纹样艺术的一个分支,柯尔克孜民族装饰纹样艺术特征鲜明,文化内涵深刻,它的艺术形式集宗教文化,图腾文化,地域文化、游牧文化及其他诸多文化内涵于一体。文化,是民族的血脉,是人民的精神家园。文化自信,是更基本、更深层、更持久的力量。中华文化所特有的思想,智慧,胸襟和神韵,平添了中国人民,中华民族心灵深处的信心与骄傲 [3] 。柯尔克孜族纹样的传承传播不仅可以增强大众对少数民族文化的理解,促进民族交流交往,更有利于中华优秀文化的共同繁荣,增强文化自信。

2.2. 数字赋能文化产业蓬勃发展

加快打造新发展格局、聚焦高质量发展,需要构建现代化的产业体系 [4] 。在学科融合的时代背景下,大数据、人工智能等计算机技术为民族文化的保护及创新开辟了新的路径。近年来深度学习技术兴起,并在计算机视觉领域发挥显著作用。生成式对抗网络技术应用于图像生成领域始于2014年,这项技术不仅可以对图像进行分类,对低分辨率的图像进行超分辨率重建,还可以进行创新性图像的生成以及图像风格迁移。利用生成式对抗网络技术来进行民族纹样图像的生成,可以在数据库不充分的情况下为设计师提供充分的参考,在各民族元素的多元融合发展中发挥着不可忽视的作用。

3. 柯尔克孜族纹样应用现状

3.1. 传统应用模式下的现状

柯尔克孜族是一个具有高度审美能力的民族,他们在雕刻、手工刺绣、编织、木器制作、皮革工艺制作和金属工艺加工等各类民间造型艺术方面具有很高的造诣。传统应用模式下的装饰纹样多以花毡、皮制品、金属制品、木雕、刺绣和编织品为载体 [5] 。这些手工艺品不仅制作精美、形象动人,且历史悠久,源远流长。其中,柯尔克孜族刺绣和柯尔克孜族服饰分别在2008年和2014年被列为国家级非物质文化遗产,柯尔克孜族毡绣、布绣、柯尔克孜族马鞍制作技艺、绣花布单制作技艺、白毡帽制作技艺和约尔麦克编织技艺被列为区级非物质文化遗产。这些手工艺品与柯尔克孜族人民的衣食住行息息相关,无论是碗、杯、木箱等生活器具,还是服饰帽饰以及一些金银配饰,民族装饰纹样都在其中扮演了及其重要的角色 [6] (见图1)。

Figure 1. Traditional application of Kirgiz patterns

图1. 柯尔克孜纹样的传统应用

柯尔克孜族在传统代际传承的基础上,其文化传播存在一定局限性,而传统民族纹样的创新性应用以及与当代时尚潮流的结合是其传播传承的新路径。一个民族的装饰艺术是在该民族的历史及文化发展过程中逐步形成的,柯尔克孜族是中国最古老的跨境游牧民族之一,其文化内涵深厚,纹样的主题、形式、色彩等特征都体现了该民族对生活及艺术的凝练,其纹样本身具有深厚的传统特性,故在拓展创新上需多方位兼顾,保持其传统特色的同时,进行创新 [7] 。在潜在特征提取及风格迁移方面,生成式对抗网络技术或许可以很好的完成这一需求。

3.2. 创新应用模式下的现状

当前市面上的柯尔克孜族相关文创产品类别及款式较少,主要有丝巾、咖啡杯、冰箱贴、胸针和钥匙扣等服饰配饰(见图2)。这些文创多是把传统经典纹样直接排列组合在不同产品上,如图2-a、图2-b中的丝巾和咖啡杯。尽管图2-c中所示的文创产品使用了毡房、帽饰或是玛纳斯等形象,但其中也对柯尔克孜族传统经典纹样进行了直接的运用。可见,柯尔克孜族的纹样是浓厚民族风情的一种体现载体。此类传统经典纹样的直接应用受众有限,多是对民族文化感兴趣的人群,为了扩大受众范围,应考虑传统元素与当下时尚风格的结合,从而促进柯尔克孜族文化的传播与进一步发展。在传统与时尚相结合方面,潘云鹤 [8] 利用形状文法进行图案设计研究,孙守迁等 [9] 总结了包括形状文法在内的产品风格计算研究进展,后人再次基础上不断发展创新,将形状文法引入传统纹样再设计创新。季铁等 [10] 利用可拓理论对民族图案基元的语义进行提取、量化分析、图形解析,以优化产品设计过程中民族图案的运用。这些技术方法的跨领域运用,为民族图案的创新性应用发展带来了新的生机。在信息时代,将深度学习领域的技术运用到民族纹样创新生成中,不仅完成了技术跨领域应用,为民族传统纹样创新发展提供新路径,同时也能满足当下互联网时代对于生产效率的需求。因为,本研究考虑将生成式对抗网络技术在民族纹样生成创新领域进行探索性应用。

Figure 2. The application of Kirgiz patterns in literary creation

图2. 柯尔克孜族纹样在文创中的应用

4. 生成式对抗网络

4.1. GAN

2014年Ian Goodfellow等 [11] 提出了一种新的无监督学习算法框架——生成式对抗网络GAN (Generative adversarial networks)。它主要由生成器和判别器两个部分组成,其基本工作原理(见图3)为生成器根据输入的图像数据集不断生成相近的图像,判别器对生成的图像进行判别,两者在互相博弈学习的过程中不断优化。在模型经过多次训练迭代后,生成器可以生成非常接近真实图像又不与其完全相同的图像。生成式对抗网络在诸多方向有研究和应用,例如图像生成、图像超分辨率重建、风格迁移以及语义分割等。

Figure 3. Basic working principle of GAN

图3. GAN基本工作原理

为了满足不同领域的研究和应用需求,GAN技术迅速发展壮大,产生了适用各个领域的不同模型,例如CGAN、CycleGAN、WGAN、SAGAN、ProGAN、DCGAN、StyleGAN。其中,DCGAN近年来在图像生成领域被广泛研究和应用,在传统图案创新生成中也被积极探索。刘淼等 [12] 通过DCGAN模型训练生成瑞昌竹编传统元素并将生成的图案在交互设计中进行运用,但DCGAN的图像生成结果存在质量不高,元素轮廓不明显的状况。邓正根等 [13] 提出一种基于StyleGAN的草图生成产品设计效果图像方法,将深度学习技术应用于汽车设计效果图的生成中。何文泽等 [14] 通过GAN技术在民族图案生成及超分辨率重建方面进行研究,对包括DCGAN和StyleGAN2的多种生成式对抗网络进行实验,其中StyleGAN2在民族图案生成方面的效果较为突出。同时,其在动画设计,文创产品设计中的应用也较为成功,董荪等 [15] 在动画设计中运用风格迁移技术,将梵高《星空》中的元素迁移到影片,为动画设计提供了新的创作思路。陈捷等 [16] 将风格迁移技术成功应用到漆器餐具、文具类文创产品设计中。因此,本文选择使用StyleGAN2对柯尔克孜族纹样的创新性生成进行探索性实验。

4.2. StyleGAN

2019年Tero Karras等 [17] 在CVPR上发表了《基于风格的生成器体系结构的生成式对抗网络(A style-based generator architecture for generative adversarial networks)》,他们借鉴风格转移方面的研究,提出了生成对抗网络的替代生成器架构——StyleGAN。新的架构能够对生成的图像进行特定尺度的控制,并能实现对高级属性随机变化的自动学习和无监督分离。

研究人员发现StyleGAN生成的一些图像中会出现明显的水珠,而这些水珠也会出现在特征图上。2020年5月Tero Karras等 [18] 发表了《StyleGAN图像质量分析与改进(Analyzing and Improving the Image Quality of StyleGAN)》,通过模型架构和训练方法的变化对StyleGAN的图像生成质量进行分析与改进,改进的模型重新定义了无条件图像建模的技术状态,既包括现有的分布质量指标,也包括可感知的图像质量。

使用过少的数据训练生成对抗网络(GAN)通常会导致鉴别器过拟合,导致训练发散。同年11月,Tero Karras等 [19] 再次发表了《有限数据下生成式对抗网络的训练(Training Generative Adversarial Networks with Limited Data)》,提出了一种自适应鉴别器增强机制(StyleGAN2-Ada),能够使得模型训练在数据受限的情况下保持稳定。该方法不需要改变网络架构,也不需要损失函数,适用于从零开始训练以及将其他数据集通过GAN进行微调的情况。由于此前训练高质量、高分辨率的GAN模型通常需要105~106张图像,限制了生成模型在众多领域的使用。对自适应鉴别器的改进很好的解决了这方面的问题,使得根据少量数据同样可以得到很好的训练结果。

5. 柯尔克孜族纹样生成研究

5.1. 图像预处理

初次实验将收集到的975张柯尔克孜族纹样线稿图案进行处理,剔除掉不清晰的图案,根据StyleGAN2的数据输入要求,将图像尺寸统一调整为1:1,分辨率调整为256*256。处理后共得到925张有效样本,部分数据集样本见图4

Figure 4. Partial sample of data set

图4. 部分数据集样本

Table 1. Experimental environment configuration

表1. 实验环境配置

5.2. 实验环境配置

实验环境配置如表1所示。

5.3. 模型训练过程

GAN模型通常需要大量的数据集来进行训练,由于柯尔克孜族纹样样本数量有限,限制了其在深度学习领域的探索,本实验创新性的使用stylegan2-Ada代码进行实验,可利用有限的数据集样本得到较好的训练模型。在config.py及sample.yaml中设置参数,将epochs设置为[20,40,40,80,80,160,2000],learning_rate设置为0.002,checkpoint_factor设置为200,truncation_psi设置为0.7,利用python train.py--config configs/sample.yaml对模型进行训练。

5.4. 实验分析与改进

初次实验模型在训练500epochs以后开始收敛,图5为训练1000epochs后生成的部分图像。生成的图像虽然线条呈卷曲形式,且大体轮廓能够体现柯尔克孜族纹样的特点,但总体来看图像生成效果不佳,规律性较弱,差异性不够明显。

Figure 5. Initial generation results of experiment

图5. 初次实验生成结果

Figure 6. Part of the new data set pattern

图6. 部分新数据集图案

对初次实验结果不佳的主要原因分析如下,一方面是由于StyleGAN对纹理的学习更为准确,对线条的学习也只是通过单一像素块的叠加进行,对黑白图案的学习也并不会优于彩色图案。另一方面是由于数据集的形式较为单一,同一类型的图案复杂程度参差不齐。因此下一步实验应改善数据集的多样性。为丰富数据集的多样性,增加了714张彩色纹样图案,图6为部分新数据集图案。通过重新调整数据集并不断调整实验参数进行多次训练,最终得到实验结果如图7

本实验所选数据集包含了首饰纹、服饰纹、器物纹等,训练过程中将雕刻、刺绣、花毡、壁挂、乐器等不同载体的饰纹形态、结构颜色等特征及潜在构成规律提取再融合,衍生出了不同于原始数据集但极具柯尔克孜族特色的纹样,在设计师的创新应用中具有重要意义。

Table 2. The flow of differential hashing algorithm

表2. 差值哈希算法流程

Figure 7. Partial results of the training generation

图7. 部分训练生成结果

Figure 8. Comparison of nearest neighbor test results between real image and generated image

图8. 真实图像与生成图像最近邻测试结果对比

为验证实验生成结果的可靠性,使用最近邻测试来判断生成图案与原数据集的偏离程度,将其与人眼的主观评价结合,从而评价图像生成的效果。使用如表2所示的差值哈希算法计算生成图像和数据集图像的汉明距离,以此来比较图像相似度(见图8)。结果显示,生成的图像在视觉上和训练集非常相似,同时又融合了原图案不同的风格特征。生成的纹样有些是以柯尔克孜族银饰外形为轮廓并融合刺绣纹样的色彩,有些是将柯尔克孜纹样的卷曲形式与花毡纹样的渐变色彩相结合。生成的纹样既符合现代流行的国潮时尚风格的审美,又蕴含鲜明的柯尔克孜民族文化特征。

6. 实验结果应用分析

本研究生成的纹样既有柯尔克孜民族纹样的鲜明特色,又与传统纹样存在一定的差异,包含大量符合现代年轻人审美的元素,可以在服装服饰设计、产品包装设计、文化创意产品设计及交互设计等多种

Figure 9. Example of generating pattern application

图9. 生成图样应用示例

领域加以应用。在设计传统符号文化产品时,应考虑其功能、美学和象征性,此三者的相辅相成在文化传播传承过程中至关重要。实际应用时,设计师根据其设计理念挑选出相适应的纹样,并通过简单的分割、镜像、重构等处理方式加以拓展。生成的图像中色彩特征明显的(如图9-a)可以作为底纹进行应用。轮廓特征明显的(如图9-b),可调整分表率等简单处理后直接作为logo在交互界面中进行应用。本研究中图像生成的可控性较弱,在应用过程中需要设计师进行挑选和甄别。此方面利用python generate_mixing_figure.py命令可以对训练生成的图案进行风格混合,对指定的两种潜在特征风格图案再次进行混合,可根据个人喜好生成更多目标风格的图案。同时,Radford A等 [20] 发表的《Learning Transferable Visual Models From Natural Language Supervision》对文本和图像的跨模态匹配进行了深入研究——CLIP (Contrastive Language-Image Pre-Training)。在本研究的基础上将CLIP相关的研究引入到民族纹样的生成,实现交互式文本驱动图像操作,不仅可以生成创新性的民族图案,同时也能精准的控制生成图案风格。

7. 结语

本研究主要以柯尔克孜族纹样的创新生成为依托,探究了StyleGAN技术在民族纹样生成领域运用的可行性,为深度学习技术在民族纹样创新生成方向的应用提供了一定的参考。通过本研究采用的实验方法,在数据收集样本不充分的情况下,生成了不同于原始数据集的柯尔克孜族创新纹样,丰富了民族创新性纹样的应用素材库,为设计师在民族纹样创新应用方面提供了便利。训练好的模型在下一步研究中可利用StyleGAN的风格迁移技术,将柯尔克孜族风格迁移到其他流行图案装饰中。

基金项目

四川动漫研究中心资助项目“新疆少数民族IP‘阿凡提’文化创意产业开发研究”(项目编号:DM202051);陕西省社科基金项目《全面复兴传统文化语境下的宝鸡千阳刺绣民间手工技艺活态传承研究》(项目编号:2019K010);陕西省社科联重大理论研究项目《“一带一路”背景下西安国际形象的文旅演艺传播研究》(项目编号:2022HZ1608)。

注释

图1来源:摘自《中国柯尔克孜族》

图2来源:作者自摄

图3来源:作者自绘

图4来源:作者拍摄

图5来源:作者拍摄

图6来源:作者拍摄

图7来源:作者拍摄

图8来源:作者拍摄

图9来源:作者自绘

参考文献

[1] 新华社. 中共中央办公厅 国务院办公厅印发《关于推进实施国家文化数字化战略的意见》[EB/OL]. https://www.gov.cn/xinwen/2022-05/22/content_5691759.htm?eqid=ca6bbf9a0001492900000006647602bc, 2022-05-22.
[2] 周曼, 信晓瑜, 张辉, 等. 柯尔克孜族花毡图案在线设计系统开发[J]. 毛纺科技, 2022, 50(9): 61-66.
[3] 米高峰, 王少杰. 中华传统文化传承与国产动画艺术传播[J]. 青年记者, 2018(11): 76-77.
[4] 毛新康, 米高峰. AI赋能数字媒体艺术的发展与思考[J]. 媒体融合新观察, 2021(1): 58-60.
[5] 易苗苗. 中国柯尔克孜民族装饰纹样艺术的文化解析[J]. 染整技术, 2018, 40(6): 48-51.
[6] 阿地里∙居玛吐尔地. 中国柯尔克孜族[M]. 银川: 宁夏人民出版社, 2012.
[7] 罗娇. 柯尔克孜族刺绣纹样的特征及创新应用[D]: [硕士学位论文]. 无锡: 江南大学, 2021.
[8] 潘云鹤. 智能CAD方法与模型[M]. 北京: 科学出版社, 1997.
[9] 黄琦, 孙守迁. 产品风格计算研究进展[J]. 计算机辅助设计与图形学学报, 2006, 18(11): 1629-1636.
[10] 秦臻, 季铁, 刘芳, 等. 基于民族图案基元可拓语义的产品设计方法[J]. 计算机辅助设计与图形学学报, 2021, 33(10): 1595-1603.
[11] Goodfellow, J., Abadie, J.P., Mirza, M., et al. (2014) Generative Adversarial Networks. arXiv: 1406.2661. https://arxiv.org/abs/1406.2661
[12] 刘淼, 王晨月. GAN技术在传统竹编元素生成中的设计[J]. 包装工程, 2020, 41(20): 34-40.
[13] 邓正根, 吕健, 王帅, 等. 基于StyleGAN的草图生成产品设计效果图方法研究[J/OL]. 包装工程: 1-10. http://kns.cnki.net/kcms/detail/50.1094.tb.20220816.0837.002.html, 2023-03-27.
[14] 何文泽. 基于生成式对抗网络的民族图案生成研究[D]: [硕士学位论文]. 长春: 吉林大学, 2022.
[15] 董荪, 丁友东, 钱昀. 基于人工智能的风格迁移算法在动画特效设计中的应用[J]. 装饰, 2018(1): 104-107.
[16] 陈捷, 徐戈. 风格迁移算法在漆艺文创品设计中的运用[J]. 装饰, 2020(3): 82-85.
[17] Karras, T., Laine, S. and Aila, T. (2019) A Style-Based Generator Architecture for Generative Adversarial Networks. Proceedings of the IEEE/CVF Conference on Com-puter Vision and Pattern Recognition, Long Beach, 15-20 June 2019, 4396-4405.
https://doi.org/10.1109/CVPR.2019.00453
[18] Karras, T., Laine, S., Aittala, M., et al. (2020) Analyzing and Improving the Image Quality of StyleGAN. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, 13-19 June 2020, 8107-8116.
https://doi.org/10.1109/CVPR42600.2020.00813
[19] Karras, T., Aittala, M., Hellsten, J., et al. (2020) Training Generative Adversarial Networks with Limited Data. Advances in Neural Information Processing Systems, 33, 12104-12114.
[20] Radford, A., Kim, J.W., Hallacy, C., et al. (2021) Learning Transferable Visual Models from Natural Language Supervision. International Conference on Machine Learning, 18-24 July 2021, 8748-8763.