基于时间序列的音乐作品改编
Adaptation of Music Works Based on Time Series
摘要: 首先,在了解基础乐理,选定了《约定之初》钢琴曲作为研究对象后,进行了乐谱结构化。由于原始数据为非平稳数据,需要进行差分运算,随后又对序列进行了LB检验以及单位根检验,结果表明该序列是平稳的非白噪声序列,可以继续进行建模。制作出差分后序列的ACF图和PACF图,根据所得图示选定用AR(2)模型建模。对模型的残差进行LB检验,结果显示没有证据表明残差是非白噪声序列,故接受该模型。然后,对序列进行预测,从而生成新的旋律。其次,由于原序列具有明显的周期性特征,本文还使用了Holt-Winters三参数指数平滑模型进行模型估计与预测,生成的新乐曲与AR(2)模型的结果一致,侧面印证了AR(2)模型预测的准确性。最后,将预测结果数据还原成五线谱模式,便可以听到基于时间序列模型上改编的新乐曲了。
Abstract: Understand the basic music theory, select the piano music of “The Beginning of the Appointment”as the research object, and then structure the music score. Because the original data is non-statio- nary data, difference operation is needed, and then LB test and unit root test are carried out on the sequence. The results show that the sequence is a stationary non-white noise sequence, and the modeling can be continued. Make ACF diagram and PACF diagram of differential sequence, and se-lect AR(2) model to model according to the obtained diagram. LB test of the residual error of the model shows that there is no evidence that the residual error is a non-white noise sequence, so the model is accepted. Predict the sequence and generate a new melody. Because the original sequence has obvious periodic characteristics, this paper also uses Holt-Winters three-parameter exponential smoothing model to estimate and predict the model. The generated new music is consistent with the results of AR(2) model, which confirms the accuracy of AR(2) model prediction. Finally, the pre-dicted data is restored to the staff mode, and then the new music based on the time series model can be heard.
文章引用:刘思圻, 李窈, 赵慧, 金萱, 兰爽, 李若慧, 周国健, 白晓东. 基于时间序列的音乐作品改编[J]. 应用数学进展, 2022, 11(11): 8329-8339. https://doi.org/10.12677/AAM.2022.1111881

1. 引言

对所有声音参数进行系统处理的音乐称为序列音乐。自二十世纪初勋伯格彻底抛弃了调性音乐以后,西方的音乐就陷入了“无调性”的状态里 [1]。直到十五年后,勋伯格首次采用了十二音方法体系进行创作乐曲 [2]。后来,勋伯格的学生贝尔格也沿用了勋伯格的十二音体系。

此后一直到1949年,梅西安的《时值与力度的模式》才被当时的青年作曲家视为“整体序列论”的典范。然而,梅西安却没有完全走上序列主义的道路,反而是追随梅西安的布列兹,为序列主义做出了杰出的贡献。1948年,布列兹《第二钢琴奏鸣曲》的创作与早期十二音方法体系创作完全不同,而是向着比较完整的序列主义创作去发展 [3]。而序列音乐,也就是在二十世纪五十年代出现的,同期的序列音乐创作人还有美国的巴比特和德国的斯托克豪森 [4]。

到了二十世纪八十年代,序列音乐进入中国市场,并且在中国专业的音乐创作中发挥了重要作用,激发了很大一批作曲家的创作欲望。其中最具代表性的音乐作品《涉江采芙蓉》,就是作曲家罗忠镕先生在二十世纪八十年代初公开发表的作品,这是中国第一部严格按照十二音方法体系和序列技法进行创作的作品,也是序列音乐的先驱代表作 [5]。在后世的创作者中也还有大量的作曲家例如彭志敏、高为杰、陈铭志、朱践耳、杨立青、许舒亚和汪立三等人以这种方式创作,把十二音创作在二十世纪八十年代推动成为了当时的主流创作风格 [6]。

在科学技术飞速发展的今天,人工智能已经深入到了人们的生活中。人们日益的生活发展与追求逐渐往精神层面靠近。而许多研究表明音乐能影响人类的情绪,进而带给人们不同方向的引导。但现如今音乐创作这件事对于大众来说还是有很高的门槛的,想要人人都可以创造出属于自己独特的音乐作品不是一件容易的事。现在的音乐市场已经发展到一个近乎饱和的状态,反而给大众提供了可以选择“站在巨人的肩膀上”完成新作品的机会,既简单直接又快速高效。让大众都能拥有创作的机会,也能为未来音乐市场增添新鲜血液,碰撞出新的火花。

许多学者已经在论文中提出过关于数学和音乐之间的微妙联系。当数学在锻炼人类的头脑时,人们也不能忽视自身创造力的发展。大量的研究表明,通过参加良好的音乐活动所培养出的想象力,将在以后的研究、发明和社会实践中发挥积极作用。而基于时间序列上对于音乐作品进行改编属于创作的一种,可以很好的锻炼人们的创造力的同时,也能提高人们对音乐与美的鉴赏能力。而学习音乐的过程,就像是一个人确立了自己的人生目标,在经历了无数的磨难之后,才能达到目标的彼岸,这也是我们人生中最基本的课题。多参与类似改编音乐作品的活动,也可以促使人们的注意力更加集中,拥有坚定的意志力,在过程中慢慢培养良好的心理素质。

音乐无时无刻存在于人们的生活之中,人们喜悦时听音乐,悲伤时听音乐,音乐也能起到调节人们心情的作用,可以舒缓平时快节奏生活带来的压力,也可以带动情绪低落的人恢复活力,音乐对于大众的精神世界来说,是不可或缺的存在。正因如此,从古至今有许许多多种类的音乐出现,它们出现的时代背景不同,所呈现的情感,表达的方式也就不同,作用效果也各有千秋。但是每一门类的音乐作品都有其自身的规律在其中,后世也因为其特点各不相同,才能将其分门别类。找寻这些隐藏在其中的规律,就需要用到数学工具,数学和音乐的连接也就开始了。使用数学工具找寻规律是更加专业化和高效化的,光使用听觉找寻出的规律大多都很模糊,而数据能非常精确的显示出其中规律,甚至能在此规律基础上再次进行二次创作。这也是一个数学和音乐之间的转换过程,并且为音乐发展提供了新的道路选择。

时间序列作为描述某个或者某些随机变量随时间变化规律的有力工具,可以有效揭示时间序列数据之间的相关关系。而很多乐曲其本身是按照时间顺序排列组合的音符构成的,所以用时间序列更能揭示各类优秀音乐作品的本质特征,利用这些本质规律,可以实现音乐智能化创作。在音乐教育方面,也开始运用数学与音乐结合的方法,寓教于乐,在孩子心中播种下音乐的种子。同时数学与音乐的新奇结合,也能让更多人对这种创作方式产生好奇,好奇也是促进人类进行探究的重要驱动力,人们乐于了解,就有可能产生兴趣,继而更有甚者会对这个方面进行深入研究,从而对于整个音乐领域的产业发展产生积极的影响。

2. 研究方法与材料

2.1. 研究思路

了解了基本的乐理知识后,通过借助时间序列方法将乐谱与数学模型建立起连接,将五线谱上的音符转变为可用数据,也就是相对应的数字,即乐谱结构化。

选定研究的旋律比较典型的曲目后,对它进行数据预处理,研究它的时序图,观察数据是否平稳,数据平稳即可使用,如果数据不平稳,将采用常用的ARIMA模型或指数平滑法对非平稳数据进行处理,使序列平滑后,显示出自身的变化规律。

如果原始序列是非平稳序列,就还需要对此序列进行差分处理,差分后要观察序列是否平稳则还需要对其进行单位根检验。若检验结果表明差分后的序列是平稳的、非白噪声序列后,就可以继续往下建模。

通过画出差分后序列的ACF图和PACF图,可以看出自相关函数拖尾、偏自相关函数出现2阶截尾的情况,因此考虑用AR(2)模型。建模结束后,需要检验模型是否有效,就需要观察模型的残差序列是否为白噪声序列。最后对序列进行预测,生成新的旋律部分,从而达到乐曲改编的目的。

而后又采用Holt-Winters三参数指数平滑方法进行模型估计后预测,将预测结果与AR(2)模型预测作对比验证。最后再将所得预测结果数据,反向转化为五线谱,就得到了基于时间序列下改编出的新的音乐作品。

2.2. 乐谱结构化

首先确定了曲目为林友树老师作曲的钢琴曲《约定之初》,确定这首纯音乐的初衷是在进行乐谱结构化的时候只需要提取出乐曲的主旋律,所以就决定了这首曲调优美而主旋律鲜明的钢琴曲作为选定曲目。选取了《约定之初》的主旋律(即右手部分演奏的高音区域)之后,需要将主旋律五线谱部分的音符转化为相对应的数字,“翻译”乐曲,让乐曲可以被时间序列模型识别。

我们将钢琴键盘上的黑键、白键以及黑白键之间的空隙对应位置转换编排成1到103的数字。特别需要注意的是,虽然钢琴上黑键与白键加起来一共88个键位,但是为了保证音域的跨度和数字间隔相等,保持基础数字间隔变量的一致性,我们将两个白键之间的缝隙也算成一个数字。这是因为相邻的白键与黑键之间差了半音,但是两个白键之间相差的是全音(全音相当于两个半音),所以在两个白键间没有黑键的部分也进行了编号,保证变量间都以相差半音为间隔,保持平衡。

同时,使用数字的重复记录来表现出音乐的节奏。例如节奏的最小单位是半拍,那么将它重复4次之后,就出现了一个两拍的音符。休止符是一拍,所以按例来说就将其转换为两个数据0。对于连音,在实际演奏中只弹了一个音符,然后对那个音符进行延音处理,计算总共(本音符加上延长音符部分)音符的节拍数后将其用数字的重复记录进行表达,这样就基本上实现了乐谱的结构化。

到最后预测数据结果出来时,还要进行逆向的乐谱结构化,此时需要注意要根据原曲每一小节的节奏去还原成五线谱数据,确定每一小节的数据后,留心重叠数据是还原成全音还是半音弹两次,要根据原曲结构再次进行调整,进而达到进行音乐改编但是不脱离原作的目的。

为了在结果显示时更加方便确认每一小节的节奏,可以在初始进行乐谱结构化时,就确定下来每一小节转换为几个数据,例如此曲为每一小节四拍,即八个半拍,以半音为单位每组就是八个数据,最后逆向转换时就以八个数据为一组进行转换,这样操作就使得收尾工作可以进行得更加简洁与准确。

2.3. 数据整理

Figure 1. Music score at the beginning of the appointment

图1. 约定之初曲谱

Figure 2. Comparison table of grand score and piano keyboard

图2. 大谱表与钢琴键盘对照表

根据图1图2相结合我们得到了所用数据。详细数据放在附录。

2.4. 数据预处理

Figure 3. Sequence diagram of stationary test

图3. 平稳检验时序图

根据图3可以发现该序列有明显的周期性特征,是一个非平稳序列。对于非平稳序列,常用处理方法有ARIMA模型和指数平滑法。ARIMA模型的本质过程分为两个部分,先对所选的时间序列数据进行差分运算,使非平稳数据变得平稳后,再建立ARMA模型。而Holt-Winters三参数指数平滑法在Holt线性指数平滑法的基础上保留了季节性的信息,减少了短期随机波动给序列到来的影响,使得序列变平滑,显示出其变化规律。同时还可以预测带有季节性的时间序列。

由于原始序列属于非平稳序列,需要对非平稳序列进行差分处理,即计算x时刻到x − 1时刻的差值。

首先我们进行一阶差分,消除序列的线性趋势,再通过观察时序图结合数据发现该序列的周期为40 (一共16组数据,每组有8个数据,所以图上显示每5为1周期,即40为周期),因此做步长为40的差分运算,运算后得到图4

Figure 4. Sequence diagram after step size is 40 difference

图4. 步长为40差分之后的时序图

后续对差分后的序列进行平稳性和纯随机性检验。

Table 1. Test of stationarity and pure randomness

表1. 平稳性和纯随机性检验

表1所示,完成了对差分后序列的平稳性检验和纯随机性检验后,发现差分后序列是平稳的、非白噪声序列,所以有继续研究的价值,可以继续进行建模工作。

2.5. 时间序列建模与预测

2.5.1. 定阶与估计

为了确定模型及其阶数,应该画出差分后的序列的自相关系数图和偏自相关系数图,并根据图示进行判断。

Figure 5. Autocorrelation graph

图5. 自相关图

Figure 6. Partial autocorrelation graph

图6. 偏自相关图

图5图6分别是差分后序列的ACF图(自相关系数图)和PACF图(偏自相关系数图),由样本自相关函数图能看出自相关函数延迟2阶之后,就衰减到了2倍标准差的范围之内,而样本偏自相关函数图也表示偏自相关函数延迟2阶之后,完全衰减到2倍标准差范围内,显示了该序列的平稳特征,同时也印证了差分后序列具有短期相关性。

从另一方面来看,样本自相关函数图快速衰减到2倍标准差范围内后,在2倍标准差范围内的值出现了“伪正弦波动”的情况,说明自相关函数呈现拖尾现象,而偏自相关函数图则出现了2阶截尾的现象。所以,我们可以初步确定拟合模型为AR(2)模型。

将模型识别为AR(2)后,采用极大似然估计法估计未知参数。

根据估计结果,确定了该模型的口径为:

x t = 1.4706 0.1429 x t 1 0.3617 x t 2 + ε t σ ε 2 = 418.2

2.5.2. 检验与优化

在此基础上,对所建立的模型残差序列进行随机性检验。

Table 2. LB Test of residual sequence

表2. 残差序列的LB检验

通过表2对模型实验数据的分析,发现延迟6阶和延迟12阶的统计量的p值远大于显著性水平0.05,因此可以认为拟合模型的残差序列是白噪声序列。这表明AR(2)模型已经完全提取序列之间的相关性了,因此该模型是可以接受的。

2.5.3. 乐曲改编

后续进入到乐曲改编的环节,通过对所建立的模型进行未来走势预测自动产生新的旋律。

图7所示,新生成的乐曲如下。

Figure 7. Prediction diagram of the model

图7. 模型的预测图

2.5.4. 更换模型

由于原序列具有周期特征,所以还能使用Holt-Winters三参数指标平滑法对序列进行处理,减少了短期随机波动对序列的影响,从而使序列达到平滑效果,显示出其变化规律,在时间序列分析中也是一种常用的修匀数据的技术 [7]。

这次用到的是对于趋势和季节的加法模型,表3展示的是模型的部分估计结果。

Table 3. Partial estimation results of the model

表3. 模型的部分估计结果

注1)以上结果保留小数点后四位。

之后再进行预测编曲,编曲结果如图8所示。可以发现新生成的旋律和AR模型新生成的旋律走势基本相同,同时也保留了序列之前的周期性。

Figure 8. Forecast chart of Holt-Winters model

图8. Holt-Winters模型的预测图

2.5.5. 数据转换音符

后续把新生成的预测部分转化回对应音符部分,就新生成了自己独特改编的新的旋律。如下图9

3. 结论

本文将看似不相关的两个元素,音乐与统计结合,碰撞出新的创作火花。虽然仅仅只是一个众多音乐创作方式中的一种,但是这种方式能使人们进行音乐改编和创作的门槛更低,使大众不在音乐创作的殿堂门口望而却步。数学能锻炼人们的逻辑思维能力,但音乐能开发人们的创造天赋,治愈人们的心灵。在人类的发展过程中,逻辑与创造产生的影响缺一不可,都是人类重要的学习研发方向。

Figure 9. The adapted music score

图9. 改编后的曲谱

将乐曲从五线谱转为数字化,能被R软件识得并进行下一步操作,是音乐向数字化的转换。继续用R软件进行数据的分析,进行数据预处理,选出合适的模型并定阶,再对模型进行检验,最后进行预测得到的部分就是根据曲子主旋律内含的周期特性得到的基于时间序列下的音乐改编部分,也就是音乐融于数学中并得到不同的创作部分。而收尾工作即将所得的预测数据,再按原先的转换方式,逆向转换成五线谱的部分,便可以由人们演奏出来了,就是数学又再次回转向音乐的过程。

本文选择研究较少人使用的基于时间序列上对音乐作品的进行改编的方法,虽然这个方法没有被大众熟知以及使用,但是其易操作和普适性极强,希望大家对此感兴趣的都可以自己尝试改编。

但是这种方法也有其局限性,比如说所选定改编的乐曲周期性不强,或者选定的乐曲的伴奏或和弦占据乐曲中极大部分,主旋律较弱的前提下,由于原曲本身的特性难以捕捉,该方法也就不太适用,这个方向的研究也有待继续加深。当然,这部分的乐曲更多的就是由专业的音乐人在创作,他们更喜欢跳出定式思维去作曲,也是“百花齐放”的创作大环境下各自的创作方式选择。

在未来,随着创作环境与创作理念的不断发展,人们对于创作的包容度和创新程度必然都会增大。同时,数学研究的不断推进,也能更加精确地对乐曲进行数据转换,加上大数据时代的实验数据累积,相信未来会有更多基于时间序列或者其他数学模型的音乐作品的改编和优秀创作诞生。

基金项目

辽宁省大创项目,编号:202212026109。

参考文献

[1] Conklin, D. (2003) Music Generation from Statistical Models. Proceedings of the AISB 2003 Symposium on Artificial Intelligence and Creativity in the Arts and Sciences, London, 2003, 30-35.
[2] Auner, J. (2013) Music in the Twentieth and Twenty-First Centuries. W.W. Norton and Company, New York, London.
[3] Taruskin, R. (2010) Oxford History of Western Music. Music in the Early Twentieth Century. Oxford University, Oxford.
[4] 钟子林. 西方现代音乐概述[M]. 北京: 人民音乐出版社, 2014.
[5] 张巍. 序列音乐技术的中国化研究(二)——十二音创作技术与理论的发展(1990-2000) [J]. 音乐研究, 2020(6): 97-112.
[6] 赵薇. 分析序列音乐作曲理论与技术在作品中的应用——以《涉江采芙蓉》为例[J]. 北方音乐, 2015, 35(15): 157.
[7] 罗旭良. 基于Holt-Winters时间序列预测模型的电力大数据应用[J]. 机电信息, 2016(33): 154-155.