基于H.266/VVC的帧内预测方法综述

A Review of Intra Prediction Methods Based on H.266/VVC

摘要: VVC编码框架的帧内预测一直以来都是视频编码优化的主要内容，尽可能提升帧内预测效率有助于提高VVC标准的适用能力。本文旨在对帧内预测在VVC编码框架的效率优化方法进行系统综述，详细分析了VVC编码框架的结构和原理，阐述了VVC编码框架的发展历程，并深入分析了当前VVC帧内预测的研究现状。本文主要从CU快速划分算法研究、帧内预测模式优化算法研究、帧内预测算法最新进展研究三个角度对帧内预测算法进行研究和性能比较，并且从目前算法的局限和当前技术条件出发，提供未来的研究方向，为帧内预测相关研究提供参考。

Abstract: The intra prediction in the VVC coding framework has always been a primary focus for optimizing video encoding, and enhancing the efficiency of intra prediction is crucial for improving the applicability of the VVC standard. This paper aims to provide a systematic review of the efficiency optimization of intra prediction within the VVC coding framework, detailing the structure and principles of the VVC coding framework, elucidating its development history, and thoroughly analyzing the current state of research on VVC intra prediction. This paper mainly compares the performance of intra-frame prediction algorithms from three perspectives: the research of CU rapid partition algorithm, the research of intra-frame prediction mode optimization algorithm, and the research of the latest progress of intra-frame prediction algorithm, and provides future research directions from the limitations of the current algorithm and the current technical conditions, so as to provide reference for the research related to intra-frame prediction.

1. 引言

1.1. 视频编码标准发展历程

伴随着数字视频内容的爆炸性增长以及人们对视频质量要求的提高，出现了4K/8K和360度视频等新兴视频格式[1]。高效视频编码(High Efficiency Video Coding, HEVC)是当前一代视频编码标准，它逐渐不能够满足未来视频的需求。联合视频专家组(JVET)提出新的视频编码标准H.266/VVC (Versatile Video Coding)，致力于提高压缩效率与视频质量，但是也带来了计算复杂度增高的问题。帧内预测作为VVC标准中的重要模块，它的性能决定着编码效率和计算复杂度。本文从帧内预测的编码单元(CU)快速划分和帧内预测模式优化两个角度总结了国内外H.266/VVC标准中帧内预测的方法。

为了让不同公司不同产品能够互联互通，推动视频技术广泛应用，各国在二十世纪八十年代就开始了视频标准化的工作。如图1显示了国外三个主流视频压缩标准的发展历程。我国为了拥有独立的视频编码标准，由工信部牵头，经过科研人员的不懈努力，陆续发布了AVS系列的AVS1、AVS+和AVS2等视频编码标准。

Figure 1. The development history of the three major international standards for video coding

图1. 三大视频编码国际标准发展历程

1.2. H.266/VVC编码框架

目前，H.266/VVC与H.265/HEVC基本保持一致采用了块划分机制的混合编码架构，与H.265/HEVC不同的是，H.266/VVC框架的每个模块，几乎都引进了新的编码技术。H.266/VVC所使用的基本框架，如图2所示。

Figure 2. H.266/VVC hybrid coding framework

图2. H.266/VVC混合编码框架

主要包括块划分、预测、变换量化、熵编码、环路滤波五个模块[2]。

1.2.1. 块划分

和之前的标准类似，VVC先进行块划分操作再进入正式编码。在进行块划分时，当前帧会被分成数个大小相同的编码树形单元CTU。每个CTU有一个最大尺寸为128 × 128大小的亮度样本块和两个最大尺寸为64 × 64的色度样本块[3]。接下来，每个CTU会划分成多个CU。与H.265/HEVC相同的是，H.266/VVC也是采用的四叉树机制对CTU进行划分。不同的是H.266/VVC增加了二叉树和三叉树等嵌套多类型树[4]。主要新增水平二叉树划分(BTH)、水平三叉树划分(TTH)、垂直二叉树划分(BTV)、垂直三叉树划分(TTV)四种方式。如图3所示：

Figure 3. Multi-type tree division

图3. 多类型树划分方式

VVC标准还支持色度和亮度的独立划分[5]。

1.2.2. 预测

在进行了块划分之后，进入预测模块，预测模块也是编码框架中的核心模块。预测模块的主要内容是通过视频相邻块的内容相关性进行预测，目的是去除视频内容冗余。通过预测模块，大大减少了视频的编码数据量。在H.266/VVC中进行帧内预测和帧间预测两部分的工作。

在帧内预测中，因为帧内预测一帧图像中相邻像素的具有同相关性，同时当前CU和相邻CU有大量的空间冗余，如果不进行预测操作，将消耗大量的编码时间，故VVC利用当前CU的邻近CU对当前CU进行预测。详细方法将在后续章节详细说明。

帧间预测与帧内预测不一样的是，它的目的是去除视频帧间的冗余，它利用的是视频帧与帧之间的相关性。在之前的编码标准中经过环路滤波将已编码的重建帧用于当前帧的参考，主要是运动矢量完成对当前CU的帧间预测，在新标准中增加了更多帧间运动矢量的预测编码工具[6]。帧间预测的基本原理如图4所示。

Figure 4. Schematic diagram of inter-frame prediction

图4. 帧间预测原理图

1.2.3. 变换量化

在对编码单元进行预测后，VVC会对预测产生的残差先进行变换操作再进行量化操作。

VVC和HEVC的基本变换基本相同，只是VVC默认对所有CU使用离散余弦变换II (DCT2)，同时最大尺寸增加到64 × 64。此外，VVC还引入了另外两种DCT和离散正弦变换(DST)算法，即DCT8和DST7。不同转换的选择过程称为多重转换选择(MTS)，具有两种可用的选择模式。隐式MTS将隐式地选择某些块的变换，有效地增加了零处理和信令成本。显式MTS利用搜索在每个CU的四种MTS模式之间进行选择，以不同的组合方式水平和垂直地应用DCT8和DST7。这些变换操作大大减小了VVC的编码比特开销。

量化操作与之前标准不同的是量化参数(QP)范围从51扩展到63。亮度或者色度与参数之间的映射从固定表转变为分段线性模型，用序列参数集表示。同时，VVC增加了依赖性标量量化(DSQ)这一特有的技术。

1.2.4. 熵编码

VVC使用改进的上下文自适应二进制算术引擎(CABAC)作为熵编码方式。VVC流程中的很多参数都会进行熵编码操作。与HEVC不同的是，变换系数等级的编码只依赖于TU的大小，这使得系数组的选择有多种选择。引入了一种新的参数依赖上下文模型初始化方法。此外，语法元素的概率模型的选择取决于局部邻域中非零元素的值和个数。

1.2.5. 环路滤波

VVC中加入了样本自适应偏移(SAO)。与HEVC不同的是去块过滤器更新了边界处理和4 × 4网格。除了去块过滤器和SAO之外，VVC中还增加了两个新的环内滤波器：自适应环滤波器(ALF)和带色度缩放的映射(LMCS)。ALF是一种计算复杂的滤波器，应用于SAO之后，使用7 × 7 (亮度)或5 × 5 (色度)滤波器，对帧中的每个4 × 4像素块应用25个分类。如图5所示。LMCS通过将像素值映射到整个动态范围，以略微提高编码效率。LMCS中的色度缩放，是对色度进行补偿映射的相同基本过程。色度缩放也可以独立禁用。

Figure 5. Two shapes of ALF filters

图5. ALF滤波器两种形状图

2. CU快速划分算法研究

2.1. 基于传统方法的CU快速划分算法

传统的CU快速划分方法基本是利用视频序列本身的某些特征分布规律，利用一些统计分析的方法来达到快速划分CU的目的。在文献[7]中，Zhang等人就是利用视频序列的纹理复杂度，并通过灰度共生矩阵来描述它的复杂度，再利用自设置的阈值来判断是否需要跳过一些划分过程来达到快速划分的目的。在文献[8]中则是利用视频序列的空间特征特性来快速划分。在文献[9]中，Cui等人则是根据编码单元不同方向的梯度值，跳过一些不必要的划分来达到快速划分的目的。文献[10]中主要通过计算待编码块的亮度方差和梯度信息来评估其复杂性。具体而言，首先对每个块进行方差计算，以识别出纹理复杂性较高的区域；接着，通过计算块的梯度，检测其中的重要边缘。这两个特征结合后，有助于确定是否需要对当前块进行细分。如果方差或梯度超过预设阈值，则决定继续细分该块，否则选择不再细分，从而减少不必要的计算。文献[11]首先提取当前待编码CU周围邻近CU的深度值，从中判断内容复杂性。通过分析这些深度信息，算法能够在面对具有相似特征的邻近CU时，选择相同或类似的分区策略，这样可以减少对当前CU进行全面深度搜索的需求。表1是以上几种方法的比较。

Table 1. Comparison of CU fast partitioning algorithms based on traditional methods

表1. 基于传统方法的CU快速划分算法比较

文献	时间	技术特点	优点	缺点
[7]	2020	利用纹理特征进行自适应CU分区决策，快速评估复杂性。	计算比较简单，计算复杂度不高。	依赖特征准确性，阈值设置困难，适用性有限。
[8]	2018	通过分析图像特征，优化CU分割，提升编码效率。	适应各种视频内容类型，提高实时处理能力。	依赖特征提取准确性，阈值设置可能影响效果，对于复杂场景的适应性有限，实现过程较为复杂。
[9]	2020	通过梯度信息分析，在VVC内编码中实现CU分区的提前终止，减少不必要的计算，提高编码效率。	降低计算复杂性，同时保持视频质量，适合高分辨率和复杂场景的视频处理。	依赖于梯度特征的准确性，可能在低对比度区域表现不佳，需合理设定终止条件，以避免失真。
[10]	2019	该算法结合方差与梯度信息，实现VVC内编码中快速QTMT分区决策，通过有效评估图像内容复杂性来优化分区。	特别适合高分辨率和动态场景的处理。	对方差和梯度特征的依赖可能导致在某些特定内容下效果不佳，参数设置不当也可能影响性能。
[11]	2019	该方法利用相邻CU深度信息，通过有效预测分区深度，提升编码速度和效率。	适应各种类型视频内容类型，提升速度幅度高。	依赖于相邻CU的准确性，可能在动态场景中表现不稳定，对深度信息的处理和更新要求较高。

2.2. 基于神经网络的CU快速划分算法

随着神经网络技术的快速发展，神经网络已经应用到很多领域。在VVC标准中也引入了神经网络技术。文献[12]通过构建神经网络模型，利用图像特征及其上下文信息，自动化地预测最优的CU分区策略。具体而言，网络输入包括当前CU的纹理特征、相邻CU的分区深度和其他相关信息，输出为每个CU的最佳分区决策。与传统方法相比，DeepQTMT能够更有效地处理复杂视频场景，通过学习历史数据来优化分区，显著减少了编码所需的计算时间。文献[13]中，提出PS-RNN模型。PS-RNN使用多个时间步长来逐步更新状态，从而捕捉长期依赖关系和上下文信息。这种结构不仅提高了内预测的精度，还显著降低了计算复杂性。此外，模型能够自适应地选择最相关的信息进行处理，有效改善了对复杂场景的适应能力。文献[14]提出了一种基于轻量级神经网络的快速多类型树分区方法引入了多种树结构的特征融合与分类机制，使得神经网络能够有效识别不同视频内容下的最佳分区方式。通过使用轻量级模型，该方法在减少计算资源消耗的同时，保持了高效的预测性能。文献[11]提出了一种利用相邻LCU (Largest Coding Unit)深度信息的模型，该方法通过分析和利用相邻LCU的分区深度信息，动态调整当前LCU的编码策略，从而优化预测性能。具体而言，模型能够基于周围LCU的编码特征和深度，为当前LCU提供更精准的分区建议，减少不必要的搜索范围。文献[15]提出了一种自适应的编码单元(CU)分割决策方法，采用了可变池化卷积神经网络(CNN)，引入了可变池化机制，根据输入图像特征动态调整池化层的尺寸，从而更有效地提取多尺度信息。这使得模型能够更加灵活地适应不同视频内容的特征。通过对历史数据进行学习，该方法能够智能预测最优的CU分割方式，减轻传统方法中对全局搜索的依赖。

3. 帧内预测模式优化算法研究

VVC的帧内预测角度模式从33种拓展到65种，它的计算复杂度也自然变得更高，优化帧内预测的模式选择有很大的意义。文献[16]提出了一种高效的帧内预测模式选择策略，旨在加速H.266/VVC编码过程中的模式判决。引入了一种基于特征提取和局部信息分析的快速判决机制。通过对当前块的纹理特征进行分析，模型能够快速排除不可能的预测模式，并优先选取最有可能的模式进行深入处理。此外，还采用了上下文自适应决策策略，结合历史编码信息动态调整候选模式，从而提高预测准确性和编码效率。文献[17]提出了一种新颖的快速帧内模式决策方法，通过构建一个卷积神经网络(CNN)，对输入图像块进行特征提取，并利用这些特征来评估各个内预测模式的有效性。与传统方法相比，该模型能够更准确地捕捉到图像内容的局部和全局信息，从而显著缩小需要评估的候选模式范围。还结合了自适应阈值策略，根据不同场景动态调整判决标准，进一步加快了决策过程。文献[18]中。作者通过统计的方法。总结出相邻块之前模式选择的规律，利用相邻块的信息来减少预测模式的选择，提高编码效率。文献[19]中作者利用图像块的边缘信息和纹理复杂度分析，快速排除不适用的预测模式。此外，该算法还引入了基于动态权重的优先级排序机制，根据不同类型的图像内容自动调整候选模式的评估顺序，从而减少需要深入计算的模式数量。文献[20]中算法首先通过统计当前块的纹理信息和邻域块的特征，快速识别出具有相似性或相关性的区域。这使得可以有效地减少需要考虑的候选模式数量。此外，作者还引入了一种基于模式使用频率的自适应机制，根据历史编码数据动态调整模式优先级，进一步优化决策流程。文献[21]中通过重新使用角度预测列表的方式，来减少重复预测模式的使用。

4. 帧内预测算法最新进展研究

2024年，FENG [22]提出了一种新颖的方法，通过结合小波变换和残差神经网络来实现λ域速率控制。具体而言，他们使用小波变换对视频数据进行处理，将其输入到残差神经网络中，以学习并优化速率控制参数λ。这种方法能够更好地适应HDR视频的编码需求，提高编码质量和效率。WANG [23]等人提出了一种用于VVC SCC (Versatile Video Coding Screen Content Coding)中帧内预测的快速编码模式预测方法该方法首先采用残差网络对输入的图像块进行特征学习和表示，然后利用经过训练的模型来快速预测最佳的编码模式。通过在训练阶段大量样本数据的学习，使得模型能够准确地预测适合当前图像块的最佳编码模式，从而在编码过程中节省时间和计算资源。在文献[24]中引入了一种早期跳过机制，以减少对色度残差的编码处理，从而节省时间和计算资源。首先对亮度和色度分量进行预测和编码，然后在色度编码之前，通过联合编码色度残差的方式进行早期跳过。这样可以避免不必要的编码过程，使得色度信号能够更快速、更有效地被处理，从而提高编码速度和效率。在文献[25]中STRANet结合了软目标(Soft-Target)和限制条件感知(Restriction-Aware)的特性，通过深度学习实现更高效的VVC帧内编码。软目标指的是模型在训练过程中不仅关注压缩性能，还会考虑其他因素如速度和复杂度等。而限制条件感知则是指模型在设计中会考虑到VVC编码的各种约束和限制条件，以更好地符合实际应用需求。通过结合软目标和限制条件感知，STRANet能够更全面地优化VVC帧内编码，并提高编码效率和质量。Michael [26]等人探讨了一种新的非线性变换编码方法研究了如何利用非线性变换技术对视频信号进行编码处理。与传统的线性变换相比，非线性变换可以更好地捕捉视频信号中的复杂结构和特征，有助于提高编码效率和重建质量。通过在VVC帧内编码中引入非线性变换，可以有效地减小编码失真并提高视频质量。文献[27]引入了一种新颖的可分路径图变换技术，通过在线学习来不断优化变换过程，以适应不同类型的视频内容和结构。这种自适应性使得系统能够根据实时反馈调整预测过程，从而更好地捕捉视频信号的特征和纹理信息，提高帧内预测的准确性和效率。在[28]中作者旨在通过降低计算复杂性来加快帧内预测的模式和CU分割决策过程，同时保持编码性能。通过优化决策过程，该算法可以快速确定视频帧中每个编码树块(CTB)的最佳预测模式和CU分割策略。文献[29]专注于VVC帧内预测中基于学习的快速分割和方向模式决策。利用学习方法来加速帧内预测中的分割和方向模式决策过程。通过训练模型来学习最佳的分割和方向模式选择策略，算法能够快速而准确地确定每个Coding Tree Block (CTB)的最佳预测方式，从而提高编码效率。

5. 帧内预测算法性能比较

在H.266/VVC视频编码中，通常使用BDBR和TS指标来评估帧内预测算法效率的表现。BDBR它计算了两种编码方式之间的比特率差值以及峰值信噪比增益，可以反映出不同算法在相同画质下的压缩性能优劣。BDBR反映了算法的编码效率损失，它的值越小，算法效率越高。TS表示平均节省时间，它的计算公式如下：

$TS=\frac{1}{4}{\displaystyle \sum }_{i=1}^4\frac{T_0\left(\text{i}\right)-T_p\left(\text{i}\right)}{T_0\left(\text{i}\right)}\ast 100\%$ (1)

部分H.266/VVC视频编码算法的性能比较见表2：

Table 2. The performance comparison of the H.266/VVC intra-frame algorithm

表2. 基于H.266/VVC帧内算法的性能比较

视频序列	[30]		[31]		[32]		[33]
	BDBR (%)	TS (%)	BDBR (%)	TS (%)	BDBR (%)	TS (%)	BDBR (%)	TS (%)
Campfire	1.64	58.79	1.87	51.08	1.56	57.32	0.98	34.37
CatRobot	1.7	59.04	1.7	59.04	1.63	63.18	0.92	38.38
BasketballDrive	1.4	59.21	0.55	55.09	1.53	60.35	0.93	45.61
BasketballDrill	1.88	69.07	1.05	29.9	1.99	48.91	1.21	29.28
BasketballPass	1.73	62.34	0.52	25.03	1.54	43.62	0.51	30.78
FourPeople	1.62	57.11	0.86	27.09	1.97	58.45	1.31	44.29
平均	1.71	60.94	1.09	41.21	1.54	55.31	0.98	37.12

从表中数据可以得知当BDBR值较小时，算法的节约时间可能也会变少。在[30]中，平均节省时间达到了60%，但编码质量损失达到了1.71%。[33]编码质量损失最低，只有0.98%，但是节约时间也最低，只有37.12%。所以有些算法是在牺牲框架编码质量的情况下提升节约时间，未来算法研究需要平衡两种指标来符合自身应用要求，力求在损失编码质量最少的情况下取得最好的节约时间效能。

6. 问题和展望

本文首先介绍了H.266/VVC的现状，重点展示了该标准的发展历程、编码框架及其主要模块。我们从两个关键角度——帧内预测的编码单元(CU)快速划分和帧内预测模式优化，总结了国内外在H.266/VVC标准下的帧内预测方法，并对一些方法的优缺点进行了比较分析。

当前，基于H.266/VVC帧内预测算法存在以下几个方面问题：

1. 计算复杂度高：H.266/VVC引入了更多的预测模式和滤波器，增加了算法的复杂度。特别是在高分辨率视频编码中，需要进行大量的预测模式搜索和优化操作，导致编码速度变慢。

2. 内存占用大：由于H.266/VVC引入了更多的预测模式和滤波器，编码过程中需要保存更多的中间结果和数据，导致内存占用较大。这对于一些资源受限的设备来说可能会成为问题。

3. 性能波动较大：在某些情况下，H.266/VVC的帧内预测算法可能表现出性能波动较大的特点。即使采用了更复杂的预测模式，也难以保证在所有场景下都能取得稳定且优异的压缩效果。

4. 不足以满足未来需求：随着视频内容和分辨率的不断增加，以及对高画质视频的需求增加，现有的H.266/VVC帧内预测算法可能不足以完全满足未来视频编码的要求。需要进一步的创新和改进。

5. 缺乏通用性：H.266/VVC的帧内预测算法虽然在大多数情况下表现优异，但可能存在一些特殊场景下表现不佳的情况。算法的通用性和适用性仍有待提高。

针对现存问题，根据现在算法的基础和技术情况。未来，我们可以从以下几个方面展开VVC帧内预测的研究：

在本文中多种算法中的阈值都是根据官方测试视频序列，有一部分是取的局部测试较优值。未来研究可以丰富视频的来源，并采用更合适的方式如神经网络来进行阈值选取，最好是获得全局最优的阈值，让算法能使用更多的场景。

对于基于图像纹理复杂度来进行快速划分的算法，多种算法在判断时只使用了一种判断方法，判断方法比较单一，未来研究可以考虑结合绝对差均值、方差或者梯度多种方式综合分析图像纹理的复杂度，更加准确的进行CU划分，增加算法性能。

对于通过跳过划分过程来进行快速划分的算法，现有的研究中一般只考虑跳过一种划分过程。可以通过综合考虑CU的复杂度，完成多种划分过程的跳过、提前终止划分过程来获得时间上的节约，降低算法复杂度。

可以考虑多模态数据融合应用到帧内预测模块，如光流、深度图、语义信息等，并将这些信息与视频帧像素数据进行有效融合，以提高帧内预测的准确性和稳定性。可以考虑设计端到端的多模态数据融合网络，结合卷积神经网络和注意力机制等技术，实现对多种数据源的联合建模和综合利用，提升算法的适用性和效能。

还可以探索如何将图像超分辨率技术与帧内预测相结合，通过利用高分辨率图像信息来提高帧内预测的精度和准确性。可以设计新型的神经网络结构，实现在低分辨率视频帧上进行高分辨率预测，并结合运动估计等技术，优化预测结果。这种方法有望进一步提升编码的视觉质量和压缩效率。

7. 结论

帧内预测在VVC框架中扮演着至关重要的角色，对提高视频编码效率、画面质量和适应性具有显著的意义，是VVC标准实现高性能视频编码的重要组成部分。在本文中，先系统介绍了H.266/VVC视频框架，并从不同角度出发罗列了基于H.266/VVC视频框架的帧内预测的不同算法，通过对部分算法性能的比较，可以看出帧内预测算法的优劣，并据此提出对未来帧内预测方向工作的一些展望，对帧内预测方向研究有重大参考价值。

基金项目

项目号：11000301089项目名称：基于IP网络的音视频通信及大数据行为分析技术研究。