笔记说明

这是 USTC 软件学院 - 苏州 2023 秋季学期课程笔记（互联网版本）。本着藏着掖着发霉不如对外分享发光的精神，现将其公布。原本的笔记是卡片式的，为了便于互联网传播与收藏，现整合到同一篇文章当中。

这篇笔记的特点在于：

有机涵盖 PPT 内容，精心编排，存在本人的理解消化过程
有重点标识、考点标识、实际考察标识
存在一些习题以供复习
部分图片为作者手工制作，便于知识的理解和掌握

本笔记存在以下的符号定义：

🔺表示老师经常在课上提，为考试重点。
红色字体为部分实际考察内容（指的是 2023 秋季学期考试）。

本笔记的内容来源：

主要来源：课程 PPT。注意，笔记的章节顺序是经过梳理调整的，顺序不一定与 PPT 讲授过程相符。
参考补充：秃头学长的笔记，补充了一些练习题。

笔记共分为 12 个章节。由于作者水平、精力与时间有限，「时频映射」的两个 Slices 以及「H.264」的 PPT 仅记录部分关键内容，内容也较粗糙（打上了「落叶🍂」标记）。由于当时考试不考「MP4」，所以笔记里也不包含这个章节。

临考前老师列出了多媒体信号处理课程知识点（详看本课知识点小节）。在后续的章节中这些知识点将以「考点」标注，如下示例：

考点 X：[考点内容]

如果你有以下需求：

查看笔记源码
想导入到自己的双向笔记库中
习惯在 Github 上阅读
为笔记做贡献

可以访问本项目：

任何贡献都 Welcome！🎉🎉如果你有更新本笔记的想法（或者仅仅是纠错）可以通过邮件或评论区联系我！同时也期待你的 star~

导论（格式概览）

什么是多媒体？包括文字、视频、静态图像、动画、交互内容。应用于广告、艺术、教育

什么是信号处理？

系统工程、电子工程和应用数学领域
操作、分析模拟信号和数字信号
代表时空变化的物理量
典型的操作和应用：信号获取与重构、信号压缩、特征提取、质量提升（降噪，图像增强等）

🔺 数据压缩

无损压缩：识别并消除统计冗余，无信息丢失

LZW、Huffman coding（哈夫曼编码）、Arithmetic coding（算数编码）

有损压缩：识别并移除不重要的信息

Quantization（量化）、JPEG

数字容器格式 Digital Container Format

考点 1：音频、图像和视频的格式与容器

容器文件用做识别并交织不同数据形式。

容器格式部件的不同名称：

RIFF、PNG：chunks 块
QuickTime/MP4：atoms 原子
MPEG-TS：packets 包（来自通信术语）
JPEG：段

🎵 音频独有的容器：

AIFF（IFF 文件格式，在 Mac OS 平台上广泛使用）
WAV（RIFF 文件格式，在 Windows 平台上广泛使用）
XMF（可扩展音乐格式）

🖼 静态图像独有的容器：

TIFF (Tagged Image File Format，标记图像文件格式) 静止图像和关联的元数据。

其他可以接纳多种音视频类型或其他媒体的容器：

3GP (在许多手机中使用；基于 ISO 基本媒体文件格式，是 MP4 的变种）
ASF（Microsoft WMA 和 WMV 的容器）
AVI（标准的 Microsoft Windows 容器）
Flash Video (FLV, F4V) （来自 Adobe Systems 的视频和音频容器）
Matroska (MKV) （不限于任何编解码器或系统）
MJ2-Motion JPEG 2000 文件格式.
QuickTime File Format（Apple 的标准 QuickTime 视频容器）
MPEG program stream (standard container for MPEG-1 and MPEG-2 elementary streams)
MPEG-2 transport stream (a.k.a. MPEG-TS) (standard container for digital broadcasting and for transportation over unreliable media; used also on Blu-ray Disc video)
MP4 (standard audio and video container for the MPEG-4 multimedia portfolio)
Ogg (standard container for Xiph.org audio format Vorbis and video format Theora)
RM (RealMedia; standard container for RealVideo and RealAudio)

其他：SWF、RMVB

音频格式 🎵

非压缩的音频格式：WAVE、AIFF、Raw PCM

无损压缩格式：FLAC、Monkey’s audio (APE extension), Shorten, WMA Lossless

有损压缩格式：MP3, AAC, WMA, AC3

图像格式 🖼

RAW、BMP、JPEG、JPEG2000、GIF、PNG

视频格式 🎞

MPEG-1、MPEG-2、MPEG-4 visual/AVC、H.261、H.263、H.264

Advanced Video Coding（ISO）=H.264（ITO）

tea：H 开头一般和电信相关

视频压缩标准的历史详看视频编码小节。

BMP、WAV、AVI 格式

Windows Bitmap🖼

文件结构

考点 4：Windows Bitmap 文件结构

bfOffBits：是从位图文件头到位图数据的偏移量。即位图信息头 (BITMAPINFOHEADER)+ 全部颜色对照表 (RGBQUAD) 的字节数。

数据由代表位图的连续行或扫描线的字节值数组组成。每条扫描线由连续的字节组成，这些字节按从左到右的顺序代表扫描线中的像素。

代表扫描线的字节数取决于位图的宽度。

扫描线以 32bit 为边界，必须用 0 填充至末尾。

这意味着宽度为 8 位，20 位或 30 位的单色位图将具有相同的扫描线大小：32 位
40 位宽的单色位图将具有 64 位的扫描线大小。

Bitmap 中的扫描线是自底向上存的

数组中的第一个字节代表 bitmap 左下角
数组中的最后一个字节代表 bitmap 右上角

位图种类

灰度位图

每个像素使用 8 个比特（1 字节）。Info Header 中的 biBitCount 将为 8。
每个字节代表 256 种灰度阴影。白色为 FF，黑色为 00
实质上是 8-bit 彩色位图的特例。存在一个颜色表，其中条目 0 指向黑色，条目 255 指向白色，而介于两者之间的条目指向灰色阴影。对于一个给定大小的图像来说，8-bit 灰度位图和 8-bit 彩色位图是一样的

24-Bit 彩色位图

每个像素使用 24 个比特（3 个字节）。Info Header 中的 biBitCount 将为 24。
每个像素 3 个字节代表红绿蓝。白色 FFFFFF，黑色 000000，红色 FF0000，绿色 00FF00，蓝色 0000FF

8-Bit 彩色位图

每个像素使用 8 个比特，只有 256 种颜色，通过调色板实现
颜色表在 info header 和 Data 之间，每一对含有 4 个字节（R, G, B, 0x0）

颜色表：

WAV 格式 🎵

考点 5：WAVE 格式

考点 8：列出一个块的组件

WAV 是存储数字音频（waveform）的简单文件格式，使用了 RIFF 结构将文件内容分为不同的块（chunk）。

每个块均由标头和数据字节组成。

Header 指定块数据字节的类型和大小。

它支持各种 bit 分辨率、采样率和音频通道

流行于 Windows 平台，广泛应用于处理数字音频波形程序中

所有使用 WAV 的应用必须能够读取两个必要块（fmt、data），并且可以有选择的忽略可选块。

程序复制一个 WAV，应该复制 WAV 中所有的块，即使有一些块最后不会被解释

次序要求：在 WAV 文件中，除了 Format 块必须在 Data 块前外，块的顺序没有限制

注意，format 块也许不是第一个块。一个 WAV 文件通常有三个 chunk 以及一个可选 chunk，其在文件中的排列方式依次是：

RIFF chunk
Format chunk
Fact chunk（附加块，可选）
Data chunk

所有的数据都以 8 位字节存储，以小端形式存于字节中

「块（的）数据」和「数据块」不是一个概念：数据块有「块大小」和一些「块数据」，其他所有块也是如此。

组成

WAV 组成：不同类型的 chunk 的集合。每个块包含头及数据，头指定了块数据的类型和大小，一些类型的块可能含有子块。RIFF 文件块必须以 2 个字节（1 word）对齐。

【必含】fmt 块

fmt 块，采样格式，包含描述波形的参数，比如采样率、位分辨率和通道数

typedef struct {
    ID chunkID;                 // 块的标识。总是「fmt 」注意末尾有空格。
    long chunkSize;             // 块的大小（除去chunkID、chunkSize）
    short wFormatTag;           // 存储数据时使用的压缩方法
    unsigned short wChannels;   // 音频的通道数。 1:单声道; 4:四通道
    unsigned long dwSamplesPerSec;  // 采样率。标准：44.1KHZ 48KHZ 32KHZ 22.05KHZ 96KHZ
    unsigned long dwAvgBytesPerSec; // 每秒播放多少字节，用于估计RAM需要的大小。
                                    // 其值应等于 dwSamplesPerSec * wBlockAlign的上取
    unsigned short wBlockAlign; // 采样帧的大小（字节）
							    // 其值等于 wChannels * (wBitsPerSample / 8) 的上取
								// 例如：
								// 3个未压缩的通道组成一个块，每个通道2个字节，则Block align=6
    unsigned short wBitsPerSample;   // 采样点的位分辨率
    unsigned short cbSize;      // Size of the extension，扩展字段的长度
    // 也许有额外的域, 取决于 wFormatTag
} FormatChunk;

🔺wFormatTag 值	含义
0x0001	WAVE_FORMAT_PCM 未压缩的数据
0x0002	WAVE_FORMAT_ADPCM
0x0006	WAVE_FORMAT_ALAW （电话格式）
0x0007	WAVE_FORMAT_MULAW （电话格式）
0x55=85	WAVE_FORMAT_MP3

WAVEFORMATEXTENSIBLE 扩展的 WAVE 格式块

typedef struct {
    WAVEFORMATEX Format;
    union {
        WORD wValidBitsPerSample; // 信号精度的比特数
							      // 假设使用24bit，但只前20位有效，则wValidBitsPerSample=20
        WORD wSamplesPerBlock; // 一个音频压缩块数据的样本数
        WORD wReserved;
    } Samples;
    DWORD dwChannelMask; // 指定流中通道到扬声器位置的分配的位掩码
    GUID SubFormat; // 对每一个波形数据类型定义的 ID。例如WMA中不同压缩方式。
} WAVEFORMATEXTENSIBLE

位掩码 dwChannelMask：

用于超过 2 通道或 16 分辨率的音频数据：

wFormatTag = FFFE（-2）
cbSize = 24

以 6 通道 5.1 格式为例子：

WAVEFORMATPCMEX waveFormatPCMEx;
// FormatChunk
wFormatTag = WAVE_FORMAT_EXTENSIBLE; //FFFE
wChannels = 6;
dwSamplesPerSec = 48000L;
dwAvgBytesPerSec = 864000L;          // nBlkAlign * nSamp/Sec = 18 * 48000 
wBlockAlign = 18;
wBitsPerSample = 24;                 // Container has 3 bytes
cbSize = 22;
// 以下是拓展的域
wValidBitsPerSample = 20;            // Top 20 bits have data
dwChannelMask = KSAUDIO_SPEAKER_5POINT1;
// SPEAKER_FRONT_LEFT | SPEAKER_FRONT_RIGHT |
// SPEAKER_FRONT_CENTER |SPEAKER_LOW_FREQUENCY |
// SPEAKER_BACK_LEFT | SPEAKER_BACK_RIGHT
SubFormat = KSDATAFORMAT_SUBTYPE_PCM; // Specify PCM

【必含】data 块

音频数据，包含实际波形数据，比如所有通道的数据波形

typedef struct {
    ID chunkID;
    long chunkSize;
    unsigned char waveformData[];
} DataChunk;

交错立体声波样本：多通道采样存储于交错的波形数据中；8bit 样本采用无符号数据表示，其他样本使用有符号数据表示。

对于多声道声音，每个声道的单个采样点是交错的。一组交错的采样点称为一个采样帧。

假设存在两个通路，先存放 time1 的左通道和右通道数据，再存放 time2，以此类推。

其他

fact 块（详见音频编码基础小节的 ADPCM 章节）、cue 块

AVI 格式 🎵🎞

考点 3：AVI 容器

AVI 是另一种 RIFF，由微软开发

音视频交织，即视频段数据紧接音频数据。这允许媒体播放器以块来读数据而不是文件整体。

注意 AVI 是 Wave 格式，必须以两个字节（1 word）对齐，填充。解码时不需要考虑填充的数据。

索引目的：为了支持随机访问

考点 6：解释 FOURCC 中 “00dc”，“vids” 等标签的意思

🔺流列表中的四字节码：

vids：video stream
auds：audio stream
mp4v：MEPG4 visual

数据块可以直接驻留在 movi 列表中，或者被 res 列表包围。

🔺FOURCC，定义块中信息的类型：

db：未压缩的视频帧
dc：压缩的视频帧
wb：音频流

习题助记

What does fourcc code “vids” stands for?
What does fourcc code “auds” stands for?
What does fourcc code “00db” stands for?
What does fourcc code “01wb” stands for?
ln which scemarops is wFormatTag equal to -2 in a WAVE file?
音频通道大于 2，每一个抽样信号大于 16bit

音频编码基础

数字音频编码器：

输入：模拟音频信号
编码器：转换为方便地数字形式
存储、处理、传输
解码器：将数字数据转换为模拟信号

🔺音频编码目标：

保真度：解码器尽量提高感知的音频质量，减少失真
数据率：减少代表原始音频信号的数据量
复杂性：减少计算复杂性
延迟：减少编码延迟

PCM——最简单的编码器

量化是一种有损的过程。

在量化过程中使用的离散值数目越高，输出的信号越接近原始音频

CD：Compact Disc 激光唱片

考点 7：CD 的数据率

CD 的数据率：44.1k/s × 16 bit × 2 = 1.4112 Mb/s

采样：时间间隔 0.023ms（1/0.000023≈43.5k）或采样频率 44.1k。
每一个采样的比特数为 16bit，这种精度允许 65536 个离散电平来表示音频采样幅度。
2 个通路

潜在的编码错误

考点 9：潜在的编码错误

采样错误——混叠效应（抽样速率小于二倍带宽）
🔺量化错误：过载错误、截断错误（round-off）
比特错误：存储和传输错误

更复杂的编码器

心理声学表明，每个样本理想采样比特为 18-20bits 来描述中等频率（2~5kHz）的音频样本。

冗余：感知冗余、统计冗余

考点 10：有损压缩和无损压缩

有损压缩

有损压缩通过量化来实现。

量化

如果有 R 比特可以表示的最大数为 $2^R$ ，两种量化方法表示的不同样本/编码数为：

midtread 中平： $2^R-1$ ，一般来说效果较好，噪声抑制（小电频通常为噪声，Midtread 会过滤掉）
midrise 中升： $2^R$ ，噪声放大

考点 11：均匀量化和非均匀量化

均匀量化 Uniform Quantization

定义输入范围所需要的信息：

量化器是 midtread 还是 midrise
最大不过载的输入 $x_{max}$
描述编码的比特数 R

R 比特允许我们设置的输入范围：

midrise： $\Delta=2*x_{max}/2^R$
midtread： $\Delta=2*x_{max}/(2^R-1)$

非均匀量化 Nonuniform Quantization

均匀量化会存在截断误差（最大值为 $\Delta/2$ )，但是，相对于非常低的幅度信号，此误差可能会很大。由于截取失真的感知与相对误差更相关，因此这意味着均匀量化器在低功率输入信号上的表现要比在高功率信号上的差得多。 要解决此问题，可以使用非均匀量化。

压缩方法：

幂律压缩： $c_{power}(|x|)=|x|^p，0<p<1$ , (ACC 或 MP3 中 p=0.75）
对数压缩

量化错误 Quantization Errors：

量化误差： $q(t)=x_{out}(t)-x_{in}(t)$
信噪比 SNR（Signal-to-noise ratio） $SNR=10 \log{\frac{x_{in}^2}{q^2}}$
低量化误差对应于高信噪比

截断错误 Round-off Error：产生于将一定范围的信号振幅输入对应到单一编码中

过载错误 Overload Error：

出现原因：量化器接收的信号振幅（绝对值）过大
导致爆鸣（突突突的声音），为了避免它，通常把 $x_{max}$ 设置得足够大，但由于 R 比特数固定，这会导致截断错误。量化器设计要求在减少两种类型的误差之间取得平衡。

过载错误、截断错误属于量化错误。

无损压缩：熵编码

考点 12：熵和哈夫曼编码

翻译量化编码为一些代表符号，每个符号使用了一定数量的比特。

使一般的编码更短，从而降低平均的比特率。这需要估计每一个可能编码出现的概率。

比特率计算： $R = \sum_{i=1}^n{p_i \cdot L_i}$ ，其中 $p_i$ 表示编码出现的概率， $L_i$ 表示编码后的长度。

熵代表了编码的极限：

当我们能确保下一个输出编码是什么时，熵会变低；反之变高。

例：在 2 编码符号系统中，有

数学图像链接

当 p=0 或 1 时，熵为 0。我们知道下一个编码是什么，所以我们不需要发送任何 Bits。
当 p=0.5，熵为 1。当所有编码符号出现的概率相同时，达到最大熵。在这种情况下使用熵编码进行压缩没有效果。
对于其他概率，存在一种编码方式使得平均符号编码使用小于 1 个比特

哈夫曼编码

被用于传真、ASCII 文本数据编码压缩。

是一种统计学编码，平均编码长度最小。

编码长度可变，且越经常使用的字符编码长度越短。

特点：

编码过程不唯一（取决于分支的标记或合并符号的选择），但 WPL 相同（在这里指的是比特率 R）且最优
在符号分布概率不均匀的情况下，哈夫曼编码的比特数比固定比特编码方法少
霍夫曼码中每个样本的平均位数在熵的一位以内，即平均采样比特数范围：

Entropy\le <R>_{Huffman} \le Entropy + 1

WAVE MS-ADPCM

考点 13：MS-ADPCM

DPCM 差分脉冲编码调制：

以 PCM 为基线，增加了预测采样信号的功能。
与 PCM 直接传输原始 PCM 采样不同的是，DPCM 传输的是原始采样信号与预测值（基于先前采样）之间的差异： $diff=x_{n+1}-xp_{n+1}$
预测值计算举例： $xp_{n+1}=a*x_n+b*x_{n-1}$ ，a、b 为预测系数

diff 通常非常小，我们必须限制它的表示范围，如从 16bits 限制到 4bits。但我们也不能保证 diff 总是小的（如剧烈信号变化），为了解决这个问题，引入了 iDelta。如果 diff 非常大，则 iDelta 也会很大，反之亦然。

于是我们定义： $iErrordata = diff / iDelta$ ，这样新的差异值将会稳定。

iErrordata 以 4bit 保存，称为「nibble」，范围为 -8~7。每次新的 iErrordata 生成后，iDelta 相应做出改变。

iDelta = iDelta * AdaptableTable[(unsigned)nibble]/256;
const int AdaptationTable[ ] = {
230, 230, 230, 230, 307, 409, 512, 614,    // 对应nibble：
768, 614, 512, 409, 307, 230, 230, 230 };  // 对应nibble：

WAVEFORMAT

MS-ADPCM 的 wave 文件中，存在与 fmt 块和 data 块的另一种块：fact 块

fact 块存储采样长度
data 块中，数据以块的方式存储，一个接着一个
块有三个部分：头、数据和填充

编码过程

对于每个通道的每个块的编码过程：

决定块要使用的预测器
决定块的初始 idelta
输出块的头
编码并输出数据

块头写入：

对每一个通道，输出预测器的选择
对每一个通道，输出初始 idelta (量化比例)
对每一个通道，输出第一个采样的 16bit PCM 值
对每一个通道，输出第二个采样的 16bit PCM 值

然后剩下的块就可以进行编码。注意第一个编码的值是块的第三个采样，因为前两个已经包含在头中了。

当块中有许多采样需要进行编码，将采取下列步骤：

从前两个采样中预测下一个样本：

用预测系数计算会导致运算量增长，而除以 256 只需要移位，无浮点数除法

产生 4bit 有符号 error delta 以及避免上/下溢： $ierrordelta=\frac{sample(n)-Ipredsamp}{idelta}$ 并将 ierrordelta 的范围修剪至[-8,7]
于是输出 nibble ierrordelta=putnibble(ierrordelta)
把「预测错误」加到预测的下一个样本，并避免上/下溢： $Inewsamp=Ipredsample+(idelta*ierrordelta)$ 将其缩紧至 16bit（short）
调整用于计算「预测错误」的量化步长： $idelta=\frac{idelta*adaptiontable[ierrordelta]}{fixed\_point\_adaption\_base}$ 如果 idelta 过小，将其设为最小的合法值
更新先前样本的记录： $isamp2 = isamp1; isamp1 = Inewsample$

步骤 5 的目的是自适应量化步长。
步骤 4.6 是为了保持和解码端一致，真正预测时是通过编码解码后的信号。此时和解码端保持一致，使误差不会太大。

习题助记

1.What is audio CD rate?
44.1KHZ × 2 × 16bit/s = 1.411 Mbit
2.What are audio coding goals?
delity，rate，complexity，delay
3.List the components of a chunk.
header，data
4.What kind of quantization errors are there in audio coding?
overlode，round-off
5.What is the average number of bits per sample in a Huffman code?

图片和视频编码基础

🔺人类视觉系统对低频图像更敏感。

图形学中的高低频：图像的低频代表着轮廓信息，高频代表着细节信息，相位代表位置信息。

特定自然视频片段中与视频处理和压缩相关的特征：

空间特征：纹理变化、物体对象的数目和形状、颜色
时间特征：物体运动、光线变化、摄像机/视角变化

帧率：

每秒小于 10 帧：用于超低比特流视频通信
10~20 帧：典型低比特率视频通信
25~30 帧：电视图像标准
50~60 帧：平滑（高数据率）

考点 23：色彩空间

色彩空间：

单色图：仅需一个数字表示某一个空间采样的亮度
彩色图：至少需要三个数字才能准确表示某一个像素的颜色

代表亮度和色彩的方法称为色彩空间：

RGB 色彩空间：捕获和显示图像的恰当方法。RGB 色彩空间中三种颜色同样重要，通常分辨率也相同。彩色阴极射线管（CRT）和液晶显示器（LCD）应用 RGB。
YCbCy 色彩空间（YUV 色彩模型）

图像的视觉质量受采样点数量的影响。

YCbCr

🔺人类视觉系统对亮度更敏感（和颜色相比）

人眼的视杆细胞（感知亮度）比视锥细胞（感知色彩）数量多。

色彩空间

在 RGB 颜色空间中，这三种颜色同等重要，因此通常都以相同的分辨率存储。

YCbCr 区分亮度和色度，亮度具有更高的分辨率。

Y：亮度（luma），RGB 的加权平均， $Y=k_rR+k_gG+k_bB, k_g = 1-k_b-k_r$

Cb：彩度蓝

Cr：彩度红

每一个色度是 R、G、B、Y 之间的差异

为了降低存储和传输需求，可以将 RGB 图像转换为 YCbCr 图像

ITU-R 建议的系数定义： $k_b=0.114, k_r=0.299$

采样格式

为了利用人眼对亮度和色度的不同敏感性，将视频信号转换为亮度/色彩空间时，可以对色度进行空间上的次采样或低通滤波

4:4:4 采样

Y，Cb 和 Cr 有着相同的分辨率。因此每一个分量存在于任何位置的像素上

4:2:2 采样

色度组件的垂直分辨率与亮度相同，但水平分辨率只有亮度的一半。

用于高质量彩色录制。

4:2:0 采样

Cb 和 Cr 的水平和垂直分辨率都是 Y 的一半。

广泛用于消费类应用，如视频会议、DVD。

需要的采样数（比特）是 4:4:4 视频（或 RGB 视频）的一半。

为什么不叫做 4:1:1 采样？
因为在历史上 4:1:1 采样已被用于指代这种采样：

例子：

视频帧格式

考点 24：视频帧格式

在进行压缩和传输之前，捕获的视频会被捕获或转换为一组“中间格式”之一。

常见的中间格式（CIF）是一组流行格式的基础。

质量评估

主观测量——ITU-R 500

通常采用的手段：双刺激连续质量量表（Double Stimulus Continuous Quality Scale）

花费昂贵，耗时长

客观质量测量

峰值信噪比 ( PSNR ) 用于表示信号的最大可能功率与影响其表示的保真度的破坏噪声的功率之间的比率。虽然较高的 PSNR 通常表明重建质量较高，但在某些情况下可能并非如此，必须非常小心该指标的有效性范围。只有当它用于比较来自相同编解码器和相同内容的结果时，它才是最终有效的。一般来说，在估计图像质量，尤其是人类感知的视频质量时，与其他质量指标相比，PSNR 表现不佳。

运用最广泛的是峰值信噪比（Peak Signal to Noise Ratio, PSNR）

\begin{aligned} {PSNR}_{dB} =& 10 \log_{10}{\frac{(2^n-1)^2}{MSE}} \\ SNR=&10 \log{\frac{x_{in}^2}{q^2}} \end{aligned}

MSE：原始图像和受损图像或视频帧之间的均方误差

图像视频处理准则

考点 25：图像视频处理准则：四种类型冗余度

目标是减少信号中存在的冗余（🔺视频编码的四种冗余度）：

时间冗余度（Temporal redundancy）：两帧相像
空间冗余度（Spatial redundancy）：两点相像
统计冗余度（Perceptual redundancy）
感知冗余度（Statistical redundancy）

JPEG 图像压缩

基本流程：

在 JPEG 压缩中，图像被划分为 8×8 像素的块，然后对每个块进行 2-D 离散余弦转换（DCT）。
DCT 将像素块中的大多数信号压缩为小的 DCT 系数部分。
量化这些 DCT 系数将使得它们大部分转化为 0。
这些被量化的系数以之字形进行扫描，再进行游程编码和哈夫曼编码。

帧内帧间预测

每一帧可以都被编码为分开的图像，例如对每一帧独立应用类似 JPEG 的编码。

视频压缩通过利用时间冗余或帧间相似性达到比图片更好的压缩效果。

考点 26：视频编码中，编码帧的三种基本类型

🔺编码帧的三种基本类型：

帧内编码帧（I - 帧）：独立于于所有其他帧进行编码
预测编码帧（P - 帧）：基于先前编码的帧进行编码
双向预测帧（B - 帧）：基于先前帧和未来帧进行编码

运动估计与补偿

考点 27：运动估计和补偿

为了最大限度利用相邻帧的可预测性，在运动补偿过程中估算两帧之间的移动并形成正确预测是非常重要的。

估计帧与帧之间运动的过程称为运动估计；基于先前编码的参考帧预测给定帧，同时补偿两帧之间的相对运动的过程称为运动补偿预测 (MC-prediction)。

基于块的的运动估计补偿

对于当前帧 M×N 样本的每个块：

在参考帧中搜索一个区域，以找到一个“匹配”的 M×N 样本区域
被选中的候选区域称为当前块的预测块，并将其与当前块相减，得到残差
将残差块编译传输，当前块和候选位置区域之间的偏移（运动向量）也将被传输

运动补偿块的大小

子像素运动补偿

一个更好的运动补偿预测可以由参考帧中的差值样本位置构建。

分像素运动估计补偿引入查找分样本差值位置和整样本位置，选择最匹配的位置，并使用该位置的整数或子样本值进行运动补偿预测。

过程：

在整样本网格（圆圈标记）中找到最佳匹配
搜索紧挨着最佳匹配（方块标记）的半样本位置。
如果需要，则搜索最佳半样本位置（三角形标记）旁边的四分之一样本位置

预测越精确，残差越小，motion vector 数据量增加。

随着插补步骤的增加，性能增益趋于减小：

与整样本运动补偿相比，半样本插值具有显著的增益。
四分之一样本插值有一定适度改进。
8 个样本插值改进更小，以此类推。

与更复杂的运动补偿方案相关的压缩效率权衡：更精确的运动补偿需要更多的比特来编码向量域，但编码残差比特数更少；反之亦然。

图像模型

转换：压缩数据并去相关
量化：降低传输数据的精确度
重新排序：组织数据以合并重要值
预测图像编码

预测图像编码

空间预测，以 DPCM 为例：

编码预测：prediction P(X) = (2A+B+C)/4
残差计算：R(X) = X-P(X) ，然后编码并传输 R(X)
解码器解码残差并形成预测：P(X) = (2A+B+C)/4
重建像素：X = R(X) + P(X)

转换编码

转换后的数据应当去相关且被压缩：在转换后的数据中，大多数的信息应当被集中于少量的值中。

转换应当可逆。

转换应当容易计算：低内存需求、可使用有限精度算法实现、算数操作数低

目前有许多转换：KLT，SVD，DCT

在 N×N 样本块中，DCT 始终受欢迎，且图像一直在块单元中被处理。

运动补偿残差往往会受到块边缘的伪影（blockiness）的影响。

对整个图像或帧做的基于图像的转换操作有：

图像传输（离散小波变换 DWT）胜过静态图像压缩的块传输（JPEG2000）
DWT 需要更高的内存需求（尤其是大图像），因为是以整个图像作为一个单元处理图像的
DWT 并不“适合”基于块的运动补偿

2D-DCT

正向离散余弦转换： $Y=AXA^T$

逆 DCT（IDCT）： $X=A^TYA$

X 为 N×N 样本块，Y 为系数矩阵，A 为 N×N 传输矩阵

例子：N=4，有 A：

DCT 系数的特征

FDCT 输出是一组 N×N 的系数，表示 DCT 域中的图像块数据。

DCT 自身保存所有 N×N 图像块中的信息。

人眼对低频 DCT 参数更加敏感。

DCT 有助于将感知上重要的信息与感知上不重要的信息分离开来。

用更高的精度编码低频的 DCT 信息，但使用更少或不使用比特来编码高频系数，从而丢弃在感知上不太重要的信息。

在计算 IDCT 之前添加更多的系数，会逐渐提高原始区块的重建精度，到包含五个系数时，重建的区块与原始区块的匹配程度相当接近。

可以从 16 个 DCT 系数的子集中重建块的近似副本。

DCT 计算复杂性

在典型的 DSP 上，单个 8×8 DCT 或 IDCT 需要几百个指令周期。

以 CIF (352×288) 分辨率和 30 fps 帧率运行的解码器可能需要高达 71,280 IDCT /秒。

IDCT 计算可占用高达 30% 的视频解码器编译周期。

由于 DCT 和 IDCT 在小图像块上操作，因此内存需求相当小，与图像和视频压缩应用程序中的帧缓冲区和其他数据的大小相比，通常可以忽略不计。

DCT 和 IDCT 函数的高计算需求和小内存需求使它们成为使用专用硬件加速器实现的理想候选者。

量化

\begin{aligned} FQ = &round\left( \frac{X}{QP} \right) \\ Y=&FQ\cdot QP \end{aligned}

QP 表示量化步长。

量化用于丢弃感知上不重要的信息。

量化后，使用统计方法对剩余信息进行编码，从而使用尽可能少的比特。

量化和去量化对内存的要求通常可以忽略不计。

游程编码（RLC）

量化后，绝大多数高频 DCT 系数为零。

游程编码：

将连续的 0 值系数成组（一个游程）
编码 0 的个数（长度），不编码单独 0 系数

为了使连续零值系数的平均值尽可能高，我们以对角之字形的方式扫描 DCT 系数矩阵。

游程编码（RLC，Run-length coding）之后通常是可变长度编码（VLC）。

重新排序

重排序是将非零系数组合在一起，实现有效地表示零系数

可变长度编码（VLC）

一对（游程，量化 DCT 系数）的每个可能值称为一个符号。

常见的符号被分配较短的码字，而不常见的符号被分配较长的码字。

VLC 的一个缺点是编码图像中间的比特误差会阻止解码器正确重建剩余的比特流。

通过在整个编码比特流中散布“重新同步标记”，解码器能够在发生错误时搜索下一个重新同步标记以进行同步。

视频编码结构

通用视频编码模型

编码数据流

编码器的两个主要的数据流路径：从左到右（编码）、从右到左（重建）。

编码流：

输入视频帧 Fn 用于编码，并以宏块为单位进行处理
Fn 和参考帧（如前编码帧 F’n-1）对比。运动估计函数在 F’n-1 中 16×16 的区域，查找出一个 Fn 中当前宏块的一个匹配。当前宏块位置和被选中的参考区域的偏移为一个移动向量（MV，motion vector）
基于被选中的 MV，生成运动补偿预测 P（被运动估计器选择的 16×16 区域）
当前宏块中减去 P 产生残差或 difference 宏块 D。

数据重建流：

解码数据流

解码数据流：

习题助记

Write down the full name of ADPCM in English
Adaptive Differential Pulse Code Modulation
List the four types of redundancy used in video coding
时间、空间、感知、统计
What is the sample resolution of CIF
352×288
Write down the formula of PSNR
ln video coding , there are three basic types of coded frames, what are they?
I P B
What is the purpose of DCT?
去相关，使数据更紧凑
What is the purpose of Zigzag Scan or reordering?
是将非零系数组合在一起并有效地表示零系数
What is the purpose of quantization?
量化用于丢弃感知上无关紧要的信息
In motion estimation and compensation, what kind of redundancy is used in video coding?
temporal 时间冗余
In 010 editor template, the following variable is defined at the beginning: char type[4];
The variable type is mapped to 0 bytes 3 to in the file.

本小节参考链接

JPEG 图像编码

Baseline 方法是迄今为止实现最广泛的 JPEG 方法。

基于 DCT 的编码/解码过程

编码过程：

输入的组件样本为 8×8 块
每个块被前向 DCT（FDCT）转换为一组 64 个值，作为 DCT 系数。
a. 第一个值称为 DC 系数
b. 其他 63 个值为 AC 系数
然后使用量化表中 64 个对应值中的一个对 64 个系数中的每个系数进行量化
然后将量化系数传递给熵编码过程，以进一步压缩

解码过程：

熵解码器解码之字形的量化 DCT 系数
解量化后，通过反向 DCT（IDCT）将 DCT 系数转化为 8*8 样本块

前向 DCT（FDCT）

在编码器的输入中，原图像采样以 8×8 块成组，从无符号整数 $[0,2^P-1]$ 的范围转换为有符号整数 $[-2^{P-1},2^{P-1}-1]$ ，然后输入到 FDCT 中：

其中，

\begin{aligned} C(u),C(v)=&1/\sqrt{ 2 }, &when~u,v=0\\ C(u),C(v)=&1,&other~conditions \end{aligned}

反向 DCT（IDCT）

解码器的输出中，IDCT 输出 8×8 采样块以形成重构图片：

其中，

\begin{aligned} C(u),C(v)=&1/\sqrt{ 2 }, &when~ u,v=0\\ C(u),C(v)=&1,&other ~conditions \end{aligned}

块样本和 DCT 系数的关系

对一个块进行前向 DCT 计算后，64 个 DCT 系数结果被均匀量化器量化
每一个系数 $S_{vu}$ 的量化器步长为对应量化表中的元素 $Q_{vu}$

DC 编码

相邻的 8×8 块之间的 DC 系数通常有着强烈的关联性。量化的 DC 系数被编码为与前块的 DC 项的差值。这种特殊处理是值得的，因为 DC 系数包含了总图像能量的很大一部分。

之字形扫描

所有的量化系数将以之字形顺序进行组织，将低频系数（一般为非 0）放置在高频系数前，以便于进行熵编码。

压缩与图像质量

对于较复杂场景的彩色图像，所有基于 DCT 的操作模式通常会产生以下级别的图像质量：

0.25-0.5 比特/像素：中等至良好质量
0.5-0.75 比特/像素：良好至优秀质量
0.75-1.5 比特/像素：杰出质量，满足大多数的应用
1.5-2.0 比特/像素：和原图相差无几，满足有高质量需求的应用

根据源特性和场景内容的不同，质量和压缩会有很大的不同。

具有多个组件的源图像

源图像可能包含 1~255 个图像组件。每一个组件包含样本的矩形数组。

样本被定义为一个 $[0, 2^{P-1}]$ 范围的无符号整数。

图像中的所有样本必须有着相同的精度 P，对于基于 DCT 的编解码器，P 可以是 8 或 12。

多组件交织

许多应用程序需要将显示/打印多组件图像的过程与解压过程并行。

这只有在组件在压缩数据流中交织在一起时才可行。

编码交错：如果编码器从 a 压缩一个数据单元，从 B 压缩一个数据单元，从 C 压缩一个数据单元，然后返回到 a…

不同维度的组件交织顺序

上例中，B、C 在水平方向上与 A 相比少了一半样本。在这个例子中，A 的两个数据单元和 B、C 的各一个单元进行交织。

考点 28：JPEG 编码与解码过程：最小编码单元、操作模式、DC 熵编码、AC 熵编码、游程、SIZE、EOB

最小编码单元 MCU

在基于 DCT 的编解码器中，数据单元是一个 8x8 的样本块。

最小编码单元 MCU：最小的交错数据单元组。对于非交错数据，MCU 是一个数据单元。对于交错数据，MCU 是由扫描中组件的采样因子定义的数据单元序列。交错数据是 MCU 的有序序列，MCU 中包含的数据单元数由交错的元件数及其相对采样因子决定。

当两个或更多的组件进行交织时，每一个组件 $C_i$ 被 $V_i$ 个数据单元划分为 $H_i$ 的矩形区域。最大的组件交织数为 4，且每个 MCU 的数据单元最大值为 10：

1
2
3

ubyte forbidden_bit: 1; // set to 0
ubyte nal_ref_idc:2; // the level of priority
ubyte nal_unit_type:5; // NAL type

|Type|Defintion| |---|---| |0|Undefined| |1|Slice layer without partitioning non IDR（instaneous decoding refresh 立即编码刷新）| |2|Slice data partition A layer （Partition A：片头信息，片里面宏块头信息，最重要）| |3|Slice data partition B layer （Partition B：帧内编码的数据）| |4|Slice data partition C layer （Partition C：帧间编码的数据）| |5|Slice layer without partitioning IDR| |6|Additional information (SEI) 时间信息| |7|Sequence parameter set 序列参数集（序列编号、帧数、参考帧数目、图像大小、场模式）| |8|Picture parameter set 图像参数集（图像编号、熵编码方式、条带数目、初始量化步长）| |9|Access unit delimiter| |10|End of sequence| |11|End of stream| |12|Filler data| |13..23|Reserved| |24..31|Undefined| ![image.png](https://cdn.gallery.uuanqin.top/img/20231110235130.webp) ## 参考图片 H.264 编码器可以使用一到两个先前编码的图片作为参考，用于对每个帧间编码的宏块或宏块分区进行运动补偿预测。这使得编码器可以从比先前编码的图片更广泛的图片集中搜索当前宏块分区的最佳匹配。编码器和解码器各自维护一个或两个参考图片列表，其中包含先前已编码和解码的图片（出现在当前图片之前和/或之后的显示顺序中）。 - P 帧中的帧间编码的宏块和宏块分区是从单个列表（列表 0）中的图片进行预测的。 - B 帧中的帧间编码的宏块和宏块分区可以从两个列表（列表 0 和列表 1）中的图片进行预测。 ## Slices 一个视频图像被编码为一个或多个切片，每个切片包含从 1 个宏块到图像中的总宏块数的整数个宏块（每个图像一个切片）。切片中的宏块数不需要在图像内是恒定的。编码切片之间的相互依赖性很小，这有助于限制错误的传播。符合基准配置的比特流包含编码的 I 和/或 P 切片： - I 切片只包含帧内编码的宏块（从同一切片中先前编码的样本进行预测）； - P 切片可以包含帧间编码的宏块（从先前编码的图片中的样本进行预测）、帧内编码的宏块或跳过的宏块。编码图像可以由不同类型的切片组成： - 基准档次的编码图像可以包含 I 和 P 切片的混合； - 主档次或扩展档次的图像可以包含 I、P 和 B 切片的混合。切片数据包括切片头、一系列编码的宏块和/或跳过的宏块的指示。切片头定义了切片类型和切片所属的编码图像，并可能包含与参考图片管理相关的指令。 > [!hint] 考点 34：帧内预测、运动向量预测、帧间预测 > [!hint] 考点 35：H.264 的 DCT 变换 > [!hint] 考点 36：熵编码：指数格罗姆编码和 CAVLC ## CAVLC 这是用于编码变换系数的残差和之字形有序块的方法。 ![image.png](https://cdn.gallery.uuanqin.top/img/20231111134717.webp) CAVLC（Context-Adaptive Variable Length Coding）旨在利用量化的 4×4 块的几个特点： * 在预测、变换和量化之后，块通常是稀疏的（主要包含零）。 * 在之字形扫描后，最高的非零系数通常是 +/-1 的序列。 * 相邻块中的非零系数的数量是相关的。 * 非零系数的级别（幅度）在之字形扫描开始时往往较高，并且随着频率增高而降低。对一块变换系数进行 CAVLC 编码的过程如下： 1. 编码系数的数量和尾部的 1。 2. 编码每个尾部 1 的符号。 3. 编码剩余非零系数的级别。 4. 编码最后一个系数之前的零的总数。 5. 编码每个零的连续出现次数。 1. 编码系数的数量和尾部的 1 第一步是编码非零系数的总数（NumCoef）和尾部的 1（T1s）。 NumCoef 的取值范围可以是从 0（4x4 块中没有系数）到 16（16 个非零系数）。 T1s 的取值范围可以是从 0 到 3。如果尾部的 +/- 1 的个数超过 3 个，只有最后 3 个被视为“特殊情况”，其他的被编码为普通系数。例如：4x4 块 ![image.png](https://cdn.gallery.uuanqin.top/img/20231111135021.webp) The Num-Coef = 7, and T1s = 3 用于编码 Num_Coeff 和 T1 的四个表格分别是 Num-VLC0、Num-VLC1、Num-VLC2 和 FLC。 Num-VLC0： ![image.png](https://cdn.gallery.uuanqin.top/img/20231111135118.webp) 表格的选择取决于先前编码块中，上方和左方的非零系数的数量 NU 和 NL。参数 N 的计算如下： * 如果块 U 和 L 都可用（即在同一个编码片中），N = (NU + NL) / 2。 * 如果只有块 U 可用，N = NU。 * 如果只有块 L 可用，N = NL。 * 如果两者都不可用，N = 0。表格的选择基于以下方式中的 N 值： | N | Selected Table | | -------------------- | --------------------------- | | 0,1 | Num-VLC0 | | 2,3 | Num-VLC1 | | 4,5,6,7 | Num-VLC2 | | 8 or above | FLC | FLC 的形式如下：xxxxyy（即 6 位）其中 xxxx 和 yy 分别表示 Num_Coeff 和 T1。 2. 对每个 T1 编码其尾随 1 的符号对于每个 T1，一个比特位编码其符号（0 表示正，1 表示负）。这些符号按照逆序编码，从最高频率的 T1 开始。 3. 对剩余的非零系数编码其级别（符号和大小）  块中每个剩余的非零系数的级别（符号和大小）按照逆序进行编码。  选择用于编码每个级别的 VLC 表根据每个连续编码级别的大小进行自适应调整（上下文自适应）。  有 7 个可供选择的 VLC 表，从 Level_VLC0 到 Level_VLC6。  Level_VLC0 偏向较低的大小，Level_VLC1 偏向稍高的大小，依此类推。  初始化表格为 Level_VLC0（除非非零系数超过 10 个且尾随 1 少于 3 个，在这种情况下从 Level_VLC1 开始）。  编码最高频率的非零系数。  如果该系数的大小大于预定义的阈值，则切换到下一个 VLC 表。 ![image.png](https://cdn.gallery.uuanqin.top/img/20231111135814.webp)  级别的选择与最近编码的系数的大小相匹配。阈值列在表中；  第一个阈值为零，这意味着在编码第一个系数级别之后，表总是递增。 4. 编码最后一个系数之前的零的总数。以下是用于编码最后一个系数之前的零的总数（TotZeros）的表格。 ![image.png](https://cdn.gallery.uuanqin.top/img/20231111135924.webp) ![image.png](https://cdn.gallery.uuanqin.top/img/20231111135948.webp) 5. 编码每个零的连续出现次数在每个非零系数之前的零的数量（run_before）按照逆序进行编码。对于每个非零系数，除了以下两种情况外，都会编码一个 run_before 参数： (a) 如果没有更多的零需要编码； (b) 对于最后（最低频率）的非零系数，不需要编码 run_before。每个零的连续出现次数的 VLC 表的选择取决于： (a) 尚未编码的零的数量（ZerosLeft）； (b) run_before。 ![image.png](https://cdn.gallery.uuanqin.top/img/20231111140035.webp) 例子： ![image.png](https://cdn.gallery.uuanqin.top/img/20231111140120.webp) 考虑以下 4×4 帧间残差块块的 Zigzag 重新排序如下所示： 0,3,0,1,-1,-1,0,1,0,0,0,0,0,0,0,0 因此，NumCoeff=5，TotZero=3，T1s=3 假设 N=1 编码： ![image.png](https://cdn.gallery.uuanqin.top/img/20231111140327.webp) 解码： ![image.png](https://cdn.gallery.uuanqin.top/img/20231111140403.webp) # 心理声学模型 > [!Hint] 考点 19：心理声学模型：频域掩蔽、时域掩蔽、听觉阈值、SMR、关键带宽、巴克刻度、感知熵 ## 声压等级 Sound Pressure Levels 声音以压力波的形式到达人耳。声压 $p$ 在 $[10^-5,10^2]$Pa 范围之间变化。声压等级 SPL，单位 dB：

SPL= 10 \log_{10}{\left( \frac{p}{p_{0}} \right)^2}, p_{0}=20\mu Pa

p0 为音频在 2kHz 左右的听觉阈值处的声压。 声音也可以被声音强度 $I$ 来描述，表示声波单位面积的功率，与 p 的平方成正比。 声压等级 SPL 也可以被定义为：

SPL= 10 \log_{10}{\left( \frac{I}{I_{0}} \right)}, I_{0}=10^{-12}W/m2

// 音频帧
frame()
{
	header()
	error_check()
	audio_data() // 音频数据
	ancillary_data()
}

### Header 一开始的 32 位（4 字节）是头部信息。 ![image.png](https://cdn.gallery.uuanqin.top/img/20231110132753.webp)

header()
{
	syncword           12 bits bslbf // 12个1
	ID                 1  bit  bslbf // 表明算法的ID。1表示MPEG音频，0做保留
	layer              2  bits bslbf // 表明使用的层级。
									 // 11：Layer I；   10 Layer II
									 // 01：Layer III； 00 保留
	protection_bit     1  bit  bslbf // 指示是否在音频比特流中增加了冗余，以方便错误检测。
									 // 1：没有冗余，0：增加了冗余
	bitrate_index      4  bits bslbf // 指示比特率。全0表示'free format'，
									 // 可以使用不出现在列表中的固定比特率
	sampling_frequency 2  bits bslbf // 抽样频率
	padding_bit        1  bit  bslbf // 1：帧包含额外的槽以调整平均比特率到采样频率，否则为0。
									 // padding只在44.1kHz采样频率下才有必要使用。
	private_bit        1  bit  bslbf // 私用比特。未来ISO将不再使用。
	mode               2  bits bslbf 
	mode_extension     2  bits bslbf // 用于联合立体声模式中（mode='01'）
									// 指名应用哪种联合立体声编码方法类型。
									//该算法中隐含了应用强度立体声模式和ms_stereo模式的频率范围
	copyright          1  bit  bslbf // 0:编码的比特流没有版权，1：存在版权保护
	original/home      1  bit  bslbf // 0：比特流为副本，1：比特流为原始版本
	emphasis           2  bits bslbf // 加重的信息。表明解加重需要使用的类型。
}

| bit_rate_index | bit rate | | -------------- | -------- | |'0000'| free| |'0001' |32 kbit/s| |'0010'| 40 kbit/s| |'0011'| 48 kbit/s| |'0100'| 56 kbit/s| |'0101' |64 kbit/s| |'0110'| 80 kbit/s| |'0111' |96 kbit/s| |'1000' |112 kbit/s| |'1001' |128 kbit/s| |'1010'| 160 kbit/s| |'1011' |192 kbit/s| |'1100' |224 kbit/s| |'1101' |256 kbit/s| |'1110' |320 kbit/s| |'1111'| forbidden| sampling_frequency 抽样频率： | | MPEG-1 | MPEG-2 | | --- | ------ | ------ | |'00' |44.1kHz |22.05kHz| |'01' |48 kHz| 24kHz| |'10'| 32 kHz |16kHz| |'11' |reserved |reserved| mode： | | | | ---- | ---------------------------------------------------------------------------------- | | '00' | stereo 立体声 | | '01' | joint_stereo 联合立体声 (intensity_stereo 增强立体声 and/or ms_stereo) ms->mid-size | | '10' | dual_channel | | '11' | single_channel 单通道 | mode_extension： | | intensity_stereo | ms_stereo | | ---- | ---------------- | --------- | | '00' | off | off | | '01' | on | off | | '10' | off | on | | '11' | on | on | emphasis： | | | | ---- | ------------------------ | | '00' | no emphasis | | '01' | 50/15 microsec. emphasis | | '10' | reserved | | '11' | CCITT J.17 | ### ErrorCheck

error_check()
{
	if (protection_bit==0) // 在Header中
		crc_check 16 bits rpchof
}

### Audio Data 每一个音频帧包含来自 1 到 2 个音频 granules 的压缩数据。每一个 granule 由 18\*32 子带样本组成帧中的音频数据以下面的方式进行分配： - main_data_begin pointer - side info for both granules (scfsi) - side info granule 1 - side info granule 2 - scalefactors and Huffman code data granule 1 - scalefactors and Huffman code data granule 2 #### 边信息

audio_data(){
	main_data_begin  9 bits uimsbf // main-data-begin 的值用于确定帧的主数据的第一个比特的位置。它将该位置指定为相对于音频同步字节的负偏移量（以字节为单位）
	if (mode == single_channel)	{
		private_bits 5 bits bslbf // 用于私有用途的位。这些位在ISO的未来不会被使用。
		// scfsi_band 控制着尺度因子组（scfsi_bands）的尺度因子选择信息的使用。
		for (scfsi_band=0; scfsi_band<4; scfsi_band++)
			scfsi[scfsi_band] 1 bits bslbf // 尺度因子选择信息。
										   // scfsi 控制着对于每个粒度是否传输尺度因子： 
										   // '0' 对于每个粒度都传输尺度因子。 
										   // '1' 对于粒度0传输的尺度因子也适用于粒度1。
		for (gr=0; gr<2; gr++) 	{
			part2_3_length[gr] 12 bits uimsbf
			// 该值包含用于尺度因子和Huffman编码数据的主数据比特数。
			// 由于边信息的长度始终相同，可以使用该值来计算每个粒度的主要信息的起始位置
			// 以及辅助信息的位置（如果使用）。
			// part2_length - 该值包含用于尺度因子的主数据比特数。
			big_values[gr] 9 bits uimsbf // 每个粒度的频谱值使用不同的Huffman编码表进行编码。
							// 完整的频率范围被分成几个区域，然后使用不同的Huffman表进行编码。
			global_gain[gr] 8 bits uimsbf // 全局量化步长
			scalefac_compress[gr] 4 bits bslbf // 选择用于比例因子传输的位数。
			blocksplit_flag[gr] 1 bit bslbf // 表示该块使用非正常（类型0）的窗口。
		}
	}
	if (blocksplit_flag[gr]){
		block_type[gr] 2 bits bslbf // 指示实际粒度的窗口类型。
		switch_point[gr] 1 bits uimsbf // 表示短/长变换的分割点。
		for (region=0; region<2; region++)
			table_select[region][gr] 5 bits bslbf // 指定用于压缩特定量化MDCT区域的Huffman编码表。
		for (window=0; window<3; window++)
			subblock_gain[window][gr] 3 bits uimsbf // 表示一个子块相对于全局增益的增益偏移量。仅在块类型2（短窗口）中使用。
	}
	else{
		for (region=0; region<3; region++)
			table_select[region][gr] 5 bits bslbf
			// region_address1[gr]，region_address2[gr]
			// 对频谱进行进一步分区，以增强Huffman编码器的性能。
			// 这是对big_values区域的细分。这个细分的目的是获得更好的错误鲁棒性（tea：这一点表示怀疑）和更好的编码效率。使用三个区域。
			// 每个区域根据最大量化值和局部信号统计使用不同的Huffman编码表进行编码。
			region_address1[gr] 4 bits bslbf
			region_address2[gr] 3 bits bslbf
		}
		preflag[gr] 1 bit bslbf // 这是对量化值进行额外高频放大的快捷方式。
		scalefac_scale[gr] 1 bit bslbf // 比例因子按对数方式进行量化，步长为2，取决于scalefac_scale的值。
		// scalefac_scale = 0，步长为sqrt(2) 
		// scalefac_scale = 1，步长为2
		count1table_select[gr] 1 bit bslbf // 此标志选择两个可能的Huffman编码表之一，用于幅度不超过1的量化值四元组的区域。
	}

| scfsi_band | scalefactor bands | | ---------- | ----------------- | |0| 0,1,2,3,4,5,| |1| 6,7,8,9,10,| |2 |11 ... 15| |3| 16 ... 20| ![image.png](https://cdn.gallery.uuanqin.top/img/20231110194611.webp) 在长窗口的情况下，slen1 是用于比例因子带 0-10 的比例因子的长度。slen2 是用于比例因子带 11-21 的比例因子的长度。 | scalefac_compress | slen1 | slen2 | | ----------------- | ----- | ----- | |0 |0 |0| |1 |0 |1| |2| 0 |2| |3 |0 |3| |4| 3 |0| |5| 1 |1| |6 |1 |2| |7 |1 |3| |8| 2 |1| |9| 2 |2| |10 |2| 3| |11| 3 |1| |12| 3| 2| |13 |3 |3| |14| 4 |2| |15| 4| 3| #### Main Data

for (gr=0; gr<2; gr++)
	if (blocksplit_flag[gr] == 1 && block_type[gr] == 2){
		for (cb=0; cb<switch_point_l[gr]; cb++)
		if (scfsi[cb]==0) || (gr==0)
			scalefac[cb][gr] 0..4 bits uimsbf
		for (cb=switch_point_s[gr]; cb<cblimit_short; cb++)
			for (window=0; window<3; window++)
			if (scfsi[cb]==0) || (gr==0)
				scalefac[cb][window][gr] 0..4 bits uimsbf
	}
	else
		for (cb=0; cb<cblimit; cb++)
			if (scfsi[cb]==0) || (gr==0)
				scalefac[cb][gr] 0..4 bits uimsbf
				Huffmancodebits (part2_3_length-part2_length) bits bslbf
				while (position != main_data_end){
					ancillary_bit 1 bit bslbf
				}
			}

`scalefac[cb][gr]` - 比例因子用于给量化噪声上色。如果量化噪声被正确形状的颜色掩盖，它将完全被掩盖。编码器和解码器使用比例因子来获取数值块的除法因子。这些块延伸到多个频率线上。这些块被称为比例因子带，被选择得尽可能接近临界带。比例因子压缩表显示，比例因子 0...10 的范围为 0 到 15（最大长度为 4 位），比例因子 11...21 的范围为 0 到 7（最大长度为 3 位）。将频谱细分为比例因子带对于每个块长度和采样频率是固定的，并存储在编码器和解码器的表中。 `Huffman_code_bits` - 伪函数 - 所有绝对值小于等于 15 的量化值直接使用 Huffman 编码进行编码。总是对值 (x,y) 进行编码。 - 如果发现幅度大于 15 的量化值，则使用 ESC 码来标记这些值。 - 如果一对值中的一个或两个值不为零，则在 Huffman 编码字后附加一个或两个符号位。 `hcod[|x|][|y|]` 是值 x、y 的 Huffman 编码表条目。 `hlen[|x|][|y|]` 是值 x、y 的 Huffman 长度表条目。 `max_table_entry` 是最大的表条目索引。这是一个系统常量（15，单个表中的最大条目数为 256）。 `signx` 是第一个值的符号（如果为正，则为 0；如果为负，则为 1）。 `signy` 是第二个值的符号（如果为正，则为 0；如果为负，则为 1）。 > [!hint] 考点 21：MP3 huffman code: linebits

struct coded_word {
	codeword      // hcod[|x|][|y|], length is hlen[|x|][|y|]
	linbitsx      // 如果(x=15)，则构成一个ESC码。在这种情况下，该字段的长度为linbits，否则为零。该字段中包含的无符号整数加上15，以确定编码数据的绝对值。
	signx         // sign of x (transmitted only if x not equal 0)
	linbitsy      // See linbitsx.
	signy         // sign of y (transmitted only if y not equal 0)
}

只有在实际标记了大于或等于 15 的值时，才会使用 ESCaped 代码 linbitsx 或 linbitsy。 ![image.png](https://cdn.gallery.uuanqin.top/img/20231110200755.webp) Huffman 编码对于频谱的高端部分，使用两个特殊的 Huffman 表对值的四元组进行编码。

struct quad_word {
	codeword // hcod[|v|][|w|][|x|][|y|]，hlen[|v|][|w|][|x|][|y|]
	signv    //（仅当v不等于0时）
	signw    //（仅当w不等于0时）
	signx    //（仅当x不等于0时）
	signy    //（仅当y不等于0时）
}

在频谱的高端部分，只需计算零对的数量。由于当其他值已解码时，这个值是隐含已知的，因此不需要传输。 Huffman 编码数据的排序方式： - 如果 block_type 为 0、1 或 3，则根据频率递增的顺序对 Huffman 编码数据进行排序。 - 如果 block_type 为 2（短块），则 Huffman 编码数据的排序如下： - 首先给出连续的比例因子带的 Huffman 编码数据，从比例因子带 0 开始，以比例因子带 11 结束。 - 在每个比例因子带内，按照时间窗口的顺序给出数据，从窗口 0 开始，以窗口 2 结束。每个窗口内的数据值按照频率递增的顺序排列。 Characteristic of 32 Huffman tables: ![image.png](https://cdn.gallery.uuanqin.top/img/20231110201127.webp) ![image.png](https://cdn.gallery.uuanqin.top/img/20231110201152.webp) TIP: 考试的时候以长块为准。 `cb_limit` - 长块（block_type != 2）的比例因子带数量。对于所有模式和所有采样频率的 Layer III，这是一个常数，为 21。 `cb_limit_short` - 短块（block_type=2）的比例因子带数量。对于所有模式和所有采样频率的 Layer III，这是一个常数，为 12。 `window` - 在 block_type=2 的情况下，实际时间槽的数量。window 的取值为 0、1、2。 # 88、010 编辑器之模板的使用 ## 什么是 010 编辑器 010 编辑器是一个专业的文本/HEX 编辑器，它可以快速并易于编辑电脑上的任何文件内容。 - 查看并编辑任何硬盘上的二进制文件，以及文本文件（Unicode 文件、C/C++ 源文件等） - 独家的二进制模板技术能让你理解任何二进制文件 - 通过强大的工具（查找、替换等功能）分析并编辑文本以及二进制数据 - 使用硬盘、软盘等查找并修复问题 ## 二进制模板 010 编辑器可以将二进制文件已易于使用的方式将其结构呈现在你的面前。二进制模板可以将二进制文件解析为指定的结构。模板有着和 C/C++ 相似的结构，但它们是以一个程序运行的。当模板中的变量声明后，变量将映射到当前文件的对应字节集合。 例子：

struct FILE {
    struct HEADER {
        char type[4];   // 映射文件的0~3字节（注意，从0开始数）
        int version;    // 映射文件的4~7字节
        int numRecords; // 映射文件的8~11字节
    } header;
    struct RECORD {
        int employeeId;
        char name[40];
        float salary;
    } record[header.numRecords];
} file;

当访问一个变量时，其值从文件中读出；当对一个变量进行赋值时，其值将写回文件。这些模板的 `structures` 和常规的 C 不同，因为它包含了控制语句，如 if，for，while。模板的执行顺序为从文件顶端到底部。 ## 写一个二进制模板 ### 模板基础模板可以使二进制文件更容易理解和编辑。每一个模板是以 `.bt` 为后缀的文本文件，可以被 010 编辑器编辑。 ### 数字 Decimal - 456 Hexadecimal - 0xff, 25h, 0EFh Octal - 013 (任何数字前加 0) Binary - 0b011 无符号值：数字后加 `u`，例如 12u 8 字节的 int64：数字后加 `L`，例如 1L 浮点数中对于一个指数会包含 e，例如 1e10 浮点数默认为 8 字节 double 型，除非数字后加了 f（4 字节 float，例子：2.0f） ### 数据类型 8-Bit Signed Integer - char, byte, CHAR, BYTE 8-Bit Unsigned Integer - uchar, ubyte, UCHAR, UBYTE 16-Bit Signed Integer - short, int16, SHORT, INT16 16-Bit Unsigned Integer - ushort, uint16, USHORT, UINT16, WORD 32-Bit Signed Integer - int, int32, long, INT, INT32, LONG 32-Bit Unsigned Integer - uint, uint32, ulong, UINT, UINT32, ULONG, DWORD 64-Bit Signed Integer - int64, quad, QUAD, INT64, \_\_int64 64-Bit Unsigned Integer - uint64, uquad, UQUAD, UINT64, QWORD, \_\_uint64 32-Bit Floating Point Number - float, FLOAT 64-Bit Floating Point Number - double, DOUBLE 模板中可以使用数字类型，但数字在被运算前，必须转换为 int 或 float ### 类型定义 typedef 其他类型可以通过 `typedef` 关键字创建。

// 创建类型语法：
typedef <data_type> <new_type_name>
// 例子：创建新类型myInt，表示无符号整数
typedef unsigned int myInt;

// 运用于数组：
typedef <data_type> <new_type_name> [ <array_size> ]
// array_size必须为常量，typedef不能用于创建多维数组，但可以在structs中使用。
// 例子：生成新的字符串类型数组
typedef char myString[15];
myString s = "Test";

### 声明模板变量声明变量的方法类似于 C 语言但有一个重要的区别：模板中已声明的变量映射到文件中的一组字节。可以通过定义 structs 或 unions 的方法将模板变量组织起来。 ### 特殊属性变量后后面可以使用 `<>` 将一个或多个的特殊属性括住。支持以下属性：

<
    format  = hex|decimal|octal|binary,
    fgcolor = <color>,
    bgcolor = <color>,
    comment = "<string>",
    open    = true|false|suppress,
    hidden  = true|false,
    read    = <function_name>
>

### 局部变量在有些情况中，一些变量不需要映射到文件中的值或者显示在「模板结果」中（可以右击「模板结果」开启局部变量的查看）。我们可以使用关键字 `local` 声明变量。例子：

local int i, total = 0;
int recordCounts[5];
for( i = 0; i < 5; i++ )
    total += recordCounts[i];
double records[ total ];

### 字符串通常二进制文件中定义了 Null 结尾的字符串。010 编辑器可以通过特殊的语法进行阅读：

// 以下两种方法将读取字符串，直到遇到「0」字节
char str[];
string str;
// Unicode 字符串可以使用以下两种方法阅读：
wchar_t str[];
wstring str;

字符串中可以使用=、+、+=以及比较运算符，例子：

local char str[15] = "First";
local string s = "Second";
local string r1 = str + s;
local string r2 = str;
r2 += s;
return (r1 == r2);

### 颜色解析文件时，使用模板可以将不同颜色应用到不同的变量上，有两种方式： - 方式一：对单个变量设置颜色

// 语法：在变量后添加以下标签
<fgcolor=???> // 设置前景色
<bgcolor=???> // 设置背景色
// 例子：
int id <fgcolor=cBlack, bgcolor=0x0000FF>;

- 方式二：使用 `SetForeColor`，`SetBackColor`，`SetColor` 函数设置默认颜色。

// 在这些函数后定义变量
SetForeColor( cRed );
int first; // will be colored red
int second; // will be colored red

// 关闭涂色的方法
SetForeColor( cNone );
int third; // will not be colored

### 顺序当每一个模板变量都声明后，「当前文件的位置」将向前移动。可以通过使用函数 FTell 获取「当前文件位置」。通过使用 FSeek 或 FSkip 函数，「当前位置」可以在整个文件中移动。这项技术允许我们不按顺序解析文件。可以使用 ReadByte, ReadShort, ReadInt 等函数实现不定义变量而读取文件。 > [!hint] 考点 14：010 编辑器：Array、Struct ### 结构 struct 关键字 `struct` 可以定义一个数据结构。可以使用 C/C++ 语法进行定义。例子：

// 生成新类型myStruct，但不声明任何变量
struct myStruct {
    int a;
    int b;
    int c;
};
// 声明一个结构
myStruct s;

// 定义结构并声明两个实例
// 其中，s1覆盖文件的前12个字节，s2覆盖接下来的12个字节
struct myStruct {
    int a; // 4字节
    int b;
    int c;
} s1, s2;

使用控制语句（`if`，`for`，`while`）的结构。例子：

// 实例s只生成两个变量：a、b或a、c
struct myIfStruct {
    int a;
    if( a > 5 )
        int b;
    else
        int c;
} s;

结构可以嵌套，也可以声明数组。例子：

struct {
    int width;
    struct COLOR {
        uchar r, g, b;
    } colors[width];
} line1;

使用 typedef 定义 struct 的别名：

typedef struct {
    ushort id;
    int size;
} myData;

### 联合 union union 中，所有变量从相同的位置开始。union 的大小为其中最大变量的大小。可以使用和 struct 相同的语法进行声明。例子：

// 以下Union大小为8字节
union myUnion {
    ushort s;
    double d; // 8字节
    int i;
} u;

### 带参数的 struct 和 union struct 或 union 关键字后可以接参数列表。参数列表的定义和函数相似。例子：

struct VarSizeStruct (int arraySize)
{
    int array[arraySize];
};
// 声明实例。传递参数到结构体中
VarSizeStruct s1(5);

// 可以使用typedef声明
typedef struct (int arraySize)
{
    int array[arraySize];
} VarSizeStruct;

### 数组 Array 数组变量定义的语法：

1	<data type> <variable name> [ <expression> ] // 例子：int myArray[15];

一些例子：

// 与ANSI C不同的是，数组的大小可以为任意表达式（包括变量、函数或操作符）
int myArray[ FileSize() - myInt * 0x10 + (17 << 5) ];

// 使用中括号获取单个元素
myArray[i] = value;

当数组的大小定义为 0 时将有警告提示（不是异常）并且不声明任何变量。 010 编辑器允许数组以特殊的方式构建。当定义模板变量时，可以定义多个名称相同的变量。010 编辑器将这些相同变量看作数组，称之为 Duplicate Array。例子：

1
2
3

int x; int x; int x;
// 可以这样读取：
x[0]; // 读取第一个x的值

可以使用 for 或 while 定义 Duplicate arrays：

1
2
3

local int i;
for( i = 0; i < 5; i++ )
    int x;

### 表达式 ![image.png](https://cdn.gallery.uuanqin.top/img/20231101183949.webp) 可以使用任何的赋值运算符：+=, -=, \*=, /=, &=, ^=, %=, |=, <<=, >>= 可以使用小括号组合表达式。 ### 布尔运算符 &&（AND) \|\|(OR) \!(NOT- 单操作符) 可以使用小括号指定操作顺序。 ### 控制语句可以使用 break、continue、return #### if 语句

if( x < 5 )
    x = 0;

if( y > x )
    max = y;
else
{
    max = x;
    y = 0;
}

#### for 语句

for( i = 0, x = 0; i < 15; i++ )
{
    x += i;
}

#### while 语句

while( myVar < 15 )
{
    x *= myVar;
    myVar += 2;
}

do
{
    x *= myVar;
    myVar += 2;
}while( myVar < 23 );

#### switch 语句

switch( <variable> )
{
    case <expression>: <statement>; [break;]
    ...
    default : <statement>;
}

### 比特域比特域允许细分结构为多组比特。这一过程允许将多个变量打包成一个块的内存。定义比特域的语法：

1 2	type_name <variable_name> : number_of_bits; // type_name 可以是char, short, int, int64 (unsigned or signed) 或其他的等效类型

如果变量名省略，那么对应这个变量的比特数也将省略。例子：

// 打包alpha和beta为一个32比特的值中，但忽略中间的12bit
int alpha : 5;
int      : 12;
int beta : 15;

#### 比特域模式 010 编辑器有两个特殊的比特域模式，定义了比特如何打包到变量中： - padded bitfields（默认）。比特打包为变量的方式取决于当前的字节顺序（大小端）。默认为，小端文件从右到左打包，大端文件从左往右打包。 - unpadded bitfields ##### Padded bitfields 例子：

ushort a : 4;
ushort b : 7;
ushort c : 5;
// 小端模式下，结构存储为：cccccbbb bbbbaaaa
// 大端模式下，结构存储为：aaaabbbb bbbccccc

当需要的时候，程序会增加填充。例如某些特定的比特域将跨越变量的边界，这将会添加填充使得比特域从下一个变量开始。例如：

// 第一个变量
int apple : 10;
int orange : 20;
// 第二个变量
int banana : 10;
int peach : 12;
// 此处填充10个比特
// 第三个变量
short grape : 4; // 字节类型改变为short

##### Unpadded Bitfields 将文件视为一个长长的比特流，不管是变量类型改变时还是比特不能被打包为单个变量时，都不存在任何的填充比特。进入此模式的方法：调用 `BitfieldDisablePadding` 函数（调用 `BitfieldEnablePadding` 以返回 padding 模式）在 unpadded Bitfield 模式中，每一个定义的变量从比特流中读取比特。例如：

BitfieldDisablePadding();
short a : 10; // 从文件中读取10个比特
int   b : 20; // 读取接下来的20个比特
short c : 10;
// 如果比特域被定义为从右到左读取（小端数据的默认方式，或使用了BitfieldRightToLeft函数）
// 变量将以此方式存储比特：aaaaaaaa bbbbbbaa bbbbbbbb ccbbbbbb cccccccc

### 函数 010 编辑器中内置有大量的函数。支持许多标准 C 函数，并以首字母大写以区分它们。 #### 调用使用典型 C 语言语法进行函数调用：`<function name> ( <argument_list> )`，例子：`Strlen(str);` #### 定义常规 C 语法：`<return type> <function name> ( <argument_list> ) {<statements> }` return type 可以为 void 或其他支持的数据类型。 #### 函数的参数函数通常使用值传递，在变量名称前加上 `&` 可以使用引用传递。在参数名称后加上 `[]` 表明其为数组类型，数组类型会尽量为引用传递，否则为值传递。 #### 接口函数 #### `int Printf(const char format[][,argument,...])` ![image.png](https://cdn.gallery.uuanqin.top/img/20231101184106.webp) 支持宽度、精度、对齐的调整。如 `%5.2lf` 或 `%-15s`。`\n` 表示换行。 #### `void Warning(const char format[] [,argument,...])` 和 `Printf` 函数相似，但结果字符串显示在状态栏中，并以橘色高亮显示。通常用于显示模板中的错误。 #### I/O 函数 #### `void BigEndian()` 表明所有从文件中读写的子序列使用大端顺序。用于指定变量的字节顺序。 #### `void LittleEndian()` 小端。 ##### 读取函数 char ReadByte( int64 pos ) double ReadDouble( int64 pos ) float ReadFloat( int64 pos ) int ReadInt( int64 pos ) int64 ReadInt64( int64 pos ) int64 ReadQuad( int64 pos ) short ReadShort( int64 pos ) uchar ReadUByte( int64 pos ) uint ReadUInt( int64 pos ) uint64 ReadUInt64( int64 pos ) uint64 ReadUQuad( int64 pos ) ushort ReadUShort( int64 pos ) 返回从地址 pos 读取文件的内容。用于不声明任何变量从文件中读取数据。 #### `int FEof()` 如果当前读取位置为文件末尾，则返回 true。 #### `int64 FileSize()` 返回当前文件的比特数。 #### `int FSeek(int64 pos)` 设置当前读取位置为 pos 指向的地址。如果地址超出范围返回 -1，成功则返回 0。 #### `int FSkip(int64 offset)` 将当前读取位置向前移动 offset 字节。offset 可以为负，即将读取位置向后移动。如果地址超出范围返回 -1，成功则返回 0。 #### `int64 FTell()` 返回当前文件的读取位置。 ##### 数学函数 `double Abs(double x)` `double Ceil(double x)` `double Cos(double a)` `double Sin(double a)` `double Tan(double a)` The angle is given in degrees. `double Exp(double x)` `double Floor(double x)` `double Log(double x)` 计算 x 的自然对数，ln(x) `double Max(double a, double b)` `double Min(double a, double b)` `double Pow(double x, double y)` `int Random(int maximum)` 返回 0 到 maximum-1 的随机整数 `double Sqrt(double x )` 计算数字 x 的正平方根 `data_type SwapBytes(data_type x)` 交换变量的比特并返回结果，可以指定任何的数据类型 (byte, short, int, int64, float, double) ### 模板限制 - 不允许使用指针 - 不支持 goto 语句 - 不支持多维数组（包括字符串数组）的定义。写模板时，struct 和数组的合并可以模拟多维数组。例如：

typedef struct
{
    float row[4];
} MATRIX[4];
MATRIX m;

# 名词解释 > 名词解释是考试内容之一。 JPEG：Joint Photographic Experts Group 联合图像专家组 MPEG：Moving picture Experts Group 运动图像专家组 TIFF：Tagged Image File Format 标记图像文件格式 AIFF：Audio Interchange File Format 音频交换文件格式 RIFF：Resource Interchange File Format 资源交换档案标准 ISO：International Organization for Standardization ITU：International Telecommunication Union 国际电信联盟 ITU-T：International Telecommunications Union-Telecommunications IEC：International Electrotechnical Commission 国际电工委员会 > 有另译：International Engineering committee PCM：Pulse Code Modulation 脉冲编码调制 DPCM：Differential Pulse-code Modulation 差分脉冲编码调制 ADPCM：Adaptive Differential Pulse Code Modulation 自适应差分脉冲编码调制 AAC：Advanced Audio Coding AVI：Audio Video Interleave CODEC：enCOder / DECoder pair，解编码器 DCT：Discrete Cosine Transform MDCT：modified discrete cosine transform IDR：立即编码刷新 # 本课知识点所有知识点如下： 1. Audio, image and video format, container 2. Video compression standards and applications 3. AVI container 4. Window Bitmap file structure 5. WAVE format 6. Explain the meaning of FOURCC tags “ 00db” , “ 01dc” , “01wb” ,“vids” , and “auds” in AVI container. 7. What is CD data rate? 8. List the components of a chunk. 9. Potential coding errors 10. Lossy compression and lossless compression 11. Uniform and quantization and nonuniform quantization 12. entropy and Huffman coding 13. MS-ADPCM 14. 010 editor: Array, struct 15. Fourier transform, Fourier series, Discrete time Fourier transform, Discrete Fourier transform 16. Windowing 17. FFT and complexity 18. MDCT: overlap and add technique, long window, short window 19. Psychoacoustics: Frequency masking, temporal masking, threshold in quiet, signal to masker ratio, critical bandwidth, bark scale, perceptual entropy 20. MP3: bitstream format, MP3 sampling frequency, stereo/joint channel/dual channel/single channel, Huffman coding region, bit reservoir 21. MP3 huffman code: linebits 22. MP3 encoder and decoder process 23. Color space 24. Video frame format 25. Image and video coding principles: four types of redundancy 26. Three basic types of code frame in video coding 27. Motion estimation and compensation 28. JPEG encoding and decoding process: Minimum code Unit, modes of operation, DC entropy coding, AC entropy coding, run-length, size, EOB 29. JPEG interchange format: image, frame, scan, marker, 30. JPEG file interchange format 31. Video encoding and decoding architecture: normative, informative 32. MPEG coding structure, MPEG syntax 33. H.264 encoding structure, baseline profile, main profile, vector block size, new features, video coding layer and network abstraction layer 34. Inter frame prediction, motion vector prediction, Intra-frame prediction 35. DCT transform in H.264 36. entropy coding: Exp-Golomb coding and CAVLC

「多媒体与信号处理」课程笔记

笔记说明

导论（格式概览）

🔺 数据压缩

数字容器格式 Digital Container Format

音频格式 🎵

图像格式 🖼

视频格式 🎞

BMP、WAV、AVI 格式

Windows Bitmap🖼

文件结构

位图种类

灰度位图

24-Bit 彩色位图

8-Bit 彩色位图

WAV 格式 🎵

组成

【必含】fmt 块

WAVEFORMATEXTENSIBLE 扩展的 WAVE 格式块

【必含】data 块

其他

AVI 格式 🎵🎞

音频编码基础

PCM——最简单的编码器

CD：Compact Disc 激光唱片

潜在的编码错误

更复杂的编码器

有损压缩

量化

均匀量化 Uniform Quantization

非均匀量化 Nonuniform Quantization

无损压缩：熵编码

哈夫曼编码

WAVE MS-ADPCM

WAVEFORMAT

编码过程

图片和视频编码基础

YCbCr

色彩空间

采样格式

4:4:4 采样

4:2:2 采样

4:2:0 采样

视频帧格式

质量评估

主观测量——ITU-R 500

客观质量测量

图像视频处理准则

JPEG 图像压缩

帧内帧间预测

运动估计与补偿

基于块的的运动估计补偿

运动补偿块的大小

子像素运动补偿

图像模型

预测图像编码

转换编码

2D-DCT

DCT 系数的特征

DCT 计算复杂性

量化

游程编码（RLC）

重新排序

可变长度编码（VLC）

视频编码结构

通用视频编码模型

编码数据流

解码数据流

本小节参考链接

JPEG 图像编码

基于 DCT 的编码/解码过程

前向 DCT（FDCT）

反向 DCT（IDCT）

块样本和 DCT 系数的关系

DC 编码

之字形扫描

压缩与图像质量

具有多个组件的源图像

多组件交织

不同维度的组件交织顺序