SDL播放音频PCM
PS：从思维中解放出来的开始就是认识到你不是一个思考问题的实体——思考者
SDL 是一个很好用跨平台多媒体开发库，可以方便的使用 SDL 来学习音视频，本文将介绍如何使用 SDL 播放 PCM 数据，主要内容如下：
-
SDL介绍
-
SDL_AudioSpec
-
SDL_AudioCallback
-
FFmpeg提取PCM数据
-
播放本地PCM文件
SDL（Simple DirectMedia Layer）是一套开放源代码的跨平台多媒体开发库，使用 C 语言编写，SDL 提供了数种控制图像、声音、输出入的函数，让开发者只要用相同或是相似的代码就可以开发出跨多个平台（Linux、Windows、Mac OS X等）的应用软件，目前 SDL 多用于开发游戏、模拟器、媒体播放器等多媒体应用领域，其架构图如下：
后续主要是借助 SDL 来测试音频、视频的播放功能，后面中提到的 SDL 都是用的 SDL2 版本。
SDL_AudioSpecSDL_AudioSpec 是 SDL 中表示音频输出格式的一个结构体，同时也包含当前音频设备需要更多数据时调用的回调函数，其定义如下：
1/**
2 * The calculated values in this structure are calculated by SDL_OpenAudio().
3 * For multi-channel audio, the default SDL channel mapping is:
4 * 2: FL FR (stereo)
5 * 3: FL FR LFE (2.1 surround)
6 * 4: FL FR BL BR (quad)
7 * 5: FL FR LFE BL BR (4.1 surround)
8 * 6: FL FR FC LFE SL SR (5.1 surround - last two can also be BL BR)
9 * 7: FL FR FC LFE BC SL SR (6.1 surround)
10 * 8: FL FR FC LFE BL BR SL SR (7.1 surround)
11 */
12typedef struct SDL_AudioSpec{
13 int freq; /**< DSP frequency -- samples per second */
14 SDL_AudioFormat format; /**< Audio data format */
15 Uint8 channels; /**< Number of channels: 1 mono, 2 stereo */
16 Uint8 silence; /**< Audio buffer silence value (calculated) */
17 Uint16 samples; /**< Audio buffer size in sample FRAMES (total samples divided by channel count) */
18 Uint16 padding; /**< Necessary for some compile environments */
19 Uint32 size; /**< Audio buffer size in bytes (calculated) */
20 SDL_AudioCallback callback; /**< Callback that feeds the audio device (NULL to use SDL_QueueAudio()). */
21 void *userdata; /**< Userdata passed to callback (ignored for NULL callbacks). */
22} SDL_AudioSpec;
SDL_AudioSpec具体信息如下：
-
freq：音频采样率，即每秒采样数，单位 Hz，采样率越高，音频质量越好，但占用的带宽和存储空间也越大。
-
format：音频数据格式。
-
channels：音频通道数，常见的如 1 表示单声道，2 表示立体声。
-
silence：表示静音音量值，常为 0。
-
samples：采样帧的音频缓冲区大小，以采样数量为单位，可以看[[关于采样的理解]]。
-
padding：内部填充字段，不需要使用，一般用于兼容。
-
size：音频缓冲区总大小，以字节数为单位。用于表示缓冲区能够容纳的音频数据的最大量，这个字段的值通常等于 samples * channels * format / 8。
-
callback：填充音频缓冲区的回调函数。
SDL_AudioCallback是SDL_AudioSpec结构体中的回调函数，在音频设备需要数据的时候回调该函数，定义如下：
1typedef void (SDLCALL * SDL_AudioCallback) (void *userdata, Uint8 * stream,int len);
SDL_AudioCallback 回调函数参数如下：
-
userdata：用户自定义数据。
-
stream：该指针指向需要填充的音频缓冲区，回调函数需要通过填充这个缓冲区中的数据来提供音频信息。
-
对于播放音频而言，缓冲区中的数据需要被播放出来。
-
对于录制音频而言，数据则需要被写入到音频文件中。
-
-
len：音频缓冲区大小，以字节为单位，回调函数需要在这个缓冲区中填充 len 个字节的音频数据。
SDL_AudioCallback 回调函数的简单实现见下文案例。
先使用 FFmpeg 提取用来测试的 PCM 数据，通过如下命令从 mp4 文件中提取 20s 的 pcm 音频数据，如下：
1ffmpeg -i xxx.mp4 -t 20 -codec:a pcm_s16le -ar 44100 -ac 2 -f s16le 44100_16bit_2ch.pcm
提取完毕后使用 ffplay 验证是否可以播放：
1ffplay -ar 44100 -ac 2 -f s16le 44100_16bit_2ch.pcm
确认播放正常后可以使用 SDL 播放 PCM 音频了。
播放本地PCM文件下面使用 SDL 来读取本地 PCM 文件来播放，主要步骤如下：
-
打开PCM文件：
1FILE *pcmFile = fopen(path, "rb");
-
初始化SDL为音频场景：
1SDL_Init(SDL_INIT_AUDIO);
-
填充
SDL_AudioSpec音频参数：
1SDL_AudioSpec audioSpec;
2audioSpec.freq = 44100;
3audioSpec.format = AUDIO_S16SYS;
4audioSpec.channels = 2;
5audioSpec.samples = 1024; // 1024/44100 = 0.0232199546485261 约等于23.2ms,也就是23.2ms至少回调一次
6audioSpec.silence = 0;
7audioSpec.callback = sdl_fill_pcm;
8audioSpec.userdata = NULL;
这里的callback就是上文中的SDL_AudioCallback。
-
使用初始化好的
SDL_AudioSpec打开音频设备：
1SDL_OpenAudio(&audioSpec, NULL);
-
播放音频：
1SDL_PauseAudio(0);
-
循环从本地读取 PCM 数据：
1// 数据读取,记录读取的总数据
2uint64_t dataCount = 0;
3while (1) {
4 // 从文件中读取PCM数据
5 read_buf_len = fread(audio_buf, 1, PCM_BUFFER_SIZE, pcmFile);
6 if (read_buf_len == 0) {
7 break;
8 }
9 // 统计读取的总字节数
10 dataCount += read_buf_len;
11 // 更新数据读取结束位置
12 audio_end = audio_buf + read_buf_len;
13 // 更新数据读取开始位置
14 audio_pos = audio_buf;
15
16 while (audio_pos < audio_end) {
17 // 等待PCM数据消耗
18 SDL_Delay(10);
19 }
20}
-
实现
SDL_AudioCallback回调函数如下：
1void sdl_fill_pcm(void *userdata, Uint8 *stream, int len) {
2 SDL_memset(stream, 0, len);
3 if (audio_pos >= audio_end) {
4 return;
5 }
6 // 数据不够直接读完，否则只读取一定长度的数据
7 int remain_buf_len = audio_end - audio_pos;
8 len = (remain_buf_len > len) ? len : remain_buf_len;
9 // 拷贝数据到stream并设置音量
10 SDL_MixAudio(stream, audio_pos, len, SDL_MIX_MAXVOLUME / 3);
11 audio_pos += len;
12}
-
释放资源：
1SDL_CloseAudio();
2if (audio_buf) {
3 free(audio_buf);
4}
5if (pcmFile) {
6 fclose(pcmFile);
7}
8SDL_Quit();
最后附上 Clion 工程的 CMakeLists.txt 文件，其内容如下：
1cmake_minimum_required(VERSION 3.26)
2project(sdf_pcm C)
3set(CMAKE_C_STANDARD 11)
4include_directories(E:/msys64/mingw64/include/SDL2)
5link_directories(E:/msys64/mingw64/lib)
6add_executable(sdl_pcm main.c)
7target_link_libraries(sdl_pcm mingw32 SDL2 SDL2main)
到此，SDL播放音频 PCM 基本流程结束。
最后推荐下秦子帅老哥最近撰写的公众号快速涨粉指南，有需要的童鞋可以看一下：
推荐阅读：