警告
TorchAudio 的 C++ API 是一个原型功能。API/ABI 向后兼容性不受保证。
注意
顶级命名空间已从 torchaudio 更改为 torio。 StreamReader 已重命名为 StreamingMediaDecoder。
torio::io::StreamingMediaDecoder¶
StreamingMediaDecoder 是 Python 等效项使用的实现，并提供类似的接口。在使用自定义 I/O（例如内存中数据）时，可以使用 StreamingMediaDecoderCustomIO 类。
这两个类都定义了相同的方法，因此它们的用法相同。
构造函数¶
StreamingMediaDecoder¶
-
class StreamingMediaDecoder¶
逐块获取和解码音频/视频流。
警告
doxygenfunction: 无法在 libtorio 项目的 doxygen xml 输出中解析具有参数 (const std::string&, const std::optional<std::string>&, const c10::optional<OptionDict>&) 的函数“torio::io::StreamingMediaDecoder::StreamingMediaDecoder”，目录：cpp/xml。潜在匹配项
- StreamingMediaDecoder(const std::string &src, const std::optional<std::string> &format = c10::nullopt, const std::optional<OptionDict> &option = c10::nullopt)
StreamingMediaDecoderCustomIO¶
-
class StreamingMediaDecoderCustomIO : private detail::CustomInput, public torio::io::StreamingMediaDecoder¶
StreamingMediaDecoder 的子类，它使用自定义读取函数。可用于从内存或自定义对象解码媒体。
-
torio::io::StreamingMediaDecoderCustomIO::StreamingMediaDecoderCustomIO(void *opaque, const std::optional<std::string> &format, int buffer_size, int (*read_packet)(void *opaque, uint8_t *buf, int buf_size), int64_t (*seek)(void *opaque, int64_t offset, int whence) = nullptr, const std::optional<OptionDict> &option = c10::nullopt)¶
使用自定义读取和搜索函数构造 StreamingMediaDecoder。
- 参数：
opaque – 自定义数据，供
read_packet和seek函数使用。format – 指定输入格式。
buffer_size – 中间缓冲区的大小，FFmpeg 使用它将数据传递给函数 read_packet。
read_packet – 从 FFmpeg 调用以从目标读取数据的自定义读取函数。
seek – 用于查找目标的可选查找函数。
option – 初始化格式上下文时传递的自定义选项。
查询方法¶
find_best_audio_stream¶
-
int64_t torio::io::StreamingMediaDecoder::find_best_audio_stream() const¶
使用 ffmpeg 中的启发式方法查找合适的音频流。
如果成功，则返回最佳流的索引（>=0）。否则，将返回负值。
find_best_video_stream¶
-
int64_t torio::io::StreamingMediaDecoder::find_best_video_stream() const¶
使用 ffmpeg 中的启发式方法查找合适的视频流。
如果成功，则返回最佳流的索引（0> =）。否则，将返回负值。
get_metadata¶
-
OptionDict torio::io::StreamingMediaDecoder::get_metadata() const¶
获取源媒体的元数据。
num_src_streams¶
-
int64_t torio::io::StreamingMediaDecoder::num_src_streams() const¶
获取输入媒体中找到的源流数量。
源流不仅包括音频/视频流，还包括字幕和其他流。
get_src_stream_info¶
-
SrcStreamInfo torio::io::StreamingMediaDecoder::get_src_stream_info(int i) const¶
获取指定源流的信息。
有效值范围是
[0, num_src_streams())。
num_out_streams¶
-
int64_t torio::io::StreamingMediaDecoder::num_out_streams() const¶
获取客户端代码定义的输出流数量。
get_out_stream_info¶
-
OutputStreamInfo torio::io::StreamingMediaDecoder::get_out_stream_info(int i) const¶
获取指定输出流的信息。
有效值范围是
[0, num_out_streams())。
is_buffer_ready¶
-
bool torio::io::StreamingMediaDecoder::is_buffer_ready() const¶
检查所有输出流的缓冲区是否具有足够的解码帧。
配置方法¶
add_audio_stream¶
-
void torio::io::StreamingMediaDecoder::add_audio_stream(int64_t i, int64_t frames_per_chunk, int64_t num_chunks, const std::optional<std::string> &filter_desc = c10::nullopt, const std::optional<std::string> &decoder = c10::nullopt, const std::optional<OptionDict> &decoder_option = c10::nullopt)¶
定义输出音频流。
- 参数：
i – 源流的索引。
frames_per_chunk – 返回为一个块的帧数。
如果在缓冲
frames_per_chunk帧之前源流已耗尽，则按原样返回块。因此，块中的帧数可能小于 ``frames_per_chunk。提供
-1将禁用分块，在这种情况下，方法pop_chunks()将返回所有缓冲的帧作为一个块。num_chunks – 内部缓冲区大小。
当缓冲块数量超过此数量时，将丢弃旧块。例如，如果
frames_per_chunk为 5 且buffer_chunk_size为 3，则将丢弃比 15 帧旧的帧。提供
-1将禁用此行为，强制保留所有块。filter_desc – 应用于源流的滤波器图的描述。
decoder – 要使用的解码器的名称。提供时，使用指定的解码器而不是默认解码器。
decoder_option – 传递给解码器的选项。
要列出解码器的解码器选项，可以使用
ffmpeg -h decoder=<DECODER>命令。除了解码器特定的选项之外，您还可以传递与多线程相关的选项。它们仅在解码器支持它们时才有效。如果两者都没有提供，StreamingMediaDecoder 默认使用单线程。
"threads": 线程数量或值"0"，让 FFmpeg 根据其启发式算法决定。"thread_type": 使用哪种多线程方法。有效值为"frame"或"slice"。请注意，每个解码器支持不同的方法集。如果未提供，将使用默认值。"frame": 同时解码多个帧。每个线程处理一帧。这会将解码延迟增加每线程一帧。"slice": 同时解码单个帧的多个部分。
add_video_stream¶
-
void torio::io::StreamingMediaDecoder::add_video_stream(int64_t i, int64_t frames_per_chunk, int64_t num_chunks, const std::optional<std::string> &filter_desc = c10::nullopt, const std::optional<std::string> &decoder = c10::nullopt, const std::optional<OptionDict> &decoder_option = c10::nullopt, const std::optional<std::string> &hw_accel = c10::nullopt)¶
定义一个输出视频流。
- 参数：
i, frames_per_chunk, num_chunks, filter_desc, decoder, decoder_option – 请参见
add_audio_stream()。hw_accel – 启用硬件加速。
当视频在 CUDA 硬件上解码时（例如通过指定
"h264_cuvid"解码器），将 CUDA 设备指示器传递给hw_accel（即hw_accel="cuda:0"）将使 StreamingMediaDecoder 将生成的帧直接放置在指定的 CUDA 设备上作为 CUDA 张量。如果为
None，则块将被移动到 CPU 内存。
remove_stream¶
-
void torio::io::StreamingMediaDecoder::remove_stream(int64_t i)¶
删除输出流。
- 参数：
i – 要删除的输出流的索引。有效值范围为
[0, num_out_streams())。
流方法¶
seek¶
-
void torio::io::StreamingMediaDecoder::seek(double timestamp, int64_t mode)¶
跳转到给定的时间戳。
- 参数：
timestamp – 以秒为单位的目标时间戳。
mode – 跳转模式。
0: 关键帧模式。跳转到给定时间戳之前最近的关键帧。1: 任意模式。跳转到给定时间戳之前的任何帧（包括非关键帧）。2: 精确模式。首先跳转到给定时间戳之前最近的关键帧，然后解码帧直到它到达最接近给定时间戳的帧。
process_packet¶
-
int torio::io::StreamingMediaDecoder::process_packet()¶
解复用并处理一个数据包。
- 返回值：:
0: 数据包已成功处理，并且流中仍有数据包，因此客户端代码可以再次调用此方法。1: 数据包已成功处理，并且已到达 EOF。客户端代码不应再调用此方法。<0: 发生了错误。
process_packet_block¶
-
int torio::io::StreamingMediaDecoder::process_packet_block(const double timeout, const double backoff)¶
类似于
process_packet()，但如果由于资源暂时不可用而失败，它会自动重试。当使用设备输入（例如麦克风）时，此行为很有用，在此期间，缓冲区可能很忙，而样本采集正在进行。
- 参数：
timeout – 超时时间（以毫秒为单位）。
>=0: 继续重试，直到给定的时间过去。<0: 无限期地重试。
backoff – 重试之前等待的时间（以毫秒为单位）。
process_all_packets¶
-
void torio::io::StreamingMediaDecoder::process_all_packets()¶
处理数据包，直到 EOF。
fill_buffer¶
-
int torio::io::StreamingMediaDecoder::fill_buffer(const std::optional<double> &timeout = c10::nullopt, const double backoff = 10.)¶
持续处理数据包，直到所有块缓冲区至少包含一个块。
- 参数：
timeout – 请参见
process_packet_block()backoff – 请参见
process_packet_block()
获取方法¶
pop_chunks¶
-
std::vector<std::optional<Chunk>> torio::io::StreamingMediaDecoder::pop_chunks()¶
如果可用，从每个输出流中弹出单个块。
支持结构¶
Chunk¶
SrcStreaminfo¶
-
struct SrcStreamInfo¶
有关输入媒体中找到的源流的信息。
公共成员
-
const char *codec_name = "N/A"¶
编解码器的名称。
-
const char *codec_long_name = "N/A"¶
编解码器的名称，以较长且便于人类理解的形式呈现。
-
const char *fmt_name = "N/A"¶
对于音频，它指的是采样格式。
常见的值包括；
"u8"，"u8p"：8 位无符号整数。"s16"，"s16p"：16 位有符号整数。"s32"，"s32p"：32 位有符号整数。"s64"，"s64p"：64 位有符号整数。"flt"，"fltp"：32 位浮点数。"dbl"，"dblp"：64 位浮点数。
对于视频，它指的是颜色通道格式。
常见的值包括；
"gray8"：灰度"rgb24"：RGB"bgr24"：BGR"yuv420p"：YUV420p
-
int64_t bit_rate = 0¶
比特率。
-
int64_t num_frames = 0¶
帧数。
注意
在某些格式中，该值不可靠或不可用。
-
int bits_per_sample = 0¶
每个样本的比特数。
-
OptionDict metadata = {}¶
元数据
该方法可以从 MP3 中提取 ID3 标签。
示例
{ "title": "foo", "artist": "bar", "date": "2017" }
-
const char *codec_name = "N/A"¶
OutputStreaminfo¶
-
struct OutputStreamInfo¶
用户代码配置的输出流信息。
