跳转至

Streaming(流式处理 (Streaming))

The output is limited to 8 partitions by default when automatically computing the number of partitions, but this output can be set to a maximum of 16 in the pipeline settings.

Timestamp: March 2, 2024

What is the best practice for converting a batch dataset to a stream for exporting to Kafka?

The best practice is to create a streaming pipeline in Pipeline Builder, using a batch dataset as the input and configuring the output as a stream. This stream can then be exported to Kafka, following the normal Kafka streaming export documentation.

Timestamp: March 26, 2024

How can I replay a stream from a Java deployment UDF?

You can replay a stream by bumping the logic version in the pipeline configuration yaml file.

Timestamp: July 25, 2024


中文翻译


流式处理 (Streaming)

在自动计算分区数时,默认输出限制为 8 个分区,但可以在管道设置中将此输出最大值设置为 16。

时间戳: 2024 年 3 月 2 日

将批处理数据集转换为流以导出到 Kafka 的最佳实践是什么?

最佳实践是在 Pipeline Builder 中创建一个流式处理管道,使用批处理数据集作为输入,并将输出配置为流。然后可以按照常规的 Kafka 流式导出文档 将此流导出到 Kafka。

时间戳: 2024 年 3 月 26 日

如何从 Java 部署 UDF 重放流?

您可以通过在管道配置 yaml 文件中提升逻辑版本来重放流。

时间戳: 2024 年 7 月 25 日