Streaming(流式处理 (Streaming))¶
Is there a default number of output partitions for a Flink pipeline and is it configurable?¶
The output is limited to 8 partitions by default when automatically computing the number of partitions, but this output can be set to a maximum of 16 in the pipeline settings.
Timestamp: March 2, 2024
What is the best practice for converting a batch dataset to a stream for exporting to Kafka?¶
The best practice is to create a streaming pipeline in Pipeline Builder, using a batch dataset as the input and configuring the output as a stream. This stream can then be exported to Kafka, following the normal Kafka streaming export documentation.
Timestamp: March 26, 2024
How can I replay a stream from a Java deployment UDF?¶
You can replay a stream by bumping the logic version in the pipeline configuration yaml file.
Timestamp: July 25, 2024
中文翻译¶
流式处理 (Streaming)¶
Flink 管道是否有默认的输出分区数?是否可以配置?¶
在自动计算分区数时,默认输出限制为 8 个分区,但可以在管道设置中将此输出最大值设置为 16。
时间戳: 2024 年 3 月 2 日
将批处理数据集转换为流以导出到 Kafka 的最佳实践是什么?¶
最佳实践是在 Pipeline Builder 中创建一个流式处理管道,使用批处理数据集作为输入,并将输出配置为流。然后可以按照常规的 Kafka 流式导出文档 将此流导出到 Kafka。
时间戳: 2024 年 3 月 26 日
如何从 Java 部署 UDF 重放流?¶
您可以通过在管道配置 yaml 文件中提升逻辑版本来重放流。
时间戳: 2024 年 7 月 25 日