Feature Description / 功能描述
当前的数据处理模式主要是:来回读写本地 json 文件,需要频繁的磁盘 IO 操作(如 FileStorage)。
数据加工步骤越多,处理流程就越长,IO操作越频繁。面对大规模数据时,这将可能成为性能瓶颈,将来是否会考虑进一步优化分布式处理能力,比如融合Ray?
System Info (dataflow env) / 系统信息(dataflow env)
/
Additional Information / 其他补充
No response
Feature Description / 功能描述
当前的数据处理模式主要是:来回读写本地 json 文件,需要频繁的磁盘 IO 操作(如 FileStorage)。
数据加工步骤越多,处理流程就越长,IO操作越频繁。面对大规模数据时,这将可能成为性能瓶颈,将来是否会考虑进一步优化分布式处理能力,比如融合Ray?
System Info (
dataflow env) / 系统信息(dataflow env)/
Additional Information / 其他补充
No response