delta-live-tables

Delta Live表完全刷新时不允许架构更改

我有一个简单的DeltaLiveTables管道,它将多个csv文件从cloudFiles流式读取到发布到蜂巢元存储的Delta表中。我有两个要求使我的情况更加复杂/独特:由于csv文件的格式,我需要将skipRows参数用于autoLoader。这需要使用Databricks运行时的预览通道。source我需要将表columnMapping.mode属性设置为name,因为csv数据的列名中包含Delta/Parquet本机不允许的字符。一旦发生,即使在常规运行中,也会发生相同的错误。如有任何帮助,将不

尝试在同一pyspark结构化流作业中写入和读取增量表。可以';看不到数据

PySpark作业是否可以在增量表中写入,并在同一代码中从该表中读取?使用以下命令运行代码时不会出错。我正在尝试将我要刷新到Kafka的数据可视化到Delta表中,以确保数据流动良好,底层组件也工作良好。即使向我的主题发送了流量,我也可以看到一个空表。任何形式的帮助都会有帮助。