我已经将Firebase事件链接到BigQuery,我的目标是使用AWS Glue将事件从BigQuery拉入S3。

当您将Firebase链接到BigQuery时,它会创建一个默认数据集和一个日期分区表,如下所示:

analytics_456985675.events_20230101
analytics_456985675.events_20230102

我习惯于使用

Select
...
from analytics_456985675.events_*
where date >= [date]

但是,在配置Glue ETL作业时,它拒绝对表分析使用此格式456985675.events_*我收到以下错误消息:enter image description here

似乎只有当我指定了一个表时,Glue作业才能工作。

如果必须指定单个分区表,我如何创建一个Glue ETL作业,以增量方式从BigQuery中提取数据?

如何使用AWS Glue BigQuery连接器查询日期分区的Google BigQuery表?的更多相关文章

  1. Google BigQuery返回“;未找到:数据集nnn业务洞察:在位置US中未找到nnn_raw_harvest“”;

    我有点卡住了,因为同样的查询在程序外运行。有什么好主意吗?因此,这是有效的:这给出了一个错误:错误消息:我已经检查了表引用的结构确保FROM位置包含3个部分一个项目一个数据库一个表*如果它不在“CREATETABLE”或“CREATEPROCEDURE”语句中,它就会工作。。。

  2. 尝试使用Terraform配置AWS Athena Iceberg表时出现的问题

    我有以下Terraform配置来创建AWSAthenaIceberg表:运行时,将按预期创建表。请确保使用启用Iceberg的计算引擎创建表,或使用Iceberg开源库创建表。如何使用Terraform正确配置雅典娜冰山桌?

  3. 是否可以从firebase将日内表格重新填充到BigQuery中?

    我正在使用从firebase到bigQuery的流式数据导出,它工作正常,昨天我错误地从数据中排除了事件,所以昨天的表20230207中缺少了事件。是否有任何方法可以使用更新的事件设置在此特定日期将此表重新填充回bigQuery我试图寻找是否有手动选项来重新填充桌子,但没有找到

  4. CDK授予湖泊形成许可

    我正在尝试创建Glue数据库,并在LakeFormation中授予其权限。代码非常简单,当我在LakeFormations中定义权限时,我指定ALL值。当我从控制台执行此操作时,它会工作。我基本上是在代码中复制相同的内容,但由于某些原因,它不起作用。有人知道代码中缺少什么吗?

  5. 如何使用AWS Glue BigQuery连接器查询日期分区的Google BigQuery表?

    我已经将Firebase事件链接到BigQuery,我的目标是使用AWSGlue将事件从BigQuery拉入S3。当您将Firebase链接到BigQuery时,它会创建一个默认数据集和一个日期分区表,如下所示:我习惯于使用但是,在配置GlueETL作业时,它拒绝对表分析使用此格式456985675.events_*我收到以下错误消息:似乎只有当我指定了一个表时,Glue作业才能工作。如果必须指定单个分区表,我如何创建一个GlueETL作业,以增量方式从BigQuery中提取数据?

  6. 在BigQuery Google云控制台中创建表时出错

    v=3J1M1bSwgV8我以前也学过,而且很管用现在,我无法让它工作。

  7. Google BigQuery+Python

    我需要使用python对GoogleBigQuery数据库中的两个表进行探索性分析。如何使用此JSON文件访问数据?这是我第一次尝试这样做,所以我不知道该怎么做。我试着阅读不同的教程和文档,但没有任何效果。

随机推荐

  1. 如何扩展ATmega324PB微控制器的以下宏寄存器?

    我目前正在学习嵌入式,我有以下练习:展开以下宏寄存器:如果有人解决了这个问题,我将不胜感激,以便将来参考

  2. Python将ONNX运行时设置为返回张量而不是numpy数组

    在python中,我正在加载预定义的模型:然后我加载一些数据并运行它:到目前为止,它仍在正常工作,但我希望它默认返回Tensor列表,而不是numpy数组。我对ONNX和PyTorch都是新手,我觉得这是我在这里缺少的基本内容。这将使转换中的一些开销相同。

  3. 在macOS上的终端中使用Shell查找文件中的单词

    我有一个文本文件,其中有一行:我需要找到ID并将其提取到变量中。我想出了一个RexEx模式:但它似乎对我尝试过的任何东西都不起作用:grep、sed——不管怎样。我的一个尝试是:我为这样一个看似愚蠢的问题感到抱歉,但我在互联网上找不到任何东西:我在SO和SE上读了几十个类似的问题,并在谷歌上搜索了几个教程,但仍然无法找到答案。欢迎提供任何指导!

  4. react-chartjs-2甜甜圈图中只有标题未更新

    我正在使用react-chartjs-2在我的网站中实现甜甜圈图。下面是我用来呈现图表的代码。我将甜甜圈图的详细信息从父组件传递到子组件,所有道具都正确传递。当我在beforeDraw函数外部记录props.title时,它会记录正确的值,但当我在beforeDraw函数内部记录props.title时,它将记录标题的前一个值,从而呈现标题的前值。我在这里做错了什么?

  5. 如何在tkinter中使用Python生成器函数?

    生成器函数承诺使某些代码更易于编写。但我并不总是知道如何使用它们。假设我有一个斐波那契生成器函数fib(),我想要一个显示第一个结果的tkinter应用程序。当我点击“下一步”按钮时,它会显示第二个数字,依此类推。我如何构建应用程序来实现这一点?我可能需要在线程中运行生成器。但如何将其连接回GUI?

  6. 如何为每次提交将存储库历史记录拆分为一行?

    我正在尝试获取存储库的历史记录,但结果仅以单行文本的形式返回给我。

  7. 尝试在颤振项目上初始化Firebase时出错

    当尝试在我的颤振项目上初始化firebase时,我收到了这个错误有人知道我能做什么吗?应用程序分级Gradle插件Gradle项目颤振相关性我已经将firebase设置为Google文档已经在另一个模拟器上尝试过,已经尝试过创建一个全新的模拟器,已经在不同的设备上尝试过了,已经尝试了特定版本的firebase,已经尝试添加但没有任何效果,已经在youtube上看到了关于它的每一个视频,该应用程序在android和iOS两个平台上都抛出了这个错误

  8. 在unix中基于当前日期添加新列

    我试图在unix中基于时间戳列在最后一个单元格中添加一个状态列。我不确定如何继续。

  9. 麦克斯·蒙特利。我一直得到UncaughtReferenceError:当我在终端中写入node-v时,节点未定义

    如果这是您应该知道的,请确认:我已将所有shell更改为默认为zsh。当我在终端中写入node-v时,我一直收到“UncaughtReferenceError:nodeisnotdefined”。但它显示节点已安装。我是个新手,在这方面经验不足。

  10. 如何在前端单击按钮时调用后端中的函数?

    那么如何在后端添加一个新的端点,点击按钮调用这个函数。

返回
顶部