我们正在将AWS Glue的Change Data Capture（CDC）功能与SnapLogic和Informatica进行比较。AWS Glue能够检测数据结构中的更改。
我正在寻找有关如何检测数据更改（例如，修改后的数据或新数据）的特定示例。有人使用过AWS Glue仅提取新的/修改的记录吗？如果是这样，怎么办？
在胶中实现CDC的两个选择是：1.使用源数据库中的audit列并将其传递到sql中以提取数据2.如果数据不超过数十万条记录，则提取完整数据并使用spark比较sql。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句