AWSAthenaからRDSインスタンスへのデータのインポート

ベッドは曲がりません

現在、AWS Kinesisからのイベントをリッスンして、S3に書き込んでいます。次に、AWSGlueとAthenaを使用してクエリを実行します。

そのデータを、おそらく何らかの変換を使用してRDSインスタンスにインポートする方法はありますか?

Zerodf

そのタスクに関して取るべきいくつかの一般的なアプローチがあります。

  1. JDBC接続を使用して)カスタムETLスクリプトからデータを読み取り、Athenaクエリをデータベースにロードします。
  2. データを保持しているS3バケットをファイルシステムにマウントし(おそらくs3fs-fuseを使用)、カスタムETLスクリプトを使用してデータを読み取り、RDSインスタンスにプッシュします。
  3. AWS CLIまたはSDKを使用して、RDSインスタンスにアップロードするデータをファイルシステムにダウンロードし、ローカルで処理してから、RDSにプッシュします
  4. ご提案のとおり、AWS Glue使用して、AthenaからRDSインスタンスにデータをインポートします。AWSと緊密に結合されたアプリケーションを構築していて、KinesisとAthenaを使用している場合は、そのようなソリューションが理にかなっています。

GLUEをRDSに接続するときは、次の点に注意してください(主にネットワーク側:

  1. DNSホスト名がターゲットRDSインスタンスをホストしているVPCで有効になっいることを確認します
  2. ターゲットRDSインスタンスに関連付けられたセキュリティグループに自己参照ルールを設定する必要があります

リレーショナルデータベースを対象とするコードの例については、次のチュートリアルを参照してください。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

AWSRDSインスタンスから別のRDSへのデータのコピー

excelsheetファイルからmysqlデータベースC#へのデータのインポート

2つの質問:MySQLデータベースからPythonへのデータのインポート

SQLServerデータベースからHTMLテーブルへのデータのインポート

ExcelからMySQLデータベースへのデータの定期的なインポート

FirestoreからbigQueryへのデータのインポート

ExcelからSQLServerへのデータのインポート

ExcelからMVCへのデータのインポート

ExcelからWordへのデータのインポート

arduinoからpythonへのデータのインポート

ExcelからSASへのデータのインポート

GenticsMesh-あるインスタンスから別のインスタンスへのプロジェクトのインポート/エクスポート

Mongodbスキーマへのデータのインポート

データベースへの画像のインポート

Cへの単一リンクリストの挿入(ポインターからポインター)

複数のデータベースからHadoopとUnionへのテーブルのインポート

テキストファイルからExcelへのデータのインポート

Amazon RDS MySQLインスタンスからローカルインスタンスにデータベースをエクスポートする方法

GoogleからExcelへのVBAデータのインポート:カスタム時間範囲

別の列から前のデータポイントへのデータポイントの追加

AWSAthenaでのタイムスタンプへの文字列の解析

GrapheneDBからローカルへのNeo4Jデータベースのインポート

GoogleスプレッドシートからRへのデータのインポート

JAVA:Excelへの(データベースからの)データのエクスポートとクライアント側への送信

クラスデータメンバー ":: *"へのポインタ

Highchartsデータからデータポイントへのsvgの変換

SQLiteデータベースからのデータのエクスポートとインポート

postgresqlデータベースからJavaオブジェクトへのポイントのシリアル化

GoogleCloud-バケットからインスタンスへのデータのダウンロード

TOP 一覧

  1. 1

    どのように関係なく、それがどのように「悪い」、すべてのSSL証明書でのHttpClientを使用しないように

  2. 2

    セレンのモデルダイアログからテキストを抽出するにはどうすればよいですか?

  3. 3

    Modbus Python Schneider PM5300

  4. 4

    System.Data.OracleClient.OracleException:ORA-06550:行1、列7:

  5. 5

    scala.xmlノードを正しく比較する方法は?

  6. 6

    インデックス作成時のドキュメントの順序は、Elasticsearchの検索パフォーマンスを向上させますか?

  7. 7

    Elasticsearch - あいまい検索は、提案を与えていません

  8. 8

    グラフ(.PNG)ファイルをエクスポートするZabbix

  9. 9

    Ansibleで複数行のシェルスクリプトを実行する方法

  10. 10

    変数値を含むElasticSearch検索結果

  11. 11

    Elasticsearchでサーバー操作を最適化:低いディスク透かしに対処する

  12. 12

    Python / SciPyのピーク検出アルゴリズム

  13. 13

    tkinterウィンドウを閉じてもPythonプログラムが終了しない

  14. 14

    テキストフィールドの値に基づいて UIslider を移動します

  15. 15

    Chromeウェブアプリのウェブビューの高さの問題

  16. 16

    NGX-ブートストラップ:ドロップダウンに選択したアイテムが表示されない

  17. 17

    Reactでclsxを使用する方法

  18. 18

    STSでループプロセス「クラスパス通知の送信」のループを停止する方法

  19. 19

    Pushwooshで削除されたアプリデバイストークンを処理する方法は?

  20. 20

    ラベルとエントリがpythontkinterに表示されないのはなぜですか?

  21. 21

    Elasticsearchの場合、間隔を空けた単語を使用したワイルドカード検索

ホットタグ

アーカイブ