gcp

Apache BeamでBigQueryに書き込む際エラーログを出力する

ZOZO Advent Calendar 2022 13日目の記事です。 今回はApache Beam v2.41辺りで導入されたBigQueryに書き込む際、エラーが発生した場合のエラーメッセージを出力できるようになったので紹介します。 経緯 エラーログを取得できるようにする 検証環境 実装 ま…

PythonでGCPの認証を行う

GCPの認証ってたまにどうやるんだっけ?って忘れてしまうので備忘録として残しておこうと思います。 今回はCloud Pub/Subを例に認証を行います。 今回使用する言語 予備知識 サービスアカウントを用いて認証 環境変数を用いる ファイルパスを指定して認証 デ…