python
ZOZO Advent Calendar 2022 13日目の記事です。 今回はApache Beam v2.41辺りで導入されたBigQueryに書き込む際、エラーが発生した場合のエラーメッセージを出力できるようになったので紹介します。 経緯 エラーログを取得できるようにする 検証環境 実装 ま…
ZOZO Advent Calendar 2021 5日目の記事です。 Apache Beam2.34.0(Python)のバージョンにおいてwith_exception_handling機能が追加されたので紹介します。 with_exception_handlingについて 実装 開発環境 テーブル定義 実装 結果 まとめ with_exception_han…
GCPの認証ってたまにどうやるんだっけ？って忘れてしまうので備忘録として残しておこうと思います。 今回はCloud Pub/Subを例に認証を行います。 今回使用する言語 予備知識 サービスアカウントを用いて認証 環境変数を用いる ファイルパスを指定して認証 デ…
