A. Delta Lake はメタデータの処理を最適化し、数十億のファイルを効率的に管理し、ペタバイト規模のデータセットへの拡張性を促進します。

B. Delta Lake はバッチ モードとストリーミング モードの両方でデータをシームレスに処理できるため、データの取り込みと処理に柔軟性があります。

C. Delta Lake はさまざまなデータ形式 (Parquet、JSON、CSV など) に対応し、Spark および Databricks ツールと適切に統合されます。

D. Delta Lake はデータ パイプラインの監視とトラブルシューティングに対するサポートが限定的であるため、運用効率を高めるには、関連するパートナー ツールを特定して設定する必要があります。

A. 構造化ストリーミングは、特殊なハードウェアと I/O ストリームを使用して、データ転送のレイテンシを 1 秒未満に抑えます。

B. 構造化ストリーミングはメッセージング バスとして実装されており、Apache Kafka から派生しています。

C. 構造化ストリーミングは、データ ストリームに到着する新しいデータを、無制限のテーブルに追加される新しい行としてモデル化します。

D. 構造化ストリーミングは、GPU の並列処理を活用して、高度な並列データ スループットを実現します。

E. 構造化ストリーミングは、キャッシュされたステージの増分状態値を保持するノードの分散ネットワークに依存します。

A. ジョブ構成が適切であるため、マージします。

B. {{job.start_time.is_weekday}} は有効な値参照ではないため、拒否します。

C. 代わりに {{job.trigger_time.is_weekday}} を使用する必要があるため、拒否します。

D. {{job.start_time.is_weekday}} は UTC タイムゾーンであるため、拒否します。

A. 拡張dev.piiテストの説明

B. SHOW TBLPROPERTIES dev.pii テスト

C. DETAIL dev.pii テスト

D. SHOW TABLES dev

E. 履歴の説明 dev.pii テスト

A. SELECT COUNT (*) FROM customers WHERE email IS NULL OR phone_format_invalid = true

B. SELECT email_null_pct, phone_invalid_pct FROM (SELECT (COUNT(CASE WHEN email IS NULL THEN 1 END) *
100.0/COUNT (*)) as email_null_pct, (COUNT(CASE WHEN phone NOT RLIKE ''[0-9-+()\\s]+$' THEN 1 END)*
100.0/COUNT (*)) as phone_invalid_pct FROM customers)

C. SELECT CASE WHEN email_null_pct >15 AND phone_invalid_pct> 10 THEN 1 ELSE 0 END FROM (SELECT (COUNT (CASE WHEN email IS NULL THEN 1 END) * 100.0 / COUNT (*)) as phone_invalid_pct FROM customers) metrics

D. SELECT email, phone FROM customers WHERE email IS NULL AND phone NOT RLIKE ''[0-9-
+()\\s]+$'

A. ジョブ実行ログをエクスポートまたは削除するまで保持されます

B. 30日間保持され、その間にジョブ実行ログをDBFSまたはS3に配信できます。

C. 60日間保持され、その間にノートブックの実行結果をHTMLにエクスポートできます。

D. 90日間、またはカスタム実行構成を通じて実行IDが再利用されるまで保持されます。

E. 60日間保存され、その後ログはアーカイブされます

A. いいえ。変更データ フィードは挿入と更新のみを追跡し、削除されたレコードは追跡しません。

B. はい。Delta Lake ACID 保証により、DELETE コマンドが完全に成功し、これらのレコードが永続的に消去されたことが保証されます。

C. いいえ。Delta Lake の DELETE コマンドは、MERGE INTO コマンドと組み合わせた場合にのみ ACID 保証を提供します。

D. いいえ。削除されたレコードを含むファイルは、BACUM コマンドを使用して無効化されたデータ ファイルを削除するまで、タイム トラベルで引き続きアクセスできる可能性があります。

E. はい。変更データ フィードは外部キーを使用して、Lakehouse 全体での削除の一貫性を確保します。

A. 顧客テーブルはタイプ 2 テーブルとして実装されており、古い値は上書きされ、新しい顧客が追加されます。

B. 顧客テーブルはタイプ 0 テーブルとして実装されており、すべての書き込みは既存の値を変更せずに追加のみで行われます。

C. 顧客テーブルはタイプ 2 テーブルとして実装されています。古い値は維持されますが、最新ではないとマークされ、新しい値が挿入されます。

D. 顧客テーブルはタイプ 1 テーブルとして実装されており、古い値は新しい値によって上書きされ、履歴は保持されません。

A. 集約前に偏ったキーにランダムなプレフィックスを追加してソルトを使用し、プレフィックスを削除した後に再度集約します。

B. 集計前に偏ったユーザーを除外します。

C. Spark ドライバーのメモリを増やして再試行してください。

D. シャッフルを回避するには、groupBy の代わりに reduceByKey を使用します。

A. ノートブックを使用してバッチ データを読み込み、SQL ウェアハウスを使用してストリーミング データを取り込みます。Silver テーブルで Unity Catalog 列マスクを使用して、保存後にフィールドを編集します。

B. バッチおよびストリーミング取り込みに Lakeflow 宣言型パイプラインを使用し、PII マスキング関数を定義して、Delta Lake に書き込む前の Bronze 取り込み中に適用します。

C. 系統追跡のために PII をマスクせずに Bronze に保存し、レポートに使用される Gold テーブルにマスキング ロジックを適用できるようにします。

D. Lakeflow 宣言型パイプラインを使用してバッチ データとストリーミング データの両方を取り込み、読み取り時に Unity カタログ列マスクを介してマスキングを適用して、取り込み中にデータが変更されないようにします。

A. /jobs/get

B. /jobs/runs/get

C. /jobs/runs/get-output

D. /jobs/runs/list

E. /jobs/list

A.

B.

C.

D.

A. 分析チーム用にテーブルをディープクローンします。

B. CTAS ステートメントを使用して分析チーム用の新しいテーブルを作成します。

C. 分析チームに本番環境テーブルへの直接アクセス権を付与します。

D. 分析チーム用にテーブルを浅く複製します。

A. ジョブが実行されるたびに、挿入または更新されたレコードの履歴全体を使用してターゲット テーブルが上書きされ、目的の結果が得られます。

B. ジョブが実行されるたびに、挿入または更新されたレコードの利用可能な履歴全体がターゲット テーブルに追加され、多くの重複エントリが生成されます。

C. ジョブが実行されるたびに、元のバージョンと現在のバージョンの違いが計算されます。これにより、一部のレコードに重複したエントリが発生する可能性があります。

D. ジョブが実行されるたびに、前回の実行以降に挿入または更新されたレコードのみがターゲット テーブルに追加され、目的の結果が得られます。

E. ジョブが実行されるたびに、新しく更新されたレコードがターゲット テーブルにマージされ、同じ主キーを持つ以前の値が上書きされます。