これからデータ分析に携わる方々には必読！！
データエンジニアリングのコンセプトからGCP、特にBigQueryを始めとしたデータ基盤の本
データエンジニアリングのコンセプトからGCP、特にBigQueryを始めとしたデータ基盤の本
Google Cloudではじめる実践データエンジニアリング入門
商品の説明
AIやIoTが実用化フェーズに入りつつあるのみならず、デジタルトランスフォーメーション(DX)への注目の高まりによって、事業やサービスを取り巻くデータを分析・活用・管理するためのインフラであるデータ基盤の重要性が増しています。 データ基盤を構築するにあたり、先行する事例から、Google Cloud(Google Cloud Platform, GCP)はデータ領域に強みがある、あるいは、BigQueryは高速に動作するデータウェアハウスである、と聞いたことがある方は多いでしょう。
「データ基盤」そのものを体系的に整理しながら、Google Cloudの各サービスをどのように活用することで実用的なデータ基盤を構築できるか、また発展的なデータ分析ニーズに答えるデータ基盤をどのように設計できるか、といった点について解説しています。 特にGoogle Cloudはマネージドサービスを中心として提供されているため、その特性を正しくとらえることで、最大限の価値を発揮できるようになります。
実際にGoogle Cloudやオンプレミス、他のクラウドサービスを用いたデータ基盤の構築や設計に携わってきた筆者らによる一歩踏み込んだ解説が本書の特徴です。
・これからデータ基盤の構築に関わる可能性があるエンジニア
・Google Cloudや他のクラウドサービスを利用しており、これからデータ領域での活用を広げようとしている方
(目次)
第1章 データ基盤の概要
1.1 データ基盤に取り組む意義
1.2 データ基盤とは?
1.3 Google Cloud上で構築するデータ基盤
1.4 まとめ
第2章 BigQueryのコンセプトと利用方法
2.1 DWHとは
2.2 Googleのデータ処理を支える技術
2.3 BigQueryの内部アーキテクチャを理解する
2.4 DWHとしてのBigQueryの基本操作
2.5 BigQueryユーザー向けのクエリの最適化
2.6 まとめ
第3章 データウェアハウスの構築
3.1 データウェアハウスに求められるさまざまな要件
3.2 高可用性、Disaster Recovery計画
3.3 用途別の影響隔離
3.4 サイジング
3.5 目的環境別の影響隔離
3.6 テーブルを設計する
3.7 データの投入
3.8 バックアップとリストア
3.9 BigQueryにおけるトランザクションとパーティションを用いたDMLの最適化
3.10 DMLをまとめる/パーティションの利用
3.11 外部接続の最適化 - Storage APIの利用とBI Engineの利用
3.12 データマートジョブの設計最適化
3.13 まとめ
第4章 データレイクの構築
4.1 データレイクとは
4.2 Hadoopとは
4.3 Google Cloudで構築するデータレイク
4.4 Google Cloudのおもなデータレイク関連のサービス
4.5 Google Cloudでデータレイクを中心としたデータ分析基盤を構築することのメリット
4.6 オンプレミス環境からGoogle Cloudへのデータレイクの移行
4.7 まとめ
第5章 ETL/ELT処理
5.1 ETL/ELTとは
5.2 ETL/ELT 処理を実施するサンプルシナリオ
5.3 サンプルシナリオ実施用の環境の構築
5.4 BigQueryでのELT
5.5 BigQueryでのETL
5.6 DataflowでのETL
5.7 DataprocでのETL
5.8 サンプルシナリオ実施用の環境の破棄
5.9 その他のETL/ELT処理の実施方法
5.10 ETLとELTの各手法の使い分け
5.11 まとめ
第6章 ワークフロー管理とデータ統合
6.1 Google Cloudのワークフロー管理とデータ統合のためのサービス
6.2 Cloud Composerの特徴
6.3 Cloud Composerでのワークフロー管理
6.4 Cloud Data Fusionの特徴
6.5 Cloud Data Fusionでのワークフロー管理
6.6 Cloud ComposerとCloud Data Fusionの比較と使い分けのポイント
6.7 まとめ
第7章 データ分析基盤におけるセキュリティとコスト管理の設計
7.1 Google Cloud Platformのセキュリティサービス
7.2 Google Cloudのリソース構成とエンタープライズ向けの管理機能
7.3 IAMを利用したBigQueryのアクセス制御
7.4 IAMとAccess Control List(ACL)を利用したCloud Storageのアクセス制御
7.5 VPC Service Controlsを利用したアクセス制御とデータ持ち出し防止
7.6 監査
7.7 Security Command Centerを利用したデータリスクの検知と自動修復
7.8 組織のポリシーサービスの適用
7.9 アクセス管理とコスト管理の設計
7.10 まとめ
第8章 BigQuery へのデータ集約
8.1 BigQueryへデータ集約を行うメリット
8.2 BigQueryへのデータ集約の方法
8.3 BigQuery Data Transfer Service(BigQuery DTS)
8.4 BigQueryへのデータパイプライン構築
8.5 サービス間連携によるBigQueryへのデータ連携
8.6 まとめ
第9章 ビジネスインテリジェンス
9.1 BIとBIツール
9.2 コネクテッドシート
9.3 データポータル
9.4 Looker
9.5 BIツールと親和性の高いBigQueryの機能
9.6 まとめ
第10章 リアルタイム分析
第11章 発展的な分析
「データ基盤」そのものを体系的に整理しながら、Google Cloudの各サービスをどのように活用することで実用的なデータ基盤を構築できるか、また発展的なデータ分析ニーズに答えるデータ基盤をどのように設計できるか、といった点について解説しています。 特にGoogle Cloudはマネージドサービスを中心として提供されているため、その特性を正しくとらえることで、最大限の価値を発揮できるようになります。
実際にGoogle Cloudやオンプレミス、他のクラウドサービスを用いたデータ基盤の構築や設計に携わってきた筆者らによる一歩踏み込んだ解説が本書の特徴です。
・これからデータ基盤の構築に関わる可能性があるエンジニア
・Google Cloudや他のクラウドサービスを利用しており、これからデータ領域での活用を広げようとしている方
(目次)
第1章 データ基盤の概要
1.1 データ基盤に取り組む意義
1.2 データ基盤とは?
1.3 Google Cloud上で構築するデータ基盤
1.4 まとめ
第2章 BigQueryのコンセプトと利用方法
2.1 DWHとは
2.2 Googleのデータ処理を支える技術
2.3 BigQueryの内部アーキテクチャを理解する
2.4 DWHとしてのBigQueryの基本操作
2.5 BigQueryユーザー向けのクエリの最適化
2.6 まとめ
第3章 データウェアハウスの構築
3.1 データウェアハウスに求められるさまざまな要件
3.2 高可用性、Disaster Recovery計画
3.3 用途別の影響隔離
3.4 サイジング
3.5 目的環境別の影響隔離
3.6 テーブルを設計する
3.7 データの投入
3.8 バックアップとリストア
3.9 BigQueryにおけるトランザクションとパーティションを用いたDMLの最適化
3.10 DMLをまとめる/パーティションの利用
3.11 外部接続の最適化 - Storage APIの利用とBI Engineの利用
3.12 データマートジョブの設計最適化
3.13 まとめ
第4章 データレイクの構築
4.1 データレイクとは
4.2 Hadoopとは
4.3 Google Cloudで構築するデータレイク
4.4 Google Cloudのおもなデータレイク関連のサービス
4.5 Google Cloudでデータレイクを中心としたデータ分析基盤を構築することのメリット
4.6 オンプレミス環境からGoogle Cloudへのデータレイクの移行
4.7 まとめ
第5章 ETL/ELT処理
5.1 ETL/ELTとは
5.2 ETL/ELT 処理を実施するサンプルシナリオ
5.3 サンプルシナリオ実施用の環境の構築
5.4 BigQueryでのELT
5.5 BigQueryでのETL
5.6 DataflowでのETL
5.7 DataprocでのETL
5.8 サンプルシナリオ実施用の環境の破棄
5.9 その他のETL/ELT処理の実施方法
5.10 ETLとELTの各手法の使い分け
5.11 まとめ
第6章 ワークフロー管理とデータ統合
6.1 Google Cloudのワークフロー管理とデータ統合のためのサービス
6.2 Cloud Composerの特徴
6.3 Cloud Composerでのワークフロー管理
6.4 Cloud Data Fusionの特徴
6.5 Cloud Data Fusionでのワークフロー管理
6.6 Cloud ComposerとCloud Data Fusionの比較と使い分けのポイント
6.7 まとめ
第7章 データ分析基盤におけるセキュリティとコスト管理の設計
7.1 Google Cloud Platformのセキュリティサービス
7.2 Google Cloudのリソース構成とエンタープライズ向けの管理機能
7.3 IAMを利用したBigQueryのアクセス制御
7.4 IAMとAccess Control List(ACL)を利用したCloud Storageのアクセス制御
7.5 VPC Service Controlsを利用したアクセス制御とデータ持ち出し防止
7.6 監査
7.7 Security Command Centerを利用したデータリスクの検知と自動修復
7.8 組織のポリシーサービスの適用
7.9 アクセス管理とコスト管理の設計
7.10 まとめ
第8章 BigQuery へのデータ集約
8.1 BigQueryへデータ集約を行うメリット
8.2 BigQueryへのデータ集約の方法
8.3 BigQuery Data Transfer Service(BigQuery DTS)
8.4 BigQueryへのデータパイプライン構築
8.5 サービス間連携によるBigQueryへのデータ連携
8.6 まとめ
第9章 ビジネスインテリジェンス
9.1 BIとBIツール
9.2 コネクテッドシート
9.3 データポータル
9.4 Looker
9.5 BIツールと親和性の高いBigQueryの機能
9.6 まとめ
第10章 リアルタイム分析
第11章 発展的な分析
商品の詳細 - 色・サイズ
色に関して、撮影状況やご使用のパソコン環境により、実物と多少色が異なる場合がございます。サイズに関して、ブランドや商品によって実際のサイズと異なる場合がございますので、ご不明な場合は、出品者にお問い合わせください。
| サイズ | 指定なし |
|---|---|
| フリーサイズ | ○ |
Google CloudのCustomer Enginner。Web系企業の研究開発職、データ分析企業のエンジニアマネジャーを経て2017年より現職。 テクノロジーを活用したデータの価値創出に興味があり、興味の赴くままに仕事をしていると気づいたらクラウドプラットフォーマーに所属していた。
現在は、小売業界のお客様を中心にGoogle Cloudの導入や活用をお手伝いしており、データ基盤のお仕事が多め。BigQuery以外で好きなGoogle CloudのプロダクトはDataflowとDataproc。 Dataflowはもっと活用が広がってもいいし、Dataprocはもっと評価されてもいいと常々思っている。分かりやすい。GCPによるデータ分析基盤の俯瞰理解に良い
送料・発送方法
※配送方法が複数ある場合はカート内にて変更ができます。
※配送会社の状況等によって、商品到着日が遅れる場合がございます。あらかじめご了承ください。
| 配送方法 | 送料 | 追跡 | 配送目安 |
|---|---|---|---|
| その他(配送無料) | ￥0 | なし | ５日～１０日 |