サービス

様々なデータI/F方式への対応
データの連携元からのI/F方式、或いは連携元へのI/F方式は、昔ながらの固定⻑/可変⻑のファイルによるI/F、業務アプリケーションのデータベースへのダイレクトアクセスによる読込み/書込み、APIによるI/Fなど、データのソース/ターゲットにより多種多様です。加えて、昨今では非構造化データに対応する必要も有ります。また、I/F一回当たりのデータ量やタイミングも考慮する必要が有ります。

データ連携方式の考慮
データの連携の方式も、I/F方式との関連性も有りますが、ETLツールで実装したジョブによる連携、ShellやSQLによる連携、データベースに付随する機能を使用した連携、クラウドプラットフォームのパイプライン機能による連携など多岐に渡ります。これらがデータソース/ターゲット毎に異なると、運用スコストが増大する傾向が有ります。オンプレミス/クラウドの選定も含め、可能であれば統一したアーキテクチャを策定することがコストの削減に繋がります。

DWH、データレイク、データマート製品の選定を支援します
オンプレミス、クラウド拘わらず、RDB製品も含め多種多様なDWH向け製品が存在します。これらを選定する際に、何を選んで良いのかわからないとお困りの方も多いと思います。DWH製品を選定する際には、データ量のみならずエンティティのデザインや蓄積するデータの粒度、保管期間や使用方法、さらにはサイジングの変更のし易さや可溶性、セキュリティ等の様々な要素を考慮する必要が有ります。
弊社はこれまでの経験と実績を基に、お客様の使用用途に最適な製品の選定支援を行います。

DWHの効率的な構築を支援します
データを可能な限りプールすることを前提としたデータレイクや、使用するアプリケーションに依り仕様が決定されるデータマートはともかく、ことDWHに付いては、その構築時に、適切なエンティティ設計をしどこまで最適化するのか、或いはしないのか、インデックスをどう貼るのか、レコードのライフサイクルを考慮する等のデータモデリングを行う必要があります。これらを適切に行うには相応の経験が必要であり、着手したけれどもやり切れなかったというケースも多く耳にします。
弊社はこれまでに多くのDWHを構築してきました。この実績と経験でお客様のDWH構築を効率的に支援します。

バッチアプリケーションの運用方式策選定を支援します
バッチアプリケーションを運用するには、オンプレミスではJP、System Walker等の専用のアプリケーションを使用する方法やCron等で時刻起動する方法が、クラウドではAWS BatchやCloud RunJobsを使用する方が有ります。またコンテナの使用も選択肢に入れると非常に多岐に渡ります。
弊社は、お客様のバジェットやバッチ処理の実情に合わせて適切な運用方法策定を支援致します。

監視方式についてもお任せください
監視方式についてもご相談を承ります。お客様の実情に合わせた最適な提案を行います。

データ‧ファブリックの必要性
複数のアプリケーションからI/Fされたデータを使用して、何らかの処理を行いたい場合やDWHの共通エンティティにデータを格納したい場合など、I/F元の複数のアプリケーションの使用により、類似したレコードであってもデータコンディションが異なる場合があります。例えば、一方のアプリケーションでは入力必須だった項目に、もう片方のアプリケーションではNull値が格納されていたり、一方のプリケーションでは全角文字で統一されているのに、もう一方のアプリケーションでは半角文字の使用が許されていたり等、挙げれば枚挙に遑が有りません。
これらの差異を検出し、必要に応じてデータの修正を行い、データを標準化する為にデータ‧ファブリックは必要とされます。

データ‧ファブリック製品の選定
データ‧ファブリックを実現するには、専用の製品を導入する他に、ETLで当該機能を実装する選択肢も有ります。お客様の実情やバジェット、データ量やデータの品質等を考慮し、最適なプランを提案します。

欲しいデータが見つからない
BIツールでレポートを作成する際など、必要な項目が、どのシステムのどのデータベースのどのテーブルに在る何という項目か判らないというケースは多いと思います。項目名から判断出来たとして
も、実際に格納されているデータが想定通りだとは限りません。情シスに問い合わせても判らない事も多いと聞きます。
結果、欲しいデータが見つからず、レポートが作れない、作ったは良いけれど数字が期待値と異なる等の不具合が生じる事となります。

データ‧カタログ製品導入のベスト‧プラクティス
このような状況を解決する為に使用されるのが、データ‧カタログ製品です。幾つか製品が発売され
ており、最近ではAI対応を謳う製品も増えてきました。しかし、データ‧カタログ製品の導入も一筋
縄ではいきません。
多くのデータ‧カタログ製品は、基本的にはカタログを作成する対象のデータベースのテーブルのメ
タデータを自動収集し、項目にタグ‧ラベル‧コメントを付加し、どのようなデータが格納されてい
るかを可視化して必要なデータを探しやすくする、というコンセプトで作られています。
確かにメタデータに詳細な情報が含まれていれば目的を果たす事は出来るでしょう。しかし、現実は
そうでは有りません。多くの場合、カタログに必要な情報は不足し、マンパワーで情報を捕捉する必
要が有ります。この部分の見積を誤ると、データ‧カタログ製品の導入は失敗する事となります。
弊社は過去の実績と経験から、データ‧カタログ製品導入のベスト‧プラクティスを提供します。

改善すべき手作業が多い
メールによるデータの終配信やExcelによるレポートの作成など、マンパワーを必要とする業務は意外と多く残っているものです。改善しようにも、ずっとこの方法でやっているから、等の理由でなかなか改善出来ないでいる事も多いと聞きます。手作業が多ければコストも掛かりますし、ミスが発生するリスクも有ります。
弊社は、業務とデータの流れをヒアリングし、手作業で行なっている業務を極力自動化し、業務全体を効率化する提案を行います。

埋もれたデータを発掘し、新たな価値を見出します
せっかくDWHを構築したのに、蓄積したデータを活用し切れていない。集計済のデータが有るのに気付かず無駄な集計作業を行なっていた。という声も多く聞きます。
弊社は、現状の課題の解決は勿論、業務フローとデータフローのアセスメントを行い、埋もれていたデータを発掘し、データに新たな価値を見出します。

DWHを最大限に活用する
DWHも、蓄積したデータを十二分に活用してこそその真価を発揮します。視点を変えて分析すれば、思わぬ結果が得られる事も多々有ります。
弊社は、今までの実績と経験から、定番の分析手法の提案を行います。また、異なる視点からのデータ分析も模索します。

サポート‧アップデートが終了
Qlick社はTalend社を買収し、同時に無償版のTalend Open Studioのサポートとアップデートを終了しました。Talend Open Studioは、スタンドアロンのETLジョブ実装ツールとしては極めて高機能でしたから、使用されていたユーザーの方も多いと思います。
これに伴い、Talend Open Studioで実装したジョブをそのまま使い続けるべきか、他のツールに移行すべきなのかという問い合わせを多く頂きます。

Talend Open Studioで実装した既存資産の取扱い
Talend Open Studioで実装した既存資産の扱いには幾つかの選択肢が有ります。
お客様のバジェットや環境、データ量、運用方法等をヒアリングさせて頂き、最適解を提案します。

既存ジョブの仕様がわからない
Talend Open Studioで実装したジョブを他のツールに移行しようとした場合、仕様がわからず移行作業が出来ないというケースもよく聞きます。ETLツールですので、ドキュメント自体が存在しない事もよくあります。

リバースエンジニアリングもお任せ下さい
移行元のジョブの仕様がわからない場合はリバースエンジニアリングを行う必要が有りますが、この際にはTalend Open Studioを熟知し、扱いに精通している方がスムーズに作業出来ます。
弊社はTalend社のサブコンストラクターとして活動していた時期も有りますので、どこよりも早く正確に作業を行うことが可能です。