ブログコーナーへようこそ

Data Lake Vs Data Warehouse
データレイクとデータウェアハウスは、あらゆる組織にとって生命線とも言える存在です。より正確なデータを保有する組織は、他社に対して競争優位性を築き、成功を収める可能性が高まります。 近年、あらゆる組織が自社に適した形式でのデータ保存に注力しています。各組織はビジネス目的でのデータ分析を重視し、独自のデータウェアハウスを構築しています。 ユーザーはデータレイクとデータウェアハウスを広く活用していますが、その使い分けはそれぞれの目的に基づいています。 データレイクは、用途が特定されていない膨大なデータの集まりであるのに対し、データウェアハウスは、特定の目的のために構造化・フィルタリング・処理されたデータの格納庫であるという点で定義されます。 これら2つのうちどちらが優れているかについては、依然として議論が続いています。しかし、私の考えでは、データウェアハウスよりもデータレイクの方が優れています。そこで、データウェアハウスと比較した際のデータレイクの利点について見ていきましょう。 データレイクとデータウェアハウス:その違いとは? データレイクとデータウェアハウスは、しばしば同義語として使われますが、同じものではありません。 両者の主な違いは、以下の4つの項目に分けて説明します。 データ構造:生データ(Raw)対 処理済みデータ(Processed) データレイクとデータウェアハウスの最大の違いは、データの構造(生データか処理済みデータか)にあります。データレイクは生データや未処理のデータを格納するのに対し、データウェアハウスは処理・フィルタリングされたデータを格納します。 データレイクはデータウェアハウスに比べて容量が大きく、格納された生データや未処理データは、あらゆる目的に応じた分析や機械学習への活用に最適です。 データレイクを運用する際には、適切なデータ品質管理やデータガバナンスの体制を整える必要があります。 データウェアハウスは処理済みのデータのみを格納するため、経済性に優れています。 利用目的:未定か、それとも特定されているか データレイクは利用目的が定義されていないため、あらゆる用途に適しています。対照的に、データウェアハウスは特定の目的のために処理済みのデータを受け入れる仕組みであり、ストレージを効率的に利用できます。 ユーザー:データサイエンティスト対ビジネス部門 データレイクには「生データ(ローデータ)」が格納されますが、こうした未加工のデータを分析するには専門的な知識が必要です。通常、データを理解し、具体的なビジネス用途に活用できる形に変換するには、データサイエンティストや、適切なスキル・ツールを持つ人材が求められます。 一方、処理・加工やフィルタリングが施されたデータであれば、チャート、スプレッドシート、表、プレゼンテーション資料などの形式で、ビジネス部門や個人を問わず誰でも利用可能です。こうしたデータを利用する際には、データの提示方法(見せ方)に慣れているだけで十分です。 アクセシビリティ:柔軟性か、それとも堅牢なセキュリティか アクセシビリティとは、データリポジトリの利用しやすさを指します。データレイクのアーキテクチャには決まった構造がないため、利用における柔軟性が高いという特徴があります。 一方、データウェアハウスは外部からの侵入を許さない構造になっており、データの操作には多大なコストを要しますが、その分、非常に高いセキュリティが確保されています。 データレイクが利用される理由 統合データリポジトリ 必要な時に、様々な場所にあるデータにアクセスするのは非常に困難です。例えば、Salesforceの売上記録、データベース上の顧客情報、Google Analyticsのトラフィックデータなどが挙げられます。 これらすべてのデータを統合して分析しようとすると、作業は非常に複雑で困難なものになります。 データレイク(Data Lake)であれば、これらすべてのデータを一か所に集約し、統合的に分析することが可能です。これにより、データ探索や分析を行うための基盤が整います。 包括的なクエリ実行 多くの企業が利用するトランザクションデータは、クエリを実行しやすい形式で記録されていますが、APIの維持管理には多大なコストがかかります。一方、データをデータレイクに格納すれば、SQLが持つ強力な機能や柔軟性を最大限に活用できるようになります。 パフォーマンス 本番稼働中のデータベースに直接アクセスすると、アプリケーションのパフォーマンスに悪影響を及ぼす可能性があります。特に大量のデータを必要とするクエリは、トランザクション処理用のデータベースでは最適に動作しないことが多いためです。 データレイクは、そのようなアドホックな分析クエリに使用されます。データレイクのリソースをスケールアップすることで、さらに高速にデータをクエリできるようになります。 進捗 次の段階へ進むために必要なデータを一か所に集約することは、すべてのデータが単一のデータウェアハウスに存在する場合にのみ可能となります。 そのようなウェアハウスであれば、データレイクを基盤として適切なモデリングを実装できます。モデリングを行うことでデータのクレンジングがなされ、エラーの発生や作業の重複を抑えることが可能になります。 データレイクの活用によるメリット データレイクを利用する最大の利点は、あらゆる種類のデータを低コストで一か所に集約・保存できることです。ビジネスにおいては、適切な意思決定を行うために、プロセスのあらゆる段階でデータを分析する必要があります。 データ品質の向上 データレイクが持つ強力な機能を活用し、適切なツールを用いることで、データの品質を高めることができます。 経済性 あらゆる種類のデータをデータレイクという一か所に集約することは、断片化されたシステムやトランザクション指向のデータウェアハウスを利用する場合に比べて、経済的です。 高度な分析 データウェアハウスとは異なり、データレイクでは、機械学習やディープラーニングのアルゴリズムを用いて、膨大かつ一貫性のあるデータを活用することが可能です。これはリアルタイムのデータ分析にも役立ちます。 単一のデータ基盤 データウェアハウスではデータが様々なソースから供給されますが、データレイクでは、構造化データ、非構造化データ、そして未加工(ロー)データがすべて一か所に統合​​されています。 結論 上記の表は、データレイクとデータウェアハウスの比較を分かりやすく示しています。これまでの議論から、データレイクを利用するメリットは明らかです。 データの民主化、コスト、分析機能、そしてSQLのパフォーマンスという点において、データレイクはデータウェアハウスよりも優れています。 一見単純なことのように思えるかもしれませんが、これら2つの用語の違いを理解することは、データから価値を引き出し、より適切なビジネス上の意思決定を行い、市場での競争優位性を獲得する上で極めて重要です。
Cyber Resilience vs. Cybersecurity
組織は、攻撃やデータ侵害が避けられないものであると認識する必要があります。サイバー犯罪者は、フィッシング、マルウェア、あるいは内部関係者による脅威といった手法を用い、人、システム、アプリケーションの脆弱性を突いてインフラに侵入し、機密情報を盗み出そうとします。 サイバーセキュリティ上の不備に見舞われた企業は、単に機密情報を失うだけではありません。そうした事態は市場価値の低下や信用の失墜を招き、競争力を損なうことにもつながります。 サイバーレジリエンスとサイバーセキュリティ あらゆる損失からビジネスを真に守るためには、セキュリティを包括的(360度)な視点で捉える必要があります。 そのためには、サイバーレジリエンスとサイバーセキュリティの違いを正しく理解することが不可欠です。そうすることで、事前の備えや事後の対応において、どのような懸念事項やアクションが必要になるかについての洞察も得られるでしょう。 サイバーレジリエンス サイバーレジリエンスとは、何らかの原因で生じた業務の中断から、可能な限り迅速に回復する能力のことです。これは、強固な事業継続計画やサービス提供計画の策定に重点を置いています。組織はこれにより、サイバー攻撃を予測し、それに耐え、最終的に生き残るための能力を獲得します。 新たな種類のシステム脅威やウイルスに関する情報は、絶えず耳にすることになります。そのため、予防的なセキュリティ対策だけに依存するビジネスは許されません。適応力を高め、迅速に回復することは、ビジネスにとって極めて重要なプロセスです。 適切なレジリエンスを備えていれば、正常な状態への迅速な復旧が容易になります。これは、ITセキュリティ侵害が発生した際の、迅速な検知と対応のための戦略です。サービス品質を損なうことなく侵害による影響を最小限に抑えることが、組織の主要な取り組みとなります。 適切な情報・データリスク管理を行うことで、被害の軽減が容易になります。さらに、将来的な脆弱性を予測することも可能です。サイバーレジリエンスは、事後の包括的な影響レポートの作成を支援し、それによって影響範囲を明確に把握し、新たな防御体制を構築するのに役立ちます。 サイバーセキュリティ サイバーセキュリティとは、組織のインフラストラクチャとデータを包括的に保護することを指します。これは、オンプレミスおよびオフプレミスの環境を保護するための一連の技術やプロセスを包含するものです。 サイバー犯罪者は、組織内の脆弱性や死角を突いて侵害を試みます。そのため組織は、適切なウイルス対策ソフト、暗号化技術、ファイアウォールなどを導入し、相互に接続されたシステム、ネットワーク、アプリケーションを保護する必要があります。サイバーセキュリティにおいては、これらすべての要素がシステム内で適切に統合され、機能している状態を確保することが求められます。また、各プログラムは常に最新の状態に保たれ、正常に動作している必要があります。 サイバーセキュリティは、サイバー上の脆弱性に対するセキュリティ対策を統合し、従業員や顧客、そして企業の機密情報やデータを保護するものです。適切な規制やコンプライアンス要件を遵守しつつ、不正なアクセスや利用を防止・阻止することが、サイバーセキュリティの主要な目的です。 結論 サイバーレジリエンスとサイバーセキュリティは密接に関連しており、サイバーレジリエンスはしばしばサイバーセキュリティの一部と見なされます。いずれにせよ、両者は互いに補完し合うことで、より包括的なセキュリティ体制を確立します。これにより、企業はサイバー脅威やそれによる被害から、エンドツーエンドの保護を享受できるようになります。 データのセキュリティとインフラのセキュリティは、規模の大小を問わず、あらゆる組織にとって最優先事項であるべきです。最新の技術やサービスの導入は必要不可欠であり、多くのメリットをもたらしますが、同時に新たなセキュリティ上の死角を生じさせる可能性もあります。 既存のシステムや手法であれ、新しいものであれ、能動的かつ継続的な保護体制を構築することは不可欠です。だからこそ、どのような状況においても、サイバーセキュリティとサイバーレジリエンスにリソースを投資することは、決して間違いのない選択なのです。
Behavior Analytics
UBAはどのように運営されていますか? ユーザー行動分析(UBA)は、ユーザー・エンティティ行動分析(UEBA)とも呼ばれます。UEBAのアーキテクチャ全体において、機械学習は重要な役割を果たします。 機械学習(ML)を活用することで、各ユーザーの通常の行動を定義し、測定することができます。行動測定の手順は、各ユーザーの過去の活動履歴に基づいています。 これらの活動履歴は、ユーザーの他のピアグループと比較され、すべてが一定のパターンに従っていることを確認します。 システムが異常な活動を検出した場合、スコアリングメカニズムを通じて集計され、各ユーザーにリスクスコアが付与されます。 前回のブログでは、市場で入手可能な優れたUEBAツールについていくつかご紹介しました。今回のブログでは、UEBAの応用を理解するために、UEBAの主要なユースケースをいくつか見ていきます。 ユーザー行動分析の4つのユースケース Forcepoint – 米国の主要防衛請負業者 Forcepointは、テキサス州オースティンに本社を置く、著名なサイバーセキュリティ企業です。同社は現在、ユーザー行動分析(UEBA)分野における主要なソリューションプロバイダーの一つとしての地位を確立しています。 同社は、資産およびリソースのセキュリティ確保という課題に直面していた、米国の主要な防衛請負業者に対し、支援を提供しました。 これに加え、当該の防衛請負業者は、オフィス内のIPアドレスのセキュリティ強化も求めていました。また、同業者は米国国防総省(ペンタゴン)とも連携しており、クラウドベースの技術利用が拡大する中で、新たな課題に直面していました。 Forcepointは、この課題を自社のソリューションを実証する絶好の機会と捉えました。 同社は当該業者に対し、以下の項目を含む複数のソリューションを提供しました。 ForcepointのDLPソリューションは、組織内のユーザー行動を継続的に監視・分析し、差し迫った脅威を検知した場合には即座にアラートを発します。 その結果は、当該の防衛請負業者にとって極めて大きな成果をもたらすものでした。4万人を超える従業員が、セキュリティ上の脅威を懸念することなく、安全に業務を継続できる環境が実現したのです。 Arubaは、Hewlett Packard Enterprise(HPE)傘下の企業です。同社は、UEBA(ユーザーおよびエンティティ行動分析)ソリューションの提供において高い専門性を有しています。 Maxedaは、実店舗とオンラインという両方のチャネルにおいて、シームレスな「モバイル・リテール体験」を創出できるソリューションを求めていました。また、自社の各種サービスを支える基盤(プラットフォーム)として機能するWi-Fi環境の導入も希望していました。 さらにMaxedaは、全チャネルにわたるITインフラの標準化を目指していました。加えて、大規模なシステム展開(デプロイ)を円滑に支援してくれるソリューションを求めていました。 これらの要件をすべて把握した上で、Arubaは、屋内および屋外の双方に対応した「高密度インスタントアクセスポイント(IAP)」を組み込んだソリューションを提案しました。 また、同社はPoE(Power over Ethernet)スイッチも提供しました。これはマスター・スイッチとして機能し、そこからすべてのネットワークスイッチを一元的に管理・制御することが可能となります。 さらにArubaは、「AirWave」ソリューションも提供しました。このソリューションは、ネットワーク管理、レポート作成、および脅威発生時のトラブルシューティングにおいて、極めて高い有効性を発揮します。 これらのソリューションをシステムに組み込み設定を完了させた結果、同社は320店舗以上にわたる全拠点で、一貫性のある安定したネットワーク接続環境の構築に成功しました。そして何よりも重要な点として、現在ではネットワーク管理全体を「単一のビュー(一元化された画面)」から包括的に可視化・管理できる環境が実現したのです。 IBM QRadar – Atea Sverige QRadarは、IBMが提供する製品の中でも特に優れたものの一つです。本製品は、ユーザーの行動分析(UBA)を専門としています。内部脅威の検知や個別のリスクスコアリングといった機能を備えたこのIBMソリューションは、長年にわたり数多くの顧客に利用され、その安全確保に貢献してきました。 Atea Sverige ABは、情報技術(IT)インフラおよびサービスの提供において業界をリードする企業です。 サイバー脅威がますます頻発する現代において、公共部門の安全を確保するため、Ateaは中小規模の組織のセキュリティ強化に向けた独自の取り組みを開始しました。 欧州連合(EU)がセキュリティ要件を義務化したことにより、多くの中小企業はセキュリティポリシーの見直しや変更に迫られ、対応に苦慮していました。 こうした市場環境に変化をもたらすべく、同社が採用したのが「QRadar SIEM」です。このツールは、インシデントが検知されるたびにアラートを発し、未知の脅威に対しても自動的に対処を行います。 IBMソリューションの支援を受け、Ateaは顧客のオンプレミス環境に対し、迅速に「システム・オン・チップ(SOC)」を展開しました。これらのSOCは、顧客のセキュリティレベルを向上させるためにAteaが提供した独自のソリューションです。 この取り組みの成果は目覚ましいものでした。Ateaはわずか6ヶ月という短期間で、すべての顧客に対しSOCの導入を完了させることに成功したのです。 Observe IT — ベインキャピタル 1,200社を超える顧客を抱え、100カ国以上で事業を展開するObserve ITは、UEBA(ユーザーおよびエンティティ行動分析)市場において、まさに一大旋風を巻き起こす存在となっています。 同社は2006年に創業して以来、企業に対し、ユーザーの活動状況や、現在および将来の脅威に対する明確な可視性を提供することで、ビジネスセキュリティの確保という一点に特化して事業を展開してきました。 一方、ベインキャピタル(Bain Capital)は、マサチューセッツ州ボストンに拠点を置く投資会社です。 今日、投資会社はますますデジタル化への依存度を高めています。しかし、こうしたデジタル化の潮流は、多くの企業を様々な脅威にさらす結果にもつながっています。 ベインキャピタルにとって、脅威検知に使用していた従来のレガシーツールは、エンドポイントへの負荷があまりにも大きいという課題を抱えていました。その結果、セキュリティ上の「死角」が多数生じ、外部からの侵入を容易に許してしまうような脆弱性が残されてしまっていたのです。 こうした状況を是正するため、ベインキャピタルはObserve […]
Blockchain
多くの人々は、ブロックチェーン技術に対する熱狂はすでに過ぎ去ったと考えています。今やそれは、あらゆるテクノロジーカンファレンスで頻繁に耳にするような、単なる流行語ではなくなりました。それでは、ブロックチェーン技術の未来がどのようなものになるのか、具体的に見ていきましょう。 現在では、ブロックチェーンの有用性は金融分野に限られたものであり、ビジネスアプリケーションにおいてはそれほど大きな価値を持たないのではないか、と見なされるようになっています。今日の産業界における新たな技術トレンドは、より複雑化し、データ指向を強めており、そのセキュリティを確保するためには、より高度な技術が求められています。 ブロックチェーン技術には、公共サービスを含む多くの産業分野において、ビジネスプロセスに革命をもたらす潜在能力が秘められています。しかし、近い将来においてもその有用性を維持し続けるためには、ブロックチェーン自体のさらなる改良(アップグレード)が必要不可欠です。 2021年において、ブロックチェーン技術がもたらす恩恵を最大限に享受するためには、企業側が多大な時間と労力を投入する必要があります。 フェデレーテッド・ブロックチェーンの台頭 フェデレーテッドブロックチェーン(コンソーシアムブロックチェーンとも呼ばれる)は、誰でも参加できるパブリックブロックチェーンとは異なり、事前に選定された参加者のみを受け入れます。しかし、分散性が低いため、個々の参加者の権限が大きくなります。 Hyperledger、Corda、Quorumは、フェデレーテッドブロックチェーンの例です。 これらのブロックチェーンは、参加者が事前に検証され、悪意のある参加者が見つかった場合は排除されるため、仮想通貨に特化していません。 パブリックブロックチェーンでは、膨大な数の参加者や、金銭的利益を得るために複数のIDを同時に使用する参加者が存在するため、このような排除は現実的ではありません。 フェデレーテッドブロックチェーンの台頭は明らかです。これは、参加者が事前に検証されている小規模なグループや組織にとって有用であり、パブリックブロックチェーンに比べて以下のような利点があるからです。 速度ネットワーク内のユーザー数が少なく、参加者同士の相互作用も限定的であるため、パブリックブロックチェーンと比較して処理速度が向上します。 スループットフェデレーテッドブロックチェーンでは、処理および合意形成のプロセスが迅速であるため、1秒あたりにより多くの合意形成(トランザクション処理)が可能となります。 プライバシーブロックチェーン上に保存されるデータはコンソーシアムの内部に留まるため、高いプライバシー性が確保されます。 複数組織による利用フェデレーテッドブロックチェーンを利用することで、複数の組織がそれぞれの利益のために同一のネットワークを活用することが可能になります。 透明性フェデレーテッドブロックチェーンでは、事前の検証プロセスを経ることで参加者間の相互作用の透明性が高まり、システム全体の追跡可能性(トレーサビリティ)が向上します。 暗号資産市場はステーブルコインに支配されるのか? ステーブルコインとは、価格が他の暗号資産にペッグされた暗号資産のことです。これらのコインは暗号資産市場で存在感を増しています。ビットコインは時価総額と人気でトップを走っていますが、現実はそう単純ではありません。 最近、PayPalが顧客によるビットコインでの取引を可能にしたことは、暗号資産市場における画期的な出来事です。 暗号資産の用途は急速に拡大していますが、価格変動、特に上昇傾向は、ビットコインが主流の暗号資産となる上での懸念材料となっています。 そこで、ペッグ型暗号資産であるステーブルコインが、普及と主流化を可能にする鍵となります。これらのステーブルコインは、裏付けとなる資産によって支えられているからです。 ステーブルコインは、事実上あらゆる資産によって裏付けられる可能性があり、価格変動を安定させるためには、米ドルが最もよく用いられます。 ステーブルコインが暗号資産市場を支配し、ビットコインに取って代わる可能性がある理由は以下のとおりです。 低ボラティリティ価格変動が少ないことは、個人や企業を惹きつけるステーブルコインの大きな利点の一つです。ビットコインの場合、現在の保有者にとっても、あるいはビットコインやその他の暗号資産を自社のシステムに組み込もうとしている人々にとっても、その適正価格を見極めることは極めて困難です。 正当な通貨としての地位ステーブルコインの価格安定性は、暗号資産の世界において「正当な通貨の選択肢」としての地位を確立するものであり、やがてはビットコインが現在享受している人気をも凌駕することになるでしょう。なぜなら、現在の暗号資産市場は、日々の価格動向においてビットコインを指標として追随する形で進化を続けているからです。 未来の通貨ビットコインの当初の構想は、非中央集権的かつ分散型の決済システムを構築することにありました。しかし現実はその構想とは大きく異なり、当初とは別の展開をたどることとなりました。その結果として、高い流動性を持ち、価格変動が極めて少なく、かつ金融機関との連携が可能な、新たな形態の暗号資産が登場することとなったのです。 ブロックチェーン技術を活用する企業 ブロックチェーンはその知名度を高め、現在では多くの産業で活用されています。業界における新たな技術トレンドの台頭に伴い、多くの企業がブロックチェーン技術の導入を開始しました。 ヘルスケア、サプライチェーン、行政、保険、銀行、不動産など、多岐にわたる産業分野において、ブロックチェーン技術の活用が進んでいます。これは、同技術がもたらす多大なメリットが広く認識されるようになったためです。 かつては銀行・金融分野に特化した技術と見なされていたブロックチェーンですが、今やその影響力は他の様々な産業へと波及し、変革(ディスラプション)をもたらし始めています。 ブロックチェーン技術を活用している主な企業は、以下の通りです。 金融・銀行 Barclays(バークレイズ)Barclaysは英国第2位の銀行であり、資金移動やKYC(本人確認)プロセスの効率化にブロックチェーン技術を活用しています。また、これら2つの分野に関する特許も出願しています。 HSBC紙ベースの記録から完全に脱却し、完全デジタルかつ分散型の保管プラットフォームへと移行するため、HSBCはブロックチェーン・プラットフォームの構築を計画しています。 Visa企業間(B2B)決済サービスの提供に向け、Visaはブロックチェーン技術の導入を進めています。 サプライチェーン Unilever(ユニリーバ)サプライチェーンにおけるあらゆる取引を追跡・管理するため、Unileverはブロックチェーンを活用しています。 Walmart(ウォルマート)Walmartは長年にわたり、ブロックチェーン技術の熱心な推進者であり続けています。同社はIBMのサプライチェーン技術を活用し、生産者(農家)から顧客の手元に届くまでの食品の流通経路を追跡しています。 Ford(フォード)Fordもまた、ブロックチェーン技術を活用している著名な企業の一つです。同社はIBMと連携し、サプライヤーから調達する原材料の追跡にこの技術を用いています。これにより、真正な製品(正規品)を確実に調達できる体制を整えています。 ヘルスケア FDA(米国食品医薬品局)FDAもまた、ヘルスケア分野におけるソリューション開発に取り組んでいます。同局は「Hyperledger(ハイパーレジャー)」を活用してプラットフォームを構築し、医療データの安全な管理・保護を実現しています。 DHLDHLは現在、医薬品の製造元から最終的な顧客の手元に届くまでの全流通経路を追跡可能にするための、概念実証(PoC)に取り組んでいます。 Pfizer(ファイザー)Biogen(バイオジェン)とPfizerは、医薬品に関する記録の追跡およびデジタル在庫の管理を目的とした概念実証(PoC)を完了しました。 保険 AIA Group同社はブロックチェーン技術を導入し、文書や保険契約データを安全な通信経路を通じてリアルタイムに共有できる体制を構築しました。 MetLife(メットライフ)MetLifeはNTUCおよびSPHと共同で、「LifeChain(ライフチェーン)」を開発しました。このシステムにより、故人のご遺族は故人が保険に加入していたか否かを確認できるほか、保険金の請求手続きを自動的に行うことが可能になります。 Prudential Financial(プルデンシャル・ファイナンシャル)保険業務における不正行為を防止し、顧客に対してより質の高いサービスを提供するため、同社はブロックチェーン技術を活用しています。 パンデミック下におけるブロックチェーンの利点 ブロックチェーンが、ウイルスの拡散を直接的に阻止するわけではありません。しかし、その分散型の特性を活かすことで、ブロックチェーンは世界規模での情報共有を実現する最適なツールとなり得ます。改ざん不可能な台帳(分散型台帳)を活用することで、医療従事者は疾病に関する信頼性の高いデータを確実に取得できるようになります。 結論 ブロックチェーン技術は、多岐にわたる産業分野で活用されていることから、今後も長期にわたり存続していくと考えられます。追跡管理への応用や、データプライバシーの保護機能が強化されたことにより、その有用性は一層高まっています。 ステーブルコインは、その人気が定着するにつれて、暗号資産(クリプト)市場において主導的な地位を確立していくでしょう。価格変動の小ささと金融機関との連携が進んでいる点が、同技術が社会の主流として定着することを確実なものにしています。 また、医療、銀行、保険、サプライチェーンなど、多くの企業がこの技術を導入していることからも明らかなように、パンデミック下にある現在の状況においても、ブロックチェーン技術がもたらす利点は広く認識されています。
Open-source MLOps Tools
MLOps(Machine Learning Operations)は、既存のDevOpsの実践手法にAIデータサイエンスを組み込む概念であり、その略称として用いられます。 これらの要素が導入されることで、チーム間の連携やコミュニケーションが円滑化され、機械学習(ML)のライフサイクルプロセス全体が改善されます。 MLOpsは、機械学習の技術を既存のアプリケーション開発やIT運用(IT Operations)と統合することで、運用の効率を最大限に高めます。 さらに、機械学習の導入は、品質管理、パイプライン構築、モニタリング、パッケージング、その他多数のプロセスにおいて、堅牢な自動化システムを構築する助けとなります。 優れたオープンソースのMLOpsツールは、低コストかつ制約のない環境下で、必要なあらゆるリソースへのアクセスを可能にし、ユーザーに極めて自由度の高い運用プラットフォームを提供します。これにより、組織は単一のプラットフォーム上で、より広範なチーム連携の機会と、柔軟性の高い運用体制を実現できるようになります。 ここでは、オープンソースのMLOpsツール トップ9をまとめました。 Metaflow Metaflowは、コードベースのMLOpsシステムです。Pythonとの親和性が高く、R言語もサポートしています。当初はNetflix社内で開発され、データ管理やモデルのトレーニングに活用されていました。 2019年よりオープンソースツールとして公開されています(R言語版の「Metaflow for R」は2020年より公開)。さらに、MetaflowはAWSクラウドを基盤として動作します。AWS環境下において、高度な組み込みストレージ機能、コンピューティングリソース、および各種MLサービスとの連携機能を提供します。 このオープンソースのMLOpsツールは、特に本番環境向けのパイプライン構築やデプロイ(展開)に重点を置いています。また、実行環境となるインフラストラクチャ・スタックに対して、統一されたAPIレイヤーを提供します。これにより、多種多様なプロジェクトや大規模なチームのニーズにも、迅速かつ柔軟に対応することが可能です。 MLReef MLReefは、堅牢でありながら直感的に操作できるオープンソースのMLOpsプラットフォームです。初心者、経験豊富な実務者、そしてエンタープライズ(企業)の各レベルに対応した選択肢を提供します。これは、機械学習(ML)開発の信頼性と効率性を飛躍的に向上させる、エンドツーエンドのMLプラットフォームです。 初心者向け – 共通のコードベースを採用しており、必要なあらゆるサポートを受けられる大規模なコミュニティが用意されています。 経験者向け – Gitをベースとしたバージョン管理機能を活用することで、DevOpsに関する煩わしさを一切排除し、スムーズにMLプロジェクトを構築できます。進捗状況や成果を確実に追跡・管理するための、合理化されたコラボレーション環境を提供します。 エンタープライズ向け – クラウド環境またはオンプレミス環境のいずれにおいても、ML関連の活動に対して最大限のスケーラビリティと統制力を提供します。 MLReefは、いくつかの簡単な初期設定とチュートリアルを通じて、機械学習プロジェクトをモジュール単位で開発できるよう、適切に構築されたフレームワークを備えています。また、チーム、予算、およびナレッジを管理するための、安全性の高いプラットフォームでもあります。 MLRun MLRunは、Iguazio社が提供する、機械学習アプリケーションの開発からデプロイまでをエンドツーエンドで高速化するMLOpsソリューションです。機械学習のライフサイクル全体および分析プロセスを自動化・管理するための、迅速かつ安定したツールとして機能します。本ツールを活用することで、任意のフレームワーク上で機械学習のトレーニングパイプラインを構築することが可能になります。 MLRunは、自動化されスケーラブルなMLOpsオーケストレーション機能を提供し、モデルのパフォーマンス監視を支援します。主な機能は以下の通りです。 ZenML ZenMLは、シンプルでありながら拡張性に優れた、オープンソースのMLOpsフレームワークです。クラウド環境とオンプレミス環境を迅速に切り替えて利用できる機能を提供します。ZenMLを活用することで、本番環境で利用可能な、再現性の高い機械学習(ML)パイプラインを構築することができます。 また、TensorBoard、TFMA、TFDVといった組み込み済みのヘルパー機能も備えており、パラメータや実験結果の比較・可視化を容易に行うことができます。 ZenMLの主な特長は以下の通りです。 MLflow MLflowは、4つのコンポーネントで構成される、広く普及しているエンドツーエンドの機械学習(ML)ライフサイクル管理プラットフォームです。現在の4つの構成要素は、MLflow Tracking、Projects、Models、Registryです。 単一ユーザーから大企業まで、規模を問わず対応できるよう設計されたMLflowは、Databricks上で提供される、極めて体系化されたソリューションです。特定のライブラリに依存しない設計となっており、あらゆるプログラミング言語で使用可能です。 主な特徴は以下の通りです。 Seldon Seldon Coreは、Kubernetes上での機械学習モデルの迅速なデプロイを実現する、オープンソースのフレームワークです。Kubernetes環境において、実験的なモデルを大規模かつスムーズにデプロイすることを可能にします。 また、CI/CDツールと連携させることで、デプロイの規模を拡張したり、モデルを常に最新の状態に維持したりすることも可能です。 Seldonの主な利点は以下の通りです。 Bodywork Bodyworkは、モデルのトレーニングおよびデプロイのパイプラインを自動化するためのプラットフォームです。多くの人々が「DevOps」の領域とみなす、定型的かつ反復的なタスクに対して、自動化サービスを提供します。 Bodywork MLOpsフレームワークは、コードを適切な場所に効率的に送り届け、最適なタイミングで実行します。このプロセスにより、モデルが確実に適切にトレーニングされ、必要な時にいつでも利用可能な状態が維持されます。 本プラットフォームを利用することで、機械学習エンジニアは、モデルのスコアリングサービスをコンテナ化し、K8s(Kubernetes)上にデプロイすることが可能になります。また、コードの継続的なデリバリーやデプロイの自動化においても、機械学習エンジニアを強力に支援します。 Pachyderm 2014年に設立されたPachydermは、シンプルさを兼ね備えた、堅牢なデータバージョン管理用MLOpsツールです。 これはGitに似た機能を持ち、データサイエンスプロジェクトにおける機械学習(ML)データのバージョン管理およびデータリネージ(来歴管理)を提供するデータサイエンスツールです。データリネージをエンドツーエンドのパイプラインと統合して管理します。 Pachydermは、その迅速かつ正確な追跡機能や、再現性の高さを強みとしており、データサイエンスエンジニアやチームにとって最適な選択肢となります。 さらに、企業がAI関連の規制やコンプライアンス基準に常に準拠し続けるための支援も行います。これにより、チームはプロジェクトの環境をいつでも完全に再現することが可能になります。また、スケーラブルなML/AIパイプラインの構築を支援するとともに、使用するプログラミング言語、フレームワーク、ツールに対して極めて高い柔軟性を発揮します。 […]
Open Source Node.js based CMS
なぜ、オープンソースのNode.jsベースCMSが必要なのか? CMS(コンテンツ管理システム)と聞くと、多くの人がWordPressやJoomla、その他数多くの類似プラットフォームを思い浮かべることでしょう。しかし近年、開発者たちの関心は、Node.jsベースのCMSへと移りつつあります。Node.jsベースのCMSは、堅牢かつ一貫性があり、かつユーザーフレンドリーなウェブサイトを構築できるという強みを持っており、今やウェブ開発者たちの間で第一の選択肢となっています。また、オープンソースのNode.jsベースCMSであれば、開発者は比較的高い自由度を確保できるため、個々の要件に完全に合致したウェブサイトを構築することが可能となります。 オープンソースシステムであるため、無料で利用できるうえ、容易にカスタマイズを行うことができます。 本記事では、ウェブサイトの変革に役立つ、主要なオープンソースのNode.jsベースCMSに焦点を当ててご紹介します。 Node.jsベースのオープンソースCMSトップ8 Nodebeats NodebeatsはMEANフレームワークをベースとしたCMSであり、多くのユーザーから支持されています。主な特徴は以下の通りです。 特徴: ApostropheCMS ApostropheCMSは、Node.jsをベースとした無料かつオープンソースのCMSであり、以下のような特筆すべき機能を備えています。 主な機能: PencilBlue これは、現代のウェブサイトに求められるあらゆる要件を満たす、初の本格的なオープンソースかつNode.jsベースのCMSです。その主な特徴をいくつかご紹介しましょう。 特徴: TaracotJS TaracotJSはReactJSをベースとしたプラットフォームであり、Windows、macOS、Linuxに対応しています。主な特徴は以下の通りです。 特徴: Buckets Bucketsは、Node.jsをベースとしたオープンソースのCMSであり、その高速な動作と優れたユーザーインターフェースで人気を博しています。その主な特徴を見ていきましょう。 特徴: Strapi Strapiは、以下の機能を備えた、最も代表的なヘッドレスCMSプラットフォームの一つです。 主な機能: Sanity Sanityは、ReactJSプラットフォームを基盤として構築された、オープンソースかつNode.jsベースのCMSです。主な特徴は以下の通りです。 特徴: Ghost Ghostもまた、ReactJSをベースとしたヘッドレスCMSであり、投稿、ブランディング、ページなどを自由にカスタマイズすることができます。その主な特徴をいくつかご紹介しましょう。 重要なポイント: 近年、企業の間では、無料かつカスタマイズ性に優れているという理由から、オープンソースのNode.jsベースのCMSをウェブサイト開発に活用しようとする動きが広がっています。 さらに、これらに加えて、豊かなユーザー体験、読み込み時間の短縮、プラットフォーム連携など、数多くのメリットも提供しています。