Apache Kafkaは、リアルタイムストリーミングデータを高速かつ効率的に処理できることで知られています。 また、スケーラブルで耐久性があることでも知られているため、複雑なエンタープライズグレードのアプリケーションに最適です。 もちろん、Kafkaの背後にある概念に不慣れな人は、それがどのように機能するかを理解するのに時間がかかることに気付くかもしれません。
メッセージング、ストレージ、およびストリーム処理機能の独自の組み合わせのおかげで、Kafkaはリアルタイムおよび履歴データ分析の両方に最適です。 それでは、このプラットフォームとそれを監視するプロセスについて知っておくべきことを詳しく見ていきましょう。
内容
- Apache Kafkaとは何ですか？
- Apache Kafkaはどのように機能しますか？
- なぜカフカはとても人気があるのですか？
- ApacheKafkaのユースケース
- カフカを監視する方法
- ApacheKafka+マイクロサービス
- アパッチ カフカ + Kubernetes
- まとめ
Apache Kafkaとは何ですか？
Apache Kafkaは分散データストアの一種ですが、それがユニークなのは、リアルタイムストリーミングデータ用に最適化されていることです。 ストリーミングデータとは、複数（たとえば、数千）のデータソースによって同時にかつ絶えず生成されているデータを指します。 これらの大量のデータストリームを処理して効率的に処理するには、ApacheKafkaのような特別なプラットフォームが必要です。
Apache Kafkaは、リアルタイムストリーミングデータを効率的に処理できるため、この種のデータを処理するパイプラインとアプリケーションの基盤となる完璧なインフラストラクチャです。 多くの企業は、アプリケーションが相互に通信するのを支援するメッセージブローカープラットフォームとしてApacheKafkaも使用しています。
Apache Kafkaはどのように機能しますか？
Kafkaを他と一線を画す重要な要素は、XNUMXつのメッセージングモデルをつなぎ合わせて、パーティション化されたログモデルを作成する方法です。 Kafkaで使用されるパーティションログモデルは、キューイングとパブリッシュ/サブスクライブのXNUMXつのモデルの最良のものを組み合わせたものです。
キューイングは、複数のコンシューマーインスタンスがデータ処理を処理して分散ソリューションを作成できるため、広く使用されているモデルです。 ただし、従来のキューにはXNUMXつのサブスクライバーしか存在できません。 一方、パブリッシュ/サブスクライブモデルはマルチサブスクライバーソリューションを提供しますが、すべてのサブスクライバーがすべてのメッセージを受け取るため、作業の分散はできません。
これらの欠点を解決するために、Kafkaはこれらのモデルをつなぎ合わせました。 Kafkaが使用するパーティション化されたログモデルでは、ログはレコードの順序付けられたシーケンスを表し、特定のレコードが特定のサブスクライバーに直接送信されるようにパーティション化できます。 言い換えると、Kafkaのモデルではマルチサブスクライバー設計が可能ですが、ログをセグメント化またはパーティション化して作業をより効率的に分散できるようにすることで、スケーラビリティーが向上します。
さらに、Kafkaのモデルは再生可能性も作成します。これにより、アプリケーションはストリーミングデータを読み取るときに互いに独立して動作し、別のアプリによってすでに処理されている情報を失うことなく、それぞれが独自の速度で動作します。
なぜカフカはとても人気があるのですか？
Apache Kafkaは、従来の最高のキューと最高のパブリッシュ/サブスクライブモデルを組み合わせたパーティションログモデルのおかげで、独自のソリューションを提供します。 さらに、このような効率でリアルタイムストリーミングデータを処理できる、市場で数少ないデータストレージソリューションのXNUMXつです。
全体として、Kafkaを非常に人気のあるものにするXNUMXつの利点があり、それらはその速度、スケーラビリティ、および耐久性です。 Kafkaは、データストリームを分離することにより、非常に低いレイテンシで非常に高速なソリューションを作成します。 さらに、その独自のモデルにより、ユーザーは複数のサーバーにワークロードを分散できるため、非常にスケーラブルになります。
最後に、Kafkaで採用されているパーティション分割方法により、分散可能で複製可能な作業が可能になります。また、すべてのデータがディスクに書き込まれるため、Kafkaはサーバー障害に対する保護を提供し、耐久性が高く、フォールトトレラントなソリューションになります。
ApacheKafkaのユースケース
Kafkaの機能は、リアルタイムのストリーミングデータや大量の履歴データを扱う企業に無数のメリットをもたらします。 ただし、Kafkaを選択したくない場合があります。 ここでは、Kafkaを使用する必要がある場合と、他の場所を検討する必要がある場合の状況について説明します。
いつ使うべきか
用途の広い一連の機能のおかげで、ApacheKafkaには次のような多くのユースケースがあります。
- メッセージング：メッセージブローカーには、それ自体で多くのユースケースがあります。信頼性の高いメッセージングソリューションを探している場合、Kafkaの高機能プラットフォームのスループット、レプリケーション、パーティショニング、およびフォールトトレランスに勝るものはありません。
- アクティビティトラッキング：ウェブサイトのページビューや検索など、アクティビティの種類ごとにトピックを作成することで、Kafkaは、複数の処理、監視、およびストレージアプリが必要に応じてサブスクライブできるパイプラインを再構築する能力が高くなります。
- メトリック: Kafkaは、分散アプリケーションからの統計を集約する機能を備えており、複数のデータソースの集中フィードを生成できるため、運用の監視に最適です。
- ログの集計：Kafkaは、ログとイベントデータをメッセージのストリームに抽象化することにより、従来のログ集約に代わる低レイテンシの代替手段を提供します。 Kafkaは、レプリケーションのおかげで耐久性が向上するというメリットもあります。
- ストリーム処理：Kafkaで生のストリーミングデータを処理し、カスタムデータパイプラインを使用してデータを集約、強化、または変換する機能は、Kafkaプラットフォームの最も価値のあるユースケースのXNUMXつです。
- イベントソーシング：イベントソーシングを使用してアプリケーションを設計する場合、企業は非常に大量の保存データをサポートできるインフラストラクチャを必要とするため、Kafkaは最適な選択肢です。
- コミットログ：外部コミットログを必要とする分散システムは、レプリケーションとログ圧縮機能のおかげでKafkaを利用できます。
ApacheKafkaができないこと
特定の状況では、次のような場合など、ApacheKafkaを避けたい場合があります。
- モノのインターネット： KafkaはITプロジェクトのリアルタイムソリューションと見なされていますが、モノのインターネット（IoT）ソリューションに必要なリアルタイムの信頼性を提供していません。 代わりに、これらのプロジェクトには、遅延、スパイク、および決定論的ネットワークがないことを意味する、ハードなリアルタイムソリューションが必要です。 Kafkaは単にこれらの要件を満たしていません。
- 安全関連データ： Kafkaがゼロレイテンシーの決定論的ネットワークを欠いているためにIoTデバイスで動作しないのと同様に、安全関連のデータにも使用できません。 これには、ロボット工学や車両安全システムなどの最新のアプリケーションが含まれます。
- ブロックチェーンのように機能する： Kafkaで使用される分散ログモデルはブロックチェーンアーキテクチャの概念に似ていますが、Kafkaを使用してブロックチェーンを置き換えることはできません。 そうは言っても、ブロックチェーンの「信頼できない」機能が必要ない場合は、Kafkaがよりシンプルで適切な代替手段になることがよくあります。
- 他のデータベースを置き換える： Kafkaはデータベースですが、ビジネスが依存する可能性のある他のデータベースを置き換えるのに適していることはめったにありません。 データベースを置き換えようとしている場合は、少し前に戻って、必要なものとKafkaが意図していることを理解することをお勧めします。
カフカを監視する方法
ほとんどのKafkaユーザーが手にする大量のワークロードを考えると、パフォーマンスを監視する（そして継続的に改善する）ためにKafkaを監視することは、長期的なユーザビリティと信頼性を確保するために重要です。 そうは言っても、次のような、注目すべきメトリックがいくつかあります。
- いくつのメッセージが出入りしていますか？ ホストネットワークの出入り率はどれくらいですか？
- ネットワークハンドラー、リクエストハンドラー、およびCPUのアイドル時間はどのくらいですか？
- 複製不足のパーティションはありますか？ リーダー選出率はいくらですか？
- どの消費者が遅れていますか？
正確なユースケースと要件によってKafkaの監視方法が変わりますが、このリストは、時間の経過とともに測定および追跡する必要のあるメトリックがわからない場合に、作業を開始するための良い出発点になります。
ベースラインを確立し、状況が逸脱したときに監視するだけでなく、新しいボトルネックやその他の新たな問題を警告することができます。監視は、情報を使用してKafka環境を最適化し、変更がどのように影響するかを理解することで、パフォーマンスを継続的に改善するのにも役立ちます。
ApacheKafka+マイクロサービス
マイクロサービスアーキテクチャは、モノリスを分解し、開発チームをシンプルで独立した機能または「サービス」の方向に導くことができるため、ビジネスの世界中で広く実装されています。 マイクロサービスの最大の利点は、各サービスを他のサービスとバンドルしてさまざまなアプリケーションやソリューションを作成できる一方で、相互に依存することなく独立した機能を削除または更新できることです。
マイクロサービスのスケーラビリティと再利用性は否定できませんが、マイクロサービスアーキテクチャを実際に実行する場合、最も重要な設計上の決定のXNUMXつは、サービスが相互に直接通信するか、メッセージブローカーが仲介者として機能するかを決定することです。 後者は多くの場合、より柔軟であると考えられており、ある程度の耐障害性を提供します。
マイクロサービスアーキテクチャの仲介者としてメッセージブローカーを使用することを選択したすべての企業の多くは、その役割を果たすためにKafkaを利用します。 これは、Apache Kafkaが、分散パーティションログモデルと、より効率的に機能するのに役立つ独自のメッセージング機能のおかげで、当然の選択であるためです。
この目的でKafkaを選択する理由は次のとおりです。
- Kafkaは他のシステムと簡単に接続できるため、既存の環境に簡単に統合できます。 Kafkaを使用して、データの一部またはすべてを転送し、レガシーシステムとの下位互換性を作成できます。
- Kafkaは、さまざまなタイプのデータにアクセスできるユーザーを制御するための集中管理システムを提供します。 これは、データガバナンスとコンプライアンス標準に最適であり、データを保護する負担を簡素化するのに役立ちます。
- Kafkaのクラスター化された設計は、フォールトトレランスとスケーラビリティを提供するのに役立ちます。これらは両方ともマイクロサービス環境の重要な機能です。 コンシューマーの数が変化したり、メッセージの数が増えたりすると、Kafkaは負荷を自動的に再調整できます。これは、稼働時間とパフォーマンスを維持するために不可欠です。
- Kafkaはあらゆるタイプのデータを処理できるため、マイクロサービス環境に非常に柔軟に対応できます。 ソリューションがサポートしていない他のタイプのデータで作業を開始した場合、別のメッセージングソリューションを選択すると、将来的に制限が生じる可能性があります。
全体として、Kafkaはマイクロサービス環境で使用するための非常に強力なソリューションと見なされています。 もちろん、メッセージングソリューションを選択することは、マイクロサービスアーキテクチャを設計するための唯一のステップではありません。 それに伴うすべての複雑さを考慮し、それがビジネスにとって正しい方法であるかどうかを判断することが重要です。
アパッチ カフカ + Kubernetes
Kafkaはその柔軟性で知られていますが、Kubernetesは、コンテナのデプロイ、スケーラビリティ、操作を自動化するのに役立つコンテナ管理システムを提供することで、その柔軟性を最大化することを約束します。 KafkaとKubernetesはともに、疎結合と高度にスケーラブルなインフラストラクチャを備えた分散型の独立したサービスを提供することにより、クラウドネイティブ開発プロジェクトに強力なソリューションを提供します。
Apache KafkaのインストールにKubernetesを選択する最大のメリットは、インフラストラクチャの抽象化を実現できることです。 一度設定すればどこでも実行できるため、Kubernetesを使用すると、アセットをプールしてリソースをより適切に割り当てることができ、運用チームがすべてのインスタンスを簡単に管理できる単一の環境を提供できます。
Kubernetesを使用してKafkaを実行することを検討している場合は、Kubernetesがどのように機能するかを理解することが重要です。 簡単に言うと、Kafkaはブローカーのクラスターとして実行され、さまざまなノードを使用してKubernetesにデプロイできます。 その後、Kubernetesは必要に応じてノードをリカバリし、最適なリソース使用率を確保するのに役立ちます。 このアプローチは、Kafkaで知られているフォールトトレランスもサポートします。
まとめ
Apache Kafkaは、リアルタイムストリーミングデータを適切に処理するためのプラットフォームを探している企業向けの柔軟なソリューションです。 Kafkaが提供するフォールトトレランス、分散、およびレプリケーション機能により、Kafkaはさまざまなユースケースに適しています。 さらに、マイクロサービスアーキテクチャのメッセージングソリューションとしても機能し、開発およびビジネス提供への新しいアプローチを追求するための確固たる支援を提供します。
これらすべてを念頭に置いて、ApacheKafkaが単に適切でない場合があります。 たとえば、IoTデバイス、安全関連データ、または真にゼロレイテンシのハードリアルタイムソリューションが必要なインスタンスを操作する場合、それは単にKafkaが行うように構築されているものではないため、他の場所を探す必要があります。
その情報を踏まえて、今がKafkaが提供するすべてを探索し、独自のユースケースの例を見つけることができるかどうかを確認する良い機会です。 に向かう カフカプロジェクトのウェブサイト 。