LogicMonitorを使用したAWSMSKのモニタリング

Amazon Managed Streaming for Kafka (MSK) は、Apache Kafka 上に構築されたアプリケーションの構築と実行を支援する AWS のサービスです。 Kafka は、多数のデバイスやアプリケーションから生成される小さなレコードやイベントの継続的なストリームを処理するように設計されたプラットフォームですが、Kafka 環境が効率的に実行されていることを確認するには、クラスター レベルとブローカー レベルの両方で Kafka 環境を適切に監視することが重要です。 LogicMonitor の AWS MSK モニタリングを使用して、クラウド Kafka インフラストラクチャと残りのハイブリッド インフラストラクチャからのデータを収集、視覚化、アラートする方法については、最新のブログ投稿をご覧ください。
所要時間
2019 年 8 月 22 日
ニュースレター

最新情報のメール配信を登録

最新のブログ、ホワイトペーパー、電子ガイドなどを直接受信ボックスにお届けします。

シェア
この記事で

Kafka(MSK)のAmazonマネージドストリーミングは AWSサービス これは、ApacheKafka上に構築されたアプリケーションの構築と実行に役立ちます。 Kafkaは、多数のデバイスおよびアプリケーションから生成された小さなレコードまたはイベントの連続ストリームを処理するように設計されたプラットフォームです。 

Kafka環境が効率的に実行されていることを確認するには、クラスターレベルとブローカーレベルの両方でKafka環境を適切に監視することが重要です。 これは、パフォーマンスのボトルネックを特定し、アプリケーションをスケーリングする必要がある時期を判断し、アプリケーションが低遅延でKafkaを介してメッセージを正常にストリーミングしていることを証明するのに役立ちます。

AWS MSKのサポートを含むように、モニタリングの対象範囲を拡大しました、およびブローカーとクラスターのメトリックを収集してアラートを出すためのXNUMXつのデータソースを提供します。 後 AWS環境を追加する 新しいサービスを有効にし、 import 監視を開始するための最新のデータソース。 クラスターとブローカーは自動的に検出され、グループ化されて管理が容易になります。

事前設定されたブローカーグラフ

さらに、クラスターとブローカーの両方が、ブローカーID、ノードタイプ、Kafkaバージョンなどの便利な自動プロパティを受け取ります。

MSKブローカーの自動プロパティ

Cloudwatch APIを使用して、LogicMonitorはAWSから直接ポーリングし、コントローラー数、パーティション数、使用ディスク、ネットワークトラフィックなどの有用なKafkaデータポイントの入力を開始します。 デフォルトのアラートしきい値は、潜在的な問題が検出されたときに高度な通知を提供します。 ベストプラクティスとして、次の点に注意することをお勧めします。

  1. 使用されたルートディスク:これは、ブローカーによって使用されるルートディスクのパーセンテージの測定値です。 ディスクがいっぱいになるとKafkaサービスが中断する可能性があるため、使用可能な空きディスク容量を監視することが重要です。 デフォルトでは、残りのスペースが5%以下に達したときにアラートを出すしきい値が含まれています。 
  2. アクティブなコントローラーの数:クラスターごとにXNUMXつのコントローラーのみをアクティブにする必要があります。 しきい値は、クラスター内に複数のアクティブなコントローラーが長期間存在する場合にアラートを出すように設定されています。
  3. オフラインパーティションカウント:これは、クラスター内でオフラインになっているパーティションの総数を測定します。 パーティションがオフラインになった場合、これはパーティションのレプリケーションを増やす必要があることを示している可能性があります。 これにより、フェッチが追いついていない場合にもブローカー数を増やす必要が生じる可能性があります。

LogicMonitorのAWSMSKモニタリングを使用すると、クラウドKafkaインフラストラクチャからのデータを収集、視覚化、アラートすることができ、他のハイブリッドインフラストラクチャと一緒にXNUMX枚のガラス板に収めることができます。 サインアップして 無料試用 して、高成長のクロスチャネル戦略の構築を始めましょう!

免責事項: このブログで述べられている見解は著者の見解であり、LogicMonitor またはその関連会社の見解を必ずしも反映するものではありません。

14日間フルアクセス LogicMonitor プラットフォーム