RabbitMQ 対 Kafka

データの処理、保存、および送信は、私たちがコミュニケーションを取り、ビジネスを遂行する方法の中心です。 これには、さまざまなアプリケーション、ソフトウェア、およびモバイル デバイスを実装して複雑な Web を形成し、データと情報を処理することが含まれます。 プログラマーは、メッセージ ブローカーを使用して、この絶え間ない情報の流れを促進することがよくあります。

メッセージブローカーとPub/Subメッセージングシステムは、アプリケーション、サービス、システムが効果的に通信できるようにするために役立ちます。RabbitMQとApache Kafkaは、次のような重要な役割を果たすソフトウェアです。 データの処理 とメッセージを送信します。 以下は、RabbitMQ と Kafka について知っておくべきすべてのことです。

メッセージブローカーとは何ですか?

メッセージ ブローカーは、さまざまなシステム、サービス、アプリケーションが情報を交換し、相互に通信できるようにするソフトウェアです。簡単に言えば、メッセージ ブローカーは、Web アプリケーションなどのさまざまなサービスを構成する仲介者として機能します。 

このプロセスは、メッセージ ブローカーが異なるメッセージング プロトコル間でメッセージを変換するときに行われます。 相互に依存するサービスは、異なるプラットフォーム上にある場合や異なる言語で記述されている場合でも、相互に「対話」します。

メッセージブローカーは メッセージ指向ミドルウェア、または MOM ソリューション。 これにより、コンポーネント間のデータ フローを処理する手段が提供されるため、コア ロジックに集中できます。

メッセージ ブローカーと Kafka クラスターは、メッセージまたはドキュメントを検証、保存し、正しい宛先に送信できます。これは、送信者が受信者の場所を知らない場合や受信者がアクティブである場合でも実行できます。このプロセスには、システム内の分離が含まれます。

pub/sub メッセージング システムとは

パブリッシュ/サブスクライブ (Pub/Sub) メッセージング システムは、サービス間通信の一種です。 Pub/Sub は、主にマイクロサービスとサーバーレス アーキテクチャで使用されています。 Pub/Sub モデルは、トピックのすべてのサブスクライバーがパブリッシュ後すぐにメッセージを受信することを意味します。

Pub/Sub モデルを使用すると、非同期でメッセージを送信できます。これにより、タスクがまだ実行中であっても、他のイベントに応答する機能を維持しながら、プログラムで大規模なタスクを開始できます。

クラウド アーキテクチャでは、多くの場合、アプリケーションは分離または分離されています。 これらの小さな個別のビルディング ブロックは、開発と保守が容易です。 Pub/Sub メッセージングは​​、分散アプリケーションに即時通知を提供できます。

パフォーマンス、スケーラビリティ、および信頼性を向上させるために、アプリケーションの分離を可能にする Pub/Sub メッセージングを使用できます。 イベント駆動型アーキテクチャ. Pub/Sub モデルを構成する XNUMX つの基本概念があります。

• トピック： これは、メッセージを受信するサブスクライバーを維持するチャネルです。 メッセージをバッチ処理するキューとは異なり、メッセージ トピックはキューイングをほとんどまたはまったく行わずにメッセージを転送します。 
• 本文： メッセージは、サブスクライバーに知られることなく、パブリッシャーによってトピックに送信されます。 
• 出版社： これは、トピックにメッセージを発行するアプリケーションです。 パブリッシャーはホストとも呼ばれます。
• 加入者： これは、正しいメッセージを受信できるように、特定のトピックに自身を登録するアプリケーションです。

RabbitMQ とは?

RabbitMQ は、さまざまなルーティング シナリオで効果的なメッセージ配信を可能にするオープン ソース ソフトウェアです。オンプレミスでもクラウドでも機能するメッセージ ブローカーの一種です。 

このシステムには、データ メッセージを受信、配信、保存する機能があります。RabbitMQ は 2007 年にリリースされました。

• 建築： RabbitMQ には "こんにちは世界" 建築様式
• サポートされているプロトコルRabbitMQ は、AMQP (Advanced Message Queuing Protocol)、MQTT (Message Queuing Telemetry Transport)、STOMP (Simple Text Oriented Messaging Protocol)、HTTP など、複数のメッセージング プロトコルをサポートしています。
• プログラミング言語: RabbitMQ には、Java、Python、Ruby、.NET、Go など、ほとんどの一般的なプログラミング言語に対応したクライアント ライブラリが用意されています。この広範な言語サポートにより、さまざまな環境で開発されたアプリケーションとの統合が容易になります。
• フレームワークの統合: RabbitMQ は、さまざまなフレームワークやプラットフォームとシームレスに統合されます。たとえば、Java アプリケーションの場合は Spring Boot、Python ベースの分散タスク キューの場合は Celery、スケーラブルなネットワーク アプリケーションの構築の場合は Node.js と併用できます。
• プラグインと拡張機能: RabbitMQは機能を拡張するための多数のプラグインを提供しています。人気のあるプラグインには、 管理プラグイン RabbitMQノードとクラスターの監視と管理には、 シャベルプラグイン ブローカー間でメッセージを移動するための フェデレーションプラグイン 異なる RabbitMQ ブローカー間で接続し、メッセージを共有します。
• サードパーティツール: RabbitMQ は、監視用の Prometheus、視覚化用の Grafana、ログ記録と分析用の ELK スタック (Elasticsearch、Logstash、Kibana) などのサードパーティ ツールと適切に統合されます。
• 主な用途: Go、Elixir、Java、JavaScript、PHP、Python、 ルビー、Spring、Swift、.NET、および Objective-C です。 AMQP、HTTP、MQTT、プラグイン付きの STOMP などのプロトコルを提供します。 

RabbitMQ は主に、信頼性の高いバックグラウンド ジョブと高いスループットを処理するためのものです。 開発者は、アプリケーション内での相互通信と統合、および複雑なルーティングの実行にも使用します。 それが適している他のタスクには、次のようなものがあります。

• 高速な要求応答 Web サーバーの操作
• 負荷の高いワーカー間で負荷を分担
• 次のような長時間実行されるタスク PDF変換 または画像のスケーリング
• アプリケーション内およびアプリケーション間の一般的な統合と通信

RabbitMQ には、メッセージごとの保証と特定のルーティングのニーズがある場合に優れた機能を発揮できるメッセージ ブローカー設計があります。 RabbitMQ の特定の機能には、次のようなものがあります。

• RabbitMQ は非同期または同期で通信できます
• これは、Pub/Sub 通信と要求/応答パターンのバリエーションを使用する一般的なメッセージ ブローカーです。
• RabbitMQ のブローカーは、コンシューマーの状態を監視し、基本的に同じ速度で一貫したメッセージ配信を提供します
• Rabbit MQ は、Ruby、Java、およびクライアント ライブラリで適切に動作します

カフカとは？

Kafka も、Pub/Sub メッセージングを商業的にサポートするオープンソース システムです。Kafka は、2011 年にリリースされた RabbitMQ よりも新しいツールです。主にストリーミング シナリオとデータ再生用に構築されました。 

Kafka は、トピックと呼ばれるさまざまなカテゴリにレコードを保存します。各トピックでは、ソフトウェアはタイムスタンプ付きのメッセージのパーティション化されたログを保持します。

• 建築： Kafka には「イベント駆動型」アーキテクチャがあり、プラグイン アーキテクチャで拡張できます。Kafka プル ベースのシステムを使用して、Kafka コンシューマーが特定のオフセットからメッセージを要求できるようにします。 
• サポートされているプロトコル: Kafka は、クライアントと Kafka ブローカー間の通信に主にネイティブ プロトコルを使用します。このプロトコルは、高いパフォーマンスとスケーラビリティを実現するために最適化されています。
• プログラミング言語: Kafka クライアントは、Java、Python、C#、Go、Scala など、多数のプログラミング言語で利用できます。この幅広いサポートにより、開発者は好みの言語で記述されたアプリケーションに Kafka を統合できます。
• コネクタと合流ハブ: コネクタを構築および実行するための強力なツールである Kafka Connect は、Kafka とさまざまなデータ ソースおよびシンクとの統合を容易にします。Confluent Hub で利用できる一般的なコネクタには、データベース (MySQL、PostgreSQL など)、クラウド ストレージ (Amazon S3、Google Cloud Storage など)、その他のメッセージング システム (RabbitMQ、MQTT など) 用のコネクタがあります。
• ストリーム処理: Kafka Streams と ksqlDB は、Kafka トピック上で直接リアルタイム ストリーム処理を実行するための強力なツールです。これらのツールを使用すると、開発者は複雑なイベント駆動型アプリケーションやリアルタイム分析を簡単に構築できます。
• エコシステムツールKafka のエコシステムには、データ スキーマを管理および適用するための Schema Registry、外部システムを統合するための Kafka Connect、RESTful API を使用して Kafka と対話するための Kafka REST Proxy などのツールが含まれています。
• ビッグデータ統合: Kafka は、Apache Hadoop、Apache Spark、Apache Flink などのビッグ データ テクノロジーとシームレスに統合されます。これらの統合により、Kafka によって管理されるデータ ストリームで強力なデータ処理および分析機能が有効になります。
• 主な使用例: 使用例としては、ユーザーのクリック数や特定のページでの消費者グループの滞在時間を監視するなどのアクティビティ追跡があります。その他の使用例としては、リアルタイムデータ処理、運用指標、ログ集約、メッセージングなどがあります。複数の マイクロサービス 非同期で通信する必要があります。

Kafka には XNUMX つの基本コンポーネントがあります。 

• カフカ: アプリケーション間でストリームを共有できるようにするバックエンド アプリケーションです。
• カフカストリーム: これは Kafka 内のデータを変換します。アプリケーションを作成するための API により、クライアント アプリケーション内でデータ処理が可能になります。
• カフカコネクトこれは他のアプリケーションへのプラグ可能な統合であり、Kafka との間でデータを移動できます。

Kafka はアダプタ SDK を提供しているため、プログラマーは独自の統合システムを構築できます。ただし、技術的には、Kafka には Java クライアントが付属しています。Kafka のユーザーは、プラットフォームを操作して次の操作を行うことができます。

• 複雑なルーティングを実装することなく、A から B にストリーミング
• ストリーム処理とイベント ソーシング
• 多段階データパイプラインを処理する
• モデリングの変更を一連のイベントとして処理する
• データ ストリームの読み取り、保存、分析
• システムを定期的に監査する

RabbitMQ と Kafka の違いは何ですか?

一部の開発者は、これらのテクノロジを交換可能と見なす場合があります。 RabbitMQ と Kafka が似ている場合もありますが、プラットフォーム間には明確な違いがあります。 最終的に、RabbitMQ はメッセージ ブローカーですが、Kafka は分散型です。 ストリーミングプラットフォーム. XNUMX つの主な違いの XNUMX つは、Kafka がプルベースであるのに対し、RabbitMQ はプッシュベースであることです。

プルベースのシステムは、消費者がデータを要求するのを待ちます。 プッシュベースのシステムは、サブスクライブしたコンシューマーにメッセージを自動的に送信または「プッシュ」します。 したがって、これらのツールはそれぞれ、さまざまな状況で異なる反応を示します。 プル モデルは、そのデータが構造化されているため、Kafka にとって理にかなっています。 メッセージの順序は、ユーザーがより高いスループットとより効果的な配信のためにメッセージを活用できるようにするパーティション内にあります。

RabbitMQ には、プリフェッチ制限のあるプッシュ モデルがあります。 これは、低遅延のメッセージングでうまく機能します。 プッシュ モデルの主な目標は、メッセージを迅速かつ個別に配信することです。 また、メッセージがキューに到着したおおよその順序でメッセージを処理することも含まれます。

RabbitMQ はオープンソースであり、Pivo​​tal などのベンダーから商用サポートが提供されています。特にオンプレミスで実行する場合、メンテナンス コストにはインフラストラクチャと運用コストが含まれる場合があります。RabbitMQ はスケーラブルですが、クラスターの管理と高可用性の確保にはコストが増加する可能性があります。

Kafka もオープンソースであり、Confluent から商用サポートが提供されています。Kafka の分散型の性質により、クラスターの管理とデータ複製の確保が必要になるため、メンテナンス コストが高くなる可能性があります。Kafka は高スループットと低レイテンシを目的に設計されているため、特に大量のデータを処理するためにスケールアップする場合、インフラストラクチャ コストが増加する可能性があります。

RabbitMQ と Kafka のその他の基本的な違いには、次のようなものがあります。

• RabbitMQ は毎秒約 4K ～ 10K のメッセージを送信できますが、Kafka は毎秒 XNUMX 万のメッセージを送信できます。
• RabbitMQ には、スマート ブローカー/ダム コンシューマーであるコンシューマー モードがあります。 Kafka のモードは、愚かなブローカー/スマート コンシューマーです。
• RabbitMQ のメッセージ保持は、承認ベースです。 Kafka のメッセージ保持はポリシーベースです。
• RabbitMQ には、ペイロード サイズに関する制約はありません。 ただし、Kafka にはデフォルトで 1 MB の制限があります。

RabbitMQ と Kafka の類似点は何ですか? 

Kafka と RabbitMQ はどちらも、メッセージングを処理するという点で同じ一般的な目的を果たします。 これらは商業的にサポートされており、同様の役割を果たします。 彼らは、さまざまな能力でこれらの役割とタスクを遂行します。

両方 カフカ そして RabbitMQ は、非同期メッセージを使用してプロデューサーからコンシューマーに情報を送信します。 これらのプラットフォームはどちらも拡張性を考慮して構築されています。 ただし、それぞれをスケーリングする方法は異なります。 Kafka は水平スケーリングを実装しますが、RabbitMQ は主に垂直スケーリング用です。

RabbitMQ と Kafka: どちらを選ぶべきですか?

どちらを選択するかは、特定のプロジェクトの要件によって異なります。 たとえば、マイクロサービスに最適な選択肢を探している場合、タスクをブロックし、サーバーの応答時間を短縮するには、RabbitMQ が適しています。 ただし、Kafka は、ビッグ データの使用に適した高性能のルーティング アプローチを提供します。

次のシナリオでは、Kafka を使用する可能性があります。

• リアルタイムのデータ フローのグラフを生成するには、パイプラインが必要です
• メッセージをすばやく消費する必要がある
• 顧客がリプレイを見ることができるように、ストリーム履歴を必要とするアプリケーションが必要です

次のシナリオでは、RabbitMQ を使用する可能性があります。

• さまざまな要求/応答機能を必要とするアプリケーションがある
• レガシー プロトコルのサポートが必要なアプリケーションがある
• 明確なエンドツーエンドのアーキテクチャがない場合、柔軟性が必要

結論として、RabbitMQ は堅牢な汎用メッセージ ブローカーであり、Kafka はストリーミングとリプレイ用に最適化されたメッセージ バスです。 RabbitMQ と Kafka には多くの類似点がありますが、特定のプロジェクトに最適な選択を決定する際に留意すべき明らかな違いがあります。

---

LogicMonitor では、最先端の IT インフラストラクチャ監視および観測可能性ソリューションを企業に提供し、革新を起こし、従業員と顧客の両方に優れたエクスペリエンスを提供できるよう支援しています。

ビジネスを次のレベルに引き上げる準備はできていますか? 私達と接続 当社の包括的な監視プラットフォームが目標達成にどのように役立つかを今すぐご確認ください。