Cassandra のクラスタ構築¶
ここでは Cassandra のクラスタ構築方法を紹介します。
クラスタの構成¶
Cassandraは、1台のみでの運用も可能ですが、大量のメッセージを扱う場合での負荷分散や冗長化を実現するため、クラスタ構成を構築することが可能です。Cassandra の一貫性保証 での通り、 IMBox では、一貫性の保証を「Quorum((ノード数+1)/2の数分の一貫性を保証)」を採用しているため、クラスタのノード数は、 3台以上 にすることを強く推奨します。コラム
本書では、例として、以下の構成にて説明します。
1台目のノード(シードノード): 192.168.0.1 2台目のノード: 192.168.0.2 3台目のノード: 192.168.0.3
ノードの追加¶
replication-factor とhostの変更
replication-factor (以下、RFと表記) とは、クラスタ内部でデータのレプリカを何個持つかという設定です。標準の1のままだと、該当のノードを持っているノードがダウンした場合にデータが参照できなくなります。IMBox では先述の通り一貫性の保証にQuorumを採用しているため、一貫性を保証するために下記表にあるRFの値を推奨します。
ノード数
RF値 (推奨値)
説明
1
1
3
3
RF値を2とした場合、どれか1ノードが停止した時点で一貫性が保証できなくなるため、 IMBox が動作しなくなります。
4 以上
3 以上でノード数以下
対障害性とノード毎のデータサイズを考慮のうえ、任意の値を設定してください。
設定方法
IM-Juggling にて、conf/cassandra-config.xmlを開き、<replication-factor>を任意の数値に変更し、hosts/host の設定を「127.0.0.1:9160」から Cassandra の稼働しているサーバのIPアドレスとポート番号に変更してWARファイルを作成しデプロイしてください。コラム
テナント環境セットアップをすでに実行して、IMBox環境を構築している場合は、以下の手順を行なってください。# %CASSANDRA_HOME%/bin/cassandra-cli.sh(または、cassandra-cli.bat)でcassandra-cliを実行。
[default@unknown] connect 127.0.0.1/9160;にて、 Cassandra に接続。
[default@unknown] use default;にて、IMBoxのKeyspaceを指定。
[default@default] update keyspace default with strategy_options={replication_factor:2};で、replication_factorを変更。
Waiting for schema agreement... ... schemas agree across the clusterと表示されれば、成功。
[default@default] exit;でcassandra-cliを終了し、 Cassandra を再起動してください。再起動後、
# /usr/local/cassandra/bin/nodetool repair (windowsの場合:C:/ > %CASSANDRA_HOME%/bin/nodetool repairを実行してください。
シードノードを指定します。
各ノードの<%CASSANDRA_HOME%/conf/cassandra.yaml>ファイルをエディタで開き、「seeds」プロパティに1台目のノード(192.168.0.1)をシードノードとして指定します。seed_provider: # Addresses of hosts that are deemed contact points. # Cassandra nodes use this list of hosts to find each other and learn # the topology of the ring. You must change this if you are running # multiple nodes! - class_name: org.apache.cassandra.locator.SimpleSeedProvider parameters: # seeds is actually a comma-delimited list of addresses. # Ex: "<ip1>,<ip2>,<ip3>" - seeds: "192.168.0.1"各ノードで設定を行ったのち、 Cassandra を起動します。
以下のコマンドを実行し次のように各ノードが表示され、Effective-Ownershipの合計値が「RF * 100%」の値となっていることを確認できれば完了です。
# /usr/local/cassandra/bin/nodetool ring (windowsの場合:C:/ > %CASSANDRA_HOME%/bin/nodetool ring) Starting NodeTool Address DC Rack Status State Load Effective-Ownership Token 134073324684581098149220982299151052417 192.168.0.1 datacenter1 rack1 Up Normal 117.33 KB 88.35% 72029913264419379591431889264009303469 192.168.0.2 datacenter1 rack1 Up Normal 225.3 KB 59.54% 110436698385580468589163673403640885580 192.168.0.3 datacenter1 rack1 Up Normal 213.4 KB 52.11% 134073324684581098149220982299151052417コラム
Cassandra では、デフォルトで以下のポートを利用して他の Cassandra と通信を行いますので、Linuxの場合、iptablesやSElinux、Windowsの場合、ファイアーウォールの設定を必要に応じて設定変更してください。
- 9160 : クライアント接続ポート
- 7000 : ノード間通信ポート
- 7001 : ノード間通信ポート (ノード間通信にSSLを利用した時)
- 7199 : JMX接続ポート
クライアント接続ポート および ノード間通信ポート は、 <%CASSANDRA_HOME%/conf/cassandra.yaml> で設定されています。JMX接続ポート は、Linuxの場合には <%CASSANDRA_HOME%/conf/cassandra-env.sh> に、Windowsの場合には <%CASSANDRA_HOME%/bin/cassandra.bat> で設定されています。コラム
「シードノード」とは?
Cassandra クラスタ上で中心(ハブ)のように機能し、新規にクラスタに参加したノードは、 シードノードから、他のノードの状態情報を取得したり、クラスタ全体の情報を取得します。 シードノードがなくても、動作自体には問題ありませんので、シードノード自体が単一障害点にはなりませんが、 クラスタ内のノードの状態の変化の検出に時間がかかるようになります。