<div dir="ltr">If this is what I've seen before the cluster thinks C is node XYZ.  But you're trying to tell the cluster that C is really your new host YZX.  You need to remove the old node from the cluster to add your new node as a replacement for C.  Your new node tries to start up and thinks it should be part of the cluster because you just tried to join it, but the cluster refuses to accept the new node so it seems to hang.  I could be completely wrong on this though.<div>
<br></div><div>As I recall, there was a rabbitmqctl command to completely remove a node from the cluster, though I don't recall what it is off hand.  You could try doing that first and then adding your node?<br><div><br>
</div><div>Jason</div></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jul 7, 2014 at 6:30 AM, Mike Zraly <span dir="ltr"><<a href="mailto:mzraly@gmail.com" target="_blank">mzraly@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>[I tried posting this to the new group, rabbitmq-users, but got no response.  Google groups tells me rabbitmq-users only has 101 members now, compared to 1800 or so for rabbitmq-discuss, so I hope re-posting to the larger group will at least elicit some (non-meta) feedback.]</div>
<div><br></div>Hi all,<div><br></div><div>I am setting up a RabbitMQ cluster in an Amazon EC2 region.  Each host is in the same geographical region, so I do not expect network partitions in the sense that two members of the cluster are both running but cannot communicate with each other.  However it is reasonable to expect individual cluster hosts to be terminated and replaced with new hosts having the same hostname but a new IP address and a fresh install of RabbitMQ.  A typical use case for this is a rolling upgrade where we keep 2 of the 3 cluster nodes up at all times to continue providing service during the upgrade period.</div>
<div><br></div><div>What I hope is that the same post-install provisioning script that joins a newly created instance into the cluster will work for the new instance that is taking over for an older one.  What I am seeing is rabbitmqctl start_app hang.</div>
<div><br></div><div>The installation sequence is basically this:</div><div><br></div><div>install rabbitmq-server_3.3.1-1<br></div><div>enable management plugin</div><div>add health check user account with monitoring tag</div>
<div>add application user account</div><div>add HA policy '{"ha-mode": "all", "ha-sync-mode": "automatic"} for all application queues</div><div>service rabbitmq-server stop</div>
<div>set /var/lib/rabbitmq/.erlang.<u></u>cookie</div><div>reboot system (restarting rabbitmq server)</div><div>for each hostname 'target' that this host should join into a cluster with:</div><div>    if target is listening on port 5672</div>
<div>        rabbitmqctl stop_app</div><div>        if rabbitmqctl join_cluster target has non-zero exit status</div><div>            rabbitmqctl start_app</div><div><br></div><div>What I see if I start a cluster with hosts A, B, and C, then terminate instance C and replace it with a new instance that executes these same steps, is that rabbitmqctl join_cluster succeeds saying C is already part of the cluster, then rabbitmqctl start_app hangs.</div>
<div><br></div><div>What am I doing wrong?</div><div><br></div></div><br>_______________________________________________<br>
rabbitmq-discuss mailing list has moved to <a href="https://groups.google.com/forum/#!forum/rabbitmq-users" target="_blank">https://groups.google.com/forum/#!forum/rabbitmq-users</a>,<br>
please subscribe to the new list!<br>
<br>
<a href="mailto:rabbitmq-discuss@lists.rabbitmq.com">rabbitmq-discuss@lists.rabbitmq.com</a><br>
<a href="https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss" target="_blank">https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr">Jason McIntosh<br><a href="https://github.com/jasonmcintosh/" target="_blank">https://github.com/jasonmcintosh/</a><br>573-424-7612</div>
</div>