<div dir="ltr">I feel like I've seen similar behavior when multiple nodes in a RabbitMQ cluster are restarted at around the same time. I just posted last night about a similar outage we had with a 3 node cluster when two of the nodes were restarted at about the same time. Our post hasn't made it onto the list yet (moderated?) but hopefully it will today.<br><br>On Wednesday, October 9, 2013 1:43:19 PM UTC-7, Zach Austin wrote:<blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;"><div dir="ltr">The issue was resolved by restarting RabbitMQ on rabbit2.&nbsp; Not sure why this was required, especially after removing, resetting, and re-adding rabbit1.<br><br>On Wednesday, October 9, 2013 12:50:13 PM UTC-5, Zach Austin wrote:<blockquote class="gmail_quote" style="margin:0;margin-left:0.8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi All,<br><br>We're having an issue getting one machine in our rabbit cluster back up and running after a reboot affected two of the 4 servers in the cluster.<br><br>Here is the cluster layout:<br>rabbit1<br>rabbit2<br>rabbit3 (master)<br>rabbit4<br><br>rabbit1 and rabbit2 were rebooted.&nbsp; Rabbit2 successfully rejoined the cluster.&nbsp; Rabbit1 did not.&nbsp; Additionally, the rabbitMQ will no longer start on rabbit1.<br><br>Reviewing the log on rabbit1, I find: Mnesia on 'rabbit1' could not connect to node(s) ['rabbit2']<br><br>I can ping rabbit1 from rabbit2 and vice-versa.<br><br>What I've done so far:<br>1) Verified the erlang cookie values amongst all cluster nodes are identical<br>2) Verified the windows firewall is disabled on all cluster nodes.<br>2) Issued "rabbitmqctl forget_cluster_node rabbit1" on the rabbit3 master.<br>2) Deleted the mnesia database on rabbit1.<br>3) Successfully started RabbitMQ on rabbit1 (deleting mnesia DB did this).<br>4) Issued "rabbitmqctl stop_app", followed by "rabbitmqctl join_cluster rabbit3".<br><br>At this point, rabbitmqctl hangs after the "cluster node... with node... " line (I waited over 15 minutes).&nbsp; Reviewing the log on rabbit1 again, I find the same issue logged: Mnesia on 'rabbit1' could not connect to node(s) ['rabbit2']<br><br>Can anyone point me in the direction of what I should check next?<br><br>Thank you.<br><br>Zach<br></div></blockquote></div></blockquote></div>