<div><div>Hi&nbsp;</div><div><br></div><div>we are running RabbitMQ v 2.8.4 in a two node cluster configuration.</div><div><br></div><div>we had an unplanned power outage and both the servers went down. when we tried to restart the rabbitmq servers, only rabbit2 node starts up and the node rabbit1 crashes on start.</div><div>we are running several mirrored queues between these nodes.one such queue "Aiken" contained more than 65K messages before the outage.Now rabbit1 wont start and rabbit2 starts fine but shows that there are only 109 old messages in the "Aiken" Queue.We are afraid if we have lost the messages from the rabbit1 crash.</div><div><br></div><div>Rabbit1 node crashes on startup on both conditions where rabbit2 was down and also when rabbit2 was up.</div><div><br></div><div>we could see the following message in the startup log,</div><div><br></div><div>BOOT FAILED</div><div>===========</div><div><br></div><div>Error description:</div><div>&nbsp; &nbsp;{badmatch,{error,{"/var/lib/rabbitmq/mnesia/rabbit@rabbit1/queues/1NGZF3JZJR0SU2C0VE2S25JRP/clean.dot",</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;eacces}}}</div><div><br></div><div>but could not understand what it actually means. But I am guessing rabbit1 and rabbit2 went out of sync.</div><div><br></div><div>rabbitmqctl status would yield the following message.</div><div>[root@rabbit1 ~]# rabbitmqctl status</div><div>Status of node rabbit@rabbit1 ...</div><div>Error: unable to connect to node rabbit@rabbit1: nodedown</div><div><br></div><div>DIAGNOSTICS</div><div>===========</div><div><br></div><div>nodes in question: [rabbit@rabbit1]</div><div><br></div><div>hosts, their running nodes and ports:</div><div>- rabbit1: [{rabbitmqctl7856,46808}]</div><div><br></div><div>current node details:</div><div>- node name: rabbitmqctl7856@rabbit1</div><div>- home dir: /var/lib/rabbitmq</div><div>- cookie hash: WYsTAr/DZ8KD7QQhMu5SSg==</div><div><br></div><div><br></div><div><div>logs are available here:&nbsp;</div>rabbit@rabbit1-sasl.log --&gt; &nbsp;https://docs.google.com/open?id=0B2mCr6qtz2xOS01YZndfTy1DWms<br><div>rabbit@rabbit1.log --&gt; &nbsp;https://docs.google.com/open?id=0B2mCr6qtz2xOcEYwcWl2RDV3YTg<br></div><div>startup_log --&gt;&nbsp;https://docs.google.com/open?id=0B2mCr6qtz2xOOHI2bXQ5OWw4TUE</div></div><div><br></div><div>Can anyone help me with ideas to recover rabbit1 ??</div><div>Is there a way to tweak the startup of Rabbit1 so that it would start as an independent node ?&nbsp;</div><div><br></div><div>The data in stake is really important. I would appreciate any help.</div><div><br></div><div>- Aravindh</div><div>&nbsp;</div><div><br></div></div><div><br></div><div><br></div>