<div><div><div>Using RabbitMQ v2.8.5 on Ubuntu 11.10.&nbsp;Yes, I'm aware that version 3.0+ is now available...I'm just a bit behind in staying up to date :-)</div><div><br></div><div>RabbitMQ suddenly became unreachable by my clients. In particular, the amqp Python package raised ConnectionError: 541: (INTERNAL_ERROR, (0, 0), None). First thing I did was attempting to list the queues:</div><div><br></div><div><font face="courier new, monospace">$ sudo rabbitmqctl list_queues</font></div><div><font face="courier new, monospace">Listing queues ...</font></div><div><font face="courier new, monospace">Error: {aborted,{no_exists,[rabbit_queue,</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {amqqueue,{resource,&lt;&lt;"/"&gt;&gt;,queue,'_'},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; '_','_','_','_','_','_','_'}]}}</font></div><div><br></div><div>This was fairly cryptic to me since I'm not too familiar with the innards of RabbitMQ. Next I checked the status:</div><div><br></div><div><font face="courier new, monospace">$ sudo service rabbitmq-server status</font></div><div><font face="courier new, monospace">Status of node 'rabbit@ip-10-100-105-118' ...</font></div><div><font face="courier new, monospace">[{pid,879},</font></div><div><font face="courier new, monospace">&nbsp;{running_applications,[{rabbit,"RabbitMQ","2.8.5"},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {os_mon,"CPO &nbsp;CXC 138 46","2.2.5"},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {sasl,"SASL &nbsp;CXC 138 11","2.1.9.3"},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {stdlib,"ERTS &nbsp;CXC 138 10","1.17.3"},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {kernel,"ERTS &nbsp;CXC 138 10","2.14.3"}]},</font></div><div><font face="courier new, monospace">&nbsp;{os,{unix,linux}},</font></div><div><font face="courier new, monospace">&nbsp;{erlang_version,"Erlang R14B02 (erts-5.8.3) [source] [64-bit] [smp:8:8] [rq:8] [async-threads:30] [kernel-poll:true]\n"},</font></div><div><font face="courier new, monospace">&nbsp;{memory,[{total,128970944},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {processes,49035088},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {processes_used,36245608},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {system,79935856},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {atom,1182377},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {atom_used,1157674},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {binary,17554600},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {code,11329658},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {ets,47162232}]},</font></div><div><font face="courier new, monospace">&nbsp;{vm_memory_high_watermark,0.4},</font></div><div><font face="courier new, monospace">&nbsp;{vm_memory_limit,2920456192},</font></div><div><font face="courier new, monospace">&nbsp;{disk_free_limit,1000000000},</font></div><div><font face="courier new, monospace">&nbsp;{disk_free,6324633600},</font></div><div><font face="courier new, monospace">&nbsp;{file_descriptors,[{total_limit,924},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {total_used,186},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {sockets_limit,829},</font></div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {sockets_used,128}]},</font></div><div><font face="courier new, monospace">&nbsp;{processes,[{limit,1048576},{used,1235}]},</font></div><div><font face="courier new, monospace">&nbsp;{run_queue,0},</font></div><div><font face="courier new, monospace">&nbsp;{uptime,4829636}]</font></div><div><font face="courier new, monospace">...done.</font></div><div><br></div><div>The error logs contain quite a bit of information related to the crash. Here are links to excerpts from the main RabbitMQ log and the sasl log:</div><div><br></div><div>rabbit@myhostname.log:&nbsp;<a href="http://pastebin.com/1CBjmbGb">http://pastebin.com/1CBjmbGb</a></div><div>rabbit@myhostname-sasl.log:&nbsp;<a href="http://pastebin.com/8qZas7hA">http://pastebin.com/8qZas7hA</a></div><div><br></div><div>Stopping and then starting the rabbitmq-server daemon luckily fixed the problem and seemed to maintain at least most of Rabbit's state. Can someone help me interpret what happened and what I can do to prevent this in the future?</div></div></div><div><br></div><div>Many thanks in advance!</div><div><br></div><div>Cheers,</div><div>Matt</div>