I know I'm working on a version that's pretty old by now. I looked at the log contents and was completely mystified. I'd like to understand what went wrong here. &nbsp;<div><br></div><div>The Story: RabbitMQ crashes and when I bring it back up, all queue contents from all my persistent queues are no longer there.</div><div><br></div><div>-If it was my fault, what can I do to fix it?</div><div>-If it is Rabbit's fault, has the issue been fixed?<div><br></div><div>Attached are the 'rabbitmqctl report' and the appropriate log from /var/log/rabbitmq/</div><div><br></div><div>Thanks so much!</div><div>Joseph Marlin</div></div><div><br></div><div><br></div><div><br></div><div><br></div><div>--------------------------------</div><div>Highlights (in case it is easy enough to diagnose without even needing to download anything:</div><div>--------------------------------</div><div>****Report****:</div><div><div>Status of node 'rabbit@tile-render' ...</div><div>[{pid,29076},</div><div>&nbsp;{running_applications,</div><div>&nbsp; &nbsp; &nbsp;[{rabbitmq_management,"RabbitMQ Management Console","2.5.1"},</div><div>&nbsp; &nbsp; &nbsp; {webmachine,"webmachine","1.7.0-rmq2.5.1-hg0c4b60a"},</div><div>&nbsp; &nbsp; &nbsp; {rabbitmq_management_agent,"RabbitMQ Management Agent","2.5.1"},</div><div>&nbsp; &nbsp; &nbsp; {amqp_client,"RabbitMQ AMQP Client","2.5.1"},</div><div>&nbsp; &nbsp; &nbsp; {rabbit,"RabbitMQ","2.5.1"},</div><div>&nbsp; &nbsp; &nbsp; {os_mon,"CPO &nbsp;CXC 138 46","2.2.4"},</div><div>&nbsp; &nbsp; &nbsp; {sasl,"SASL &nbsp;CXC 138 11","2.1.8"},</div><div>&nbsp; &nbsp; &nbsp; {rabbitmq_mochiweb,"RabbitMQ Mochiweb Embedding","2.5.1"},</div><div>&nbsp; &nbsp; &nbsp; {mochiweb,"MochiMedia Web Server","1.3-rmq2.5.1-git9a53dbd"},</div><div>&nbsp; &nbsp; &nbsp; {inets,"INETS &nbsp;CXC 138 49","5.2"},</div><div>&nbsp; &nbsp; &nbsp; {mnesia,"MNESIA &nbsp;CXC 138 12","4.4.12"},</div><div>&nbsp; &nbsp; &nbsp; {stdlib,"ERTS &nbsp;CXC 138 10","1.16.4"},</div><div>&nbsp; &nbsp; &nbsp; {kernel,"ERTS &nbsp;CXC 138 10","2.13.4"}]},</div><div>&nbsp;{os,{unix,linux}},</div><div>&nbsp;{erlang_version,</div><div>&nbsp; &nbsp; &nbsp;"Erlang R13B03 (erts-5.7.4) [source] [64-bit] [smp:8:8] [rq:8] [async-threads:30] [hipe] [kernel-poll:true]\n"},</div><div>&nbsp;{memory,</div><div>&nbsp; &nbsp; &nbsp;[{total,31325888},</div><div>&nbsp; &nbsp; &nbsp; {processes,11455384},</div><div>&nbsp; &nbsp; &nbsp; {processes_used,11434488},</div><div>&nbsp; &nbsp; &nbsp; {system,19870504},</div><div>&nbsp; &nbsp; &nbsp; {atom,1269865},</div><div>&nbsp; &nbsp; &nbsp; {atom_used,1263088},</div><div>&nbsp; &nbsp; &nbsp; {binary,76048},</div><div>&nbsp; &nbsp; &nbsp; {code,14856883},</div><div>&nbsp; &nbsp; &nbsp; {ets,1091928}]}]</div></div><div><br></div><div>****Log****:</div><div><br></div><div><div>** Reason for termination ==&nbsp;</div><div>** {{case_clause,undefined},</div><div>&nbsp; &nbsp; [{file_handle_cache,'-partition_handles/1-fun-0-',2},</div><div>&nbsp; &nbsp; &nbsp;{file_handle_cache,get_or_reopen,1},</div><div>&nbsp; &nbsp; &nbsp;{file_handle_cache,with_handles,2},</div><div>&nbsp; &nbsp; &nbsp;{rabbit_msg_store,internal_sync,1},</div><div>&nbsp; &nbsp; &nbsp;{rabbit_msg_store,terminate,2},</div><div>&nbsp; &nbsp; &nbsp;{gen_server2,terminate,3},</div><div>&nbsp; &nbsp; &nbsp;{proc_lib,wake_up,3}]}</div><div>** In 'terminate' callback with reason ==</div><div>** {{badmatch,{error,enospc}},</div><div>&nbsp; &nbsp; [{rabbit_msg_store,maybe_roll_to_new_file,2},</div><div>&nbsp; &nbsp; &nbsp;{file_handle_cache,open,3},</div><div>&nbsp; &nbsp; &nbsp;{rabbit_msg_store,handle_cast,2},</div><div>&nbsp; &nbsp; &nbsp;{gen_server2,handle_msg,2},</div><div>&nbsp; &nbsp; &nbsp;{proc_lib,wake_up,3}]}</div></div><div><br></div><div>--truncated--</div><div><br></div><div><div>** Reason for termination ==&nbsp;</div><div>** {badarg,[{ets,delete,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;[245834,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {&lt;&lt;52,76,19,5,248,12,21,12,214,129,172,73,116,247,183,106&gt;&gt;,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;14797}]},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_msg_store,'-close_all_handles/1-fun-0-',5},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {dict,fold_bucket,3},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {dict,fold_seg,4},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {dict,fold_segs,4},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_msg_store,close_all_handles,1},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_msg_store,client_delete_and_terminate,1},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_variable_queue,delete_and_terminate,2}]}</div><div>** In 'terminate' callback with reason ==</div><div>** {badarg,[{ets,lookup,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;[249931,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &lt;&lt;167,42,100,148,97,183,72,206,176,227,110,240,207,15,2,93&gt;&gt;]},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_msg_store,read,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_variable_queue,with_msg_store_state,3},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_variable_queue,read_msg,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_variable_queue,'-fetch/2-fun-0-',3},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_amqqueue_process,fetch,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_amqqueue_process,deliver_from_queue_deliver,3},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_amqqueue_process,deliver_msgs_to_consumers,3}]}</div></div>