Posting this to the list after some discussion on IRC with bob2351 on irc.freenode.net.<div><br></div><div>We have a *slightly* strange situation with using RabbitMQ, we start it under `runit`, and it effectively believes that it's running in the foreground. I have anecdotal evidence that this causes other problems, but at least not anything that hurts too often (i.e you lose "persistent messages" in this setup)</div><div><br></div><div>That all aside, attached ( <a href="https://gist.github.com/leehambley/5773039">https://gist.github.com/leehambley/5773039</a> ) is a stacktrace from a problematic box, we couldn't get it to recover (single node, single replica, etc, etc) - we simply deleted the mnesia database, which worked well enough.</div><div><br></div><div>Some information about our environment:</div><div><br></div><blockquote style="margin: 0 0 0 40px; border: none; padding: 0px;"><div><div><font face="courier new, monospace">$ erl --version</font></div></div><div><div><font face="courier new, monospace">Erlang R14B04 (erts-5.8.5) [source] [64-bit] [smp:8:8] [rq:8] [async-threads:0] [kernel-poll:false]</font></div></div><div><div><font face="courier new, monospace">$ dpkg --list | grep rabbit</font></div></div><div><div><font face="courier new, monospace">ii &nbsp;rabbitmq-server &nbsp; &nbsp; 3.0.4-1 &nbsp; &nbsp; AMQP server written in Erlang</font></div></div><div><div><font face="courier new, monospace">$ sudo RABBITMQ_NODENAME=ourproject rabbitmqctl status</font></div></div><div><div><font face="courier new, monospace">Status of node ourproject@carla ...</font></div></div><div><div><font face="courier new, monospace">[{pid,8055},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{running_applications,</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp;[{rabbitmq_management,"RabbitMQ Management Console","3.0.4"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {rabbitmq_management_agent,"RabbitMQ Management Agent","3.0.4"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {rabbit,"RabbitMQ","3.0.4"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {os_mon,"CPO &nbsp;CXC 138 46","2.2.7"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {rabbitmq_web_dispatch,"RabbitMQ Web Dispatcher","3.0.4"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {webmachine,"webmachine","1.9.1-rmq3.0.4-git52e62bc"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {mochiweb,"MochiMedia Web Server","2.3.1-rmq3.0.4-gitd541e9a"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {xmerl,"XML parser","1.2.10"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {inets,"INETS &nbsp;CXC 138 49","5.7.1"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {mnesia,"MNESIA &nbsp;CXC 138 12","4.5"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {amqp_client,"RabbitMQ AMQP Client","3.0.4"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {sasl,"SASL &nbsp;CXC 138 11","2.1.10"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {stdlib,"ERTS &nbsp;CXC 138 10","1.17.5"},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {kernel,"ERTS &nbsp;CXC 138 10","2.14.5"}]},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{os,{unix,linux}},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{erlang_version,</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp;"Erlang R14B04 (erts-5.8.5) [source] [64-bit] [smp:8:8] [rq:8] [async-threads:30] [kernel-poll:true]\n"},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{memory,</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp;[{total,33984216},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {connection_procs,756760},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {queue_procs,325576},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {plugins,218728},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {other_proc,9518440},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {mnesia,93728},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {mgmt_db,148472},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {msg_index,71528},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {other_ets,1145600},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {binary,604208},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {code,17266925},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {atom,1550457},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {other_system,2283794}]},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{vm_memory_high_watermark,0.4},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{vm_memory_limit,6656894566},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{disk_free_limit,1000000000},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{disk_free,11247643770880},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{file_descriptors,</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp;[{total_limit,924},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {total_used,23},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {sockets_limit,829},</font></div></div><div><div><font face="courier new, monospace">&nbsp; &nbsp; &nbsp; {sockets_used,12}]},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{processes,[{limit,1048576},{used,345}]},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{run_queue,0},</font></div></div><div><div><font face="courier new, monospace">&nbsp;{uptime,2692}]</font></div></div><div><div><font face="courier new, monospace">...done.</font></div></div></blockquote><div><br></div><div>I believe this bug is already being tracked internally, and I post the report here in the hope that I'll have a place to attach a snapshot of an mnesia database the next time this happens to us, or that someone else might find this report and be able to contribute. Finally, selfishly, in the hope that I'll get notified when this gets fixed, and I upgrade, and sleep at night again.</div><div><br></div><div>- Lee Hambley</div>