We are running rabbitmq 2.4.1 in production and recently had a failure that we can not determine the root cause. Also we tried a restart of the broker and the restart hung, never returned. We rebooted the machine to restore the broker.<div><br></div><div>We have only the rabbitmq and sasl logs at this point, but the error messages don't mean much to us.</div><div><br></div><div>rabbitmq log snippet:</div><div><br></div><div><div>=INFO REPORT==== 11-Apr-2012::05:04:08 ===</div><div>starting TCP connection &lt;0.28490.65&gt; from 172.17.208.67:1522</div><div><br></div><div>=INFO REPORT==== 11-Apr-2012::05:04:08 ===</div><div>closing TCP connection &lt;0.9195.65&gt; from 10.70.20.75:62045</div><div><br></div><div>=INFO REPORT==== 11-Apr-2012::05:04:31 ===</div><div>closing TCP connection &lt;0.10243.65&gt; from 10.70.40.77:53173</div><div><br></div><div>=ERROR REPORT==== 11-Apr-2012::05:04:31 ===</div><div>** Generic server msg_store_transient terminating</div><div>** Last message in was {'$gen_cast',</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{client_dying,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&lt;&lt;74,18,61,37,8,55,8,91,210,27,70,185,112,89,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;171,154&gt;&gt;}}</div><div>** When Server state == {msstate,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"/var/lib/rabbitmq/mnesia/rabbit@che-csebrokerp1/msg_store_transient",</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;rabbit_msg_store_ets_index,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{state,417861,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; "/var/lib/rabbitmq/mnesia/rabbit@che-csebrokerp1/msg_store_transient"},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0,#Ref&lt;0.0.0.875&gt;,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{dict,0,16,16,8,80,48,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;[],undefined,0,12073198,[],&lt;0.233.0&gt;,421958,413764,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;426055,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{set,0,16,16,8,80,48,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},</div></div><div>...skipping...</div><div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{dict,0,16,16,8,80,48,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; []}}}}</div><div>** Reason for termination ==&nbsp;</div><div>** {{badmatch,false},</div><div>&nbsp; &nbsp; [{rabbit_msg_store_ets_index,insert,2},</div><div>&nbsp; &nbsp; &nbsp;{rabbit_msg_store,write_message,3},</div><div>&nbsp; &nbsp; &nbsp;{rabbit_msg_store,handle_cast,2},</div><div>&nbsp; &nbsp; &nbsp;{gen_server2,handle_msg,2},</div><div>&nbsp; &nbsp; &nbsp;{proc_lib,wake_up,3}]}</div></div><div>...skipping...</div><div><div>=INFO REPORT==== 11-Apr-2012::05:04:43 ===</div><div>closing TCP connection &lt;0.5032.4496&gt; from 172.16.216.217:60234</div><div><br></div><div>=INFO REPORT==== 11-Apr-2012::05:04:43 ===</div><div>closing TCP connection &lt;0.8419.6115&gt; from 10.65.10.72:54580</div><div><br></div><div>=ERROR REPORT==== 11-Apr-2012::05:04:43 ===</div><div>** Generic server &lt;0.31907.9&gt; terminating</div><div>** Last message in was {'EXIT',&lt;0.241.0&gt;,shutdown}</div><div>** When Server state == {q,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{amqqueue,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {resource,&lt;&lt;"/alarming"&gt;&gt;,queue,&lt;&lt;"alarming.9"&gt;&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; false,false,none,[],&lt;0.31907.9&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;none,true,rabbit_variable_queue,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{vqstate,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {[],[]},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {0,{[],[]}},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {delta,undefined,0,undefined},</div></div><div>...skipping...</div><div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{state,fine,undefined},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{dict,0,16,16,8,80,48,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;undefined,undefined}</div><div>** Reason for termination ==&nbsp;</div><div>** {noproc,</div><div>&nbsp; &nbsp; &nbsp; &nbsp;{gen_server2,call,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;[msg_store_transient,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {client_terminate,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &lt;&lt;17,102,9,148,6,184,165,141,162,246,194,57,36,62,208,135&gt;&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; infinity]}}</div><div>** In 'terminate' callback with reason ==</div><div>** shutdown</div><div><br></div><div>=ERROR REPORT==== 11-Apr-2012::05:04:43 ===</div><div>** gen_event handler rabbit_error_logger crashed.</div><div>** Was installed in error_logger</div><div>** Last event was: {error,&lt;0.146.0&gt;,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {&lt;0.9700.6&gt;,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"** Generic server ~p terminating~n** Last message in was ~p~n** When Server state == ~p~n** Reason for termination == ~n** ~p~n** In 'terminate' callback with reason ==~n** ~p~n",</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;[&lt;0.9700.6&gt;,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {'EXIT',&lt;0.241.0&gt;,shutdown},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {q,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{amqqueue,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {resource,&lt;&lt;"/rssm"&gt;&gt;,queue,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&lt;&lt;"cse.rssm.logManager.sqlserver"&gt;&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; false,false,none,[],&lt;0.9700.6&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;none,true,rabbit_variable_queue,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{vqstate,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {[],[]},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {0,{[],[]}},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {delta,undefined,0,undefined},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {0,{[],[]}},</div></div><div>...skipping...</div><div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {noproc,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{gen_server2,call,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; [msg_store_transient,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{client_terminate,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &lt;&lt;143,174,238,76,144,209,125,211,110,123,56,1,237,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 217,136,2&gt;&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;infinity]}},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; shutdown]}}</div><div>** When handler state == {resource,&lt;&lt;"/"&gt;&gt;,exchange,&lt;&lt;"amq.rabbitmq.log"&gt;&gt;}</div><div>** Reason == {badarg,[{ets,lookup,[rabbit_registry,{exchange,topic}]},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_registry,lookup_module,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_exchange,type_to_module,1},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_exchange,route,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_exchange,publish,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_basic,publish,1},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_error_logger,publish1,4},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_error_logger,handle_event,2}]}</div><div><br></div><div>=INFO REPORT==== 11-Apr-2012::05:04:43 ===</div><div>&nbsp; &nbsp; application: rabbit</div><div>&nbsp; &nbsp; exited: shutdown</div><div>&nbsp; &nbsp; type: permanent</div></div><div><br></div><div><br></div><div>sasl log snippet:</div><div><div>=SUPERVISOR REPORT==== 11-Apr-2012::00:15:30 ===</div><div>&nbsp; &nbsp; &nbsp;Supervisor: {&lt;0.5419.34&gt;,rabbit_channel_sup_sup}</div><div>&nbsp; &nbsp; &nbsp;Context: &nbsp; &nbsp;shutdown_error</div><div>&nbsp; &nbsp; &nbsp;Reason: &nbsp; &nbsp; shutdown</div><div>&nbsp; &nbsp; &nbsp;Offender: &nbsp; [{pid,&lt;0.5731.34&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {name,channel_sup},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {mfa,{rabbit_channel_sup,start_link,[]}},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {restart_type,temporary},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {shutdown,infinity},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {child_type,supervisor}]</div><div><br></div><div><br></div><div>=CRASH REPORT==== 11-Apr-2012::05:04:32 ===</div><div>&nbsp; crasher:</div><div>&nbsp; &nbsp; initial call: gen:init_it/7</div><div>&nbsp; &nbsp; pid: &lt;0.232.0&gt;</div><div>&nbsp; &nbsp; registered_name: msg_store_transient</div><div>&nbsp; &nbsp; exception exit: {{badmatch,false},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;[{rabbit_msg_store_ets_index,insert,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_msg_store,write_message,3},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_msg_store,handle_cast,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {gen_server2,handle_msg,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {proc_lib,wake_up,3}]}</div><div>&nbsp; &nbsp; &nbsp; in function &nbsp;gen_server2:terminate/3</div><div>&nbsp; &nbsp; ancestors: [rabbit_sup,&lt;0.147.0&gt;]</div><div>&nbsp; &nbsp; messages: [{'EXIT',&lt;0.233.0&gt;,normal}]</div><div>&nbsp; &nbsp; links: [&lt;0.148.0&gt;]</div><div>&nbsp; &nbsp; dictionary: [{fhc_age_tree,{0,nil}}]</div><div>&nbsp; &nbsp; trap_exit: true</div><div>&nbsp; &nbsp; status: running</div><div>&nbsp; &nbsp; heap_size: 10946</div><div>&nbsp; &nbsp; stack_size: 24</div><div>&nbsp; &nbsp; reductions: 98380626</div><div>&nbsp; neighbours:</div></div><div><div>=SUPERVISOR REPORT==== 11-Apr-2012::05:04:32 ===</div><div>&nbsp; &nbsp; &nbsp;Supervisor: {local,rabbit_sup}</div><div>&nbsp; &nbsp; &nbsp;Context: &nbsp; &nbsp;child_terminated</div><div>&nbsp; &nbsp; &nbsp;Reason: &nbsp; &nbsp; {{badmatch,false},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; [{rabbit_msg_store_ets_index,insert,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{rabbit_msg_store,write_message,3},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{rabbit_msg_store,handle_cast,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{gen_server2,handle_msg,2},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{proc_lib,wake_up,3}]}</div><div>&nbsp; &nbsp; &nbsp;Offender: &nbsp; [{pid,&lt;0.232.0&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {name,msg_store_transient},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {mfargs,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_msg_store,start_link,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; [msg_store_transient,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"/var/lib/rabbitmq/mnesia/rabbit@che-csebrokerp1",</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;undefined,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{#Fun&lt;rabbit_variable_queue.0.66952436&gt;,ok}]}},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {restart_type,transient},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {shutdown,4294967295},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {child_type,worker}]</div><div><br></div><div><br></div><div>=SUPERVISOR REPORT==== 11-Apr-2012::05:04:32 ===</div><div>&nbsp; &nbsp; &nbsp;Supervisor: {local,rabbit_sup}</div><div>&nbsp; &nbsp; &nbsp;Context: &nbsp; &nbsp;shutdown</div><div>&nbsp; &nbsp; &nbsp;Reason: &nbsp; &nbsp; reached_max_restart_intensity</div><div>&nbsp; &nbsp; &nbsp;Offender: &nbsp; [{pid,&lt;0.232.0&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {name,msg_store_transient},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {mfargs,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {rabbit_msg_store,start_link,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; [msg_store_transient,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"/var/lib/rabbitmq/mnesia/rabbit@che-csebrokerp1",</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;undefined,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{#Fun&lt;rabbit_variable_queue.0.66952436&gt;,ok}]}},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {restart_type,transient},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {shutdown,4294967295},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {child_type,worker}]</div></div><div>...skipping...</div><div><div>=CRASH REPORT==== 11-Apr-2012::05:04:43 ===</div><div>&nbsp; crasher:</div><div>&nbsp; &nbsp; initial call: gen:init_it/6</div><div>&nbsp; &nbsp; pid: &lt;0.31907.9&gt;</div><div>&nbsp; &nbsp; registered_name: []</div><div>&nbsp; &nbsp; exception exit: {noproc,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {gen_server2,call,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; [msg_store_transient,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{client_terminate,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&lt;&lt;213,104,174,241,176,121,164,159,98,43,221,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;160,120,109,6,107&gt;&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;infinity]}}</div><div>&nbsp; &nbsp; &nbsp; in function &nbsp;gen_server2:terminate/3</div><div>&nbsp; &nbsp; ancestors: [rabbit_amqqueue_sup,rabbit_sup,&lt;0.147.0&gt;]</div><div>&nbsp; &nbsp; messages: []</div><div>&nbsp; &nbsp; links: []</div><div>&nbsp; &nbsp; dictionary: [{guid,{{9,&lt;0.31907.9&gt;},0}}]</div><div>&nbsp; &nbsp; trap_exit: true</div><div>&nbsp; &nbsp; status: running</div><div>&nbsp; &nbsp; heap_size: 987</div><div>&nbsp; &nbsp; stack_size: 24</div><div>&nbsp; &nbsp; reductions: 443158598</div><div>&nbsp; neighbours:</div><div><br></div><div>=SUPERVISOR REPORT==== 11-Apr-2012::05:04:43 ===</div><div>&nbsp; &nbsp; &nbsp;Supervisor: {local,rabbit_amqqueue_sup}</div><div>&nbsp; &nbsp; &nbsp;Context: &nbsp; &nbsp;shutdown_error</div><div>&nbsp; &nbsp; &nbsp;Reason: &nbsp; &nbsp; {noproc,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;{gen_server2,call,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;[msg_store_transient,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {client_terminate,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &lt;&lt;213,104,174,241,176,121,164,159,98,43,221,160,</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 120,109,6,107&gt;&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; infinity]}}</div><div>&nbsp; &nbsp; &nbsp;Offender: &nbsp; [{pid,&lt;0.31907.9&gt;},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {name,rabbit_amqqueue},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {mfa,{rabbit_amqqueue_process,start_link,[]}},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {restart_type,temporary},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {shutdown,4294967295},</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {child_type,worker}]</div><div><br></div></div><div>Any help determining the cause would be appreciated.</div><div><br></div><div>Mark.</div><div><br></div>