One of my rabbitmq boxes (with bug21673 branc)� stopped responding and dumped a boat load of crash reports to rabbit-sasl.log. Below are the last four crash reports excerpted from the file. Two questions: <br><br>1) when I stopped and restarted rabbitmq, after quite some time only half about half the queues are showing up, the other half haven&#39;t showed up after several hours, is there a way to recover the other queues and the data associated with them, also <br>
<br>2) Any ideas from these crash reports what might be going on?<br><br>thanks,<br>Scott <br><br>=CRASH REPORT==== 1-Mar-2010::23:25:56 ===<br>� crasher:<br>��� initial call: gen:init_it/6<br>��� pid: &lt;0.26578.21&gt;<br>
��� registered_name: []<br>��� exception exit: {{{badarg,<br>������������������������� [{ets,lookup,<br>������������������������������ [rabbit_msg_store_cache,<br>������������������������������� &lt;&lt;184,164,57,196,186,77,197,52,166,133,102,<br>
��������������������������������� 139,114,25,127,109&gt;&gt;]},<br>�������������������������� {rabbit_msg_store,fetch_and_increment_cache,1},<br>�������������������������� {rabbit_msg_store,read,2},<br>�������������������������� {rabbit_variable_queue,fetch_from_q3_or_delta,1},<br>
�������������������������� {rabbit_amqqueue_process,handle_call,3},<br>�������������������������� {gen_server2,handle_msg,7},<br>�������������������������� {proc_lib,wake_up,3}]},<br>��������������������� {gen_server2,call,<br>
������������������������� [&lt;0.4306.0&gt;,<br>�������������������������� {basic_get,&lt;0.26578.21&gt;,false},<br>�������������������������� infinity]}},<br>�������������������� [{gen_server2,call,3},<br>��������������������� {rabbit_misc,with_exit_handler,2},<br>
��������������������� {rabbit_channel,handle_method,3},<br>��������������������� {rabbit_channel,handle_cast,2},<br>��������������������� {gen_server2,handle_msg,7},<br>��������������������� {proc_lib,wake_up,3}]}<br>����� in function� gen_server2:terminate/6<br>
��� ancestors: [&lt;0.26577.21&gt;]<br>��� messages: []<br>��� links: [&lt;0.26576.21&gt;,&lt;0.26577.21&gt;]<br>��� dictionary: [{permission_cache,<br>��������������������� [{{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;scoring-completed&quot;&gt;&gt;},<br>
����������������������� read},<br>���������������������� {{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,&lt;&lt;&quot;scoring&quot;&gt;&gt;},write}]},<br>����������������� {guid,{{4,&lt;0.26578.21&gt;},920577}}]<br>��� trap_exit: true<br>
��� status: running<br>��� heap_size: 121393<br>��� stack_size: 24<br>��� reductions: 330830447<br>� neighbours:<br>��� neighbour: [{pid,&lt;0.26576.21&gt;},<br>����������������� {registered_name,[]},<br>����������������� {initial_call,{rabbit_writer,mainloop,1}},<br>
����������������� {current_function,{erlang,hibernate,3}},<br>����������������� {ancestors,[]},<br>����������������� {messages,[shutdown]},<br>����������������� {links,[&lt;0.26578.21&gt;]},<br>����������������� {dictionary,[]},<br>
����������������� {trap_exit,false},<br>����������������� {status,runnable},<br>����������������� {heap_size,7},<br>����������������� {stack_size,0},<br>����������������� {reductions,13080564}]<br><br><br>=CRASH REPORT==== 1-Mar-2010::23:46:28 ===<br>
� crasher:<br>��� initial call: gen:init_it/6<br>��� pid: &lt;0.1518.0&gt;<br>��� registered_name: []<br>��� exception exit: {badarg,[{ets,lookup,<br>��������������������������������� [217134,<br>���������������������������������� &lt;&lt;6,83,78,49,79,166,176,26,232,128,113,<br>
������������������������������������ 103,68,127,144,203&gt;&gt;]},<br>���������������������������� {rabbit_msg_store_ets_index,lookup,2},<br>���������������������������� {rabbit_msg_store,read,2},<br>���������������������������� {rabbit_variable_queue,fetch_from_q3_or_delta,1},<br>
���������������������������� {rabbit_amqqueue_process,handle_call,3},<br>���������������������������� {gen_server2,handle_msg,7},<br>���������������������������� {proc_lib,wake_up,3}]}<br>����� in function� gen_server2:terminate/6<br>
��� ancestors: [rabbit_amqqueue_sup,rabbit_sup,&lt;0.101.0&gt;]<br>��� messages: []<br>��� links: [&lt;0.1267.0&gt;]<br>��� dictionary: [{fhc_age_tree,{0,nil}}]<br>��� trap_exit: true<br>��� status: running<br>��� heap_size: 317811<br>
��� stack_size: 24<br>��� reductions: 106370888<br>� neighbours:<br><br>=CRASH REPORT==== 1-Mar-2010::23:46:28 ===<br>� crasher:<br>��� initial call: gen:init_it/6<br>��� pid: &lt;0.9205.23&gt;<br>��� registered_name: []<br>
��� exception exit: {{{badarg,<br>������������������������� [{ets,lookup,<br>������������������������������ [217134,<br>������������������������������� &lt;&lt;6,83,78,49,79,166,176,26,232,128,113,103,<br>��������������������������������� 68,127,144,203&gt;&gt;]},<br>
�������������������������� {rabbit_msg_store_ets_index,lookup,2},<br>�������������������������� {rabbit_msg_store,read,2},<br>�������������������������� {rabbit_variable_queue,fetch_from_q3_or_delta,1},<br>�������������������������� {rabbit_amqqueue_process,handle_call,3},<br>
�������������������������� {gen_server2,handle_msg,7},<br>�������������������������� {proc_lib,wake_up,3}]},<br>��������������������� {gen_server2,call,<br>������������������������� [&lt;0.1518.0&gt;,<br>�������������������������� {basic_get,&lt;0.9205.23&gt;,false},<br>
�������������������������� infinity]}},<br>�������������������� [{gen_server2,call,3},<br>��������������������� {rabbit_misc,with_exit_handler,2},<br>��������������������� {rabbit_channel,handle_method,3},<br>��������������������� {rabbit_channel,handle_cast,2},<br>
��������������������� {gen_server2,handle_msg,7},<br>��������������������� {proc_lib,wake_up,3}]}<br>����� in function� gen_server2:terminate/6<br>��� ancestors: [&lt;0.9204.23&gt;]<br>��� messages: []<br>��� links: [&lt;0.9203.23&gt;,&lt;0.9204.23&gt;]<br>
��� dictionary: [{permission_cache,<br>��������������������� [{{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;update-HIGH&quot;&gt;&gt;},<br>����������������������� read}]},<br>����������������� {guid,{{4,&lt;0.9205.23&gt;},94}}]<br>
��� trap_exit: true<br>��� status: running<br>��� heap_size: 610<br>��� stack_size: 24<br>��� reductions: 47972<br>� neighbours:<br>��� neighbour: [{pid,&lt;0.9203.23&gt;},<br>����������������� {registered_name,[]},<br>����������������� {initial_call,{rabbit_writer,mainloop,1}},<br>
����������������� {current_function,{erlang,hibernate,3}},<br>����������������� {ancestors,[]},<br>����������������� {messages,[shutdown]},<br>����������������� {links,[&lt;0.9205.23&gt;]},<br>����������������� {dictionary,[]},<br>
����������������� {trap_exit,false},<br>����������������� {status,runnable},<br>����������������� {heap_size,7},<br>����������������� {stack_size,0},<br>����������������� {reductions,278}]<br><br><br>=CRASH REPORT==== 1-Mar-2010::23:46:28 ===<br>
� crasher:<br>��� initial call: gen:init_it/6<br>��� pid: &lt;0.9205.23&gt;<br>��� registered_name: []<br>��� exception exit: {{{badarg,<br>������������������������� [{ets,lookup,<br>������������������������������ [217134,<br>
������������������������������� &lt;&lt;6,83,78,49,79,166,176,26,232,128,113,103,<br>��������������������������������� 68,127,144,203&gt;&gt;]},<br>�������������������������� {rabbit_msg_store_ets_index,lookup,2},<br>�������������������������� {rabbit_msg_store,read,2},<br>
�������������������������� {rabbit_variable_queue,fetch_from_q3_or_delta,1},<br>�������������������������� {rabbit_amqqueue_process,handle_call,3},<br>�������������������������� {gen_server2,handle_msg,7},<br>�������������������������� {proc_lib,wake_up,3}]},<br>
��������������������� {gen_server2,call,<br>������������������������� [&lt;0.1518.0&gt;,<br>�������������������������� {basic_get,&lt;0.9205.23&gt;,false},<br>�������������������������� infinity]}},<br>�������������������� [{gen_server2,call,3},<br>
��������������������� {rabbit_misc,with_exit_handler,2},<br>��������������������� {rabbit_channel,handle_method,3},<br>��������������������� {rabbit_channel,handle_cast,2},<br>��������������������� {gen_server2,handle_msg,7},<br>
��������������������� {proc_lib,wake_up,3}]}<br>����� in function� gen_server2:terminate/6<br>��� ancestors: [&lt;0.9204.23&gt;]<br>��� messages: []<br>��� links: [&lt;0.9203.23&gt;,&lt;0.9204.23&gt;]<br>��� dictionary: [{permission_cache,<br>
��������������������� [{{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;update-HIGH&quot;&gt;&gt;},<br>����������������������� read}]},<br>����������������� {guid,{{4,&lt;0.9205.23&gt;},94}}]<br>��� trap_exit: true<br>
��� status: running<br>��� heap_size: 610<br>��� stack_size: 24<br>��� reductions: 47972<br>� neighbours:<br>��� neighbour: [{pid,&lt;0.9203.23&gt;},<br>����������������� {registered_name,[]},<br>����������������� {initial_call,{rabbit_writer,mainloop,1}},<br>
����������������� {current_function,{erlang,hibernate,3}},<br>����������������� {ancestors,[]},<br>����������������� {messages,[shutdown]},<br>����������������� {links,[&lt;0.9205.23&gt;]},<br>����������������� {dictionary,[]},<br>
����������������� {trap_exit,false},<br>����������������� {status,runnable},<br>����������������� {heap_size,7},<br>����������������� {stack_size,0},<br>����������������� {reductions,278}]<br><br>