<div class="gmail_extra">Ok, I got it again. <br>3 nodes. Stop slave, restart app(client), bring slave back online, stop master, restart app, bring master back online, BOOM!<br>So here are logs from both nodes, the one which I shutdown (dev-2) and the one which failed unexpectedly (dev-3)<br>
<br>dev-2 was the master node and when I stopped it, it brought dev-3 node down with it.<br>Did everything started because of this?<br>&gt; Reason:���� reached_max_restart_intensity<br><br>Vadim<br><br>dev-3 log :<br>===============================================<br>
=INFO REPORT==== 26-Apr-2012::16:50:38 ===<br>Management agent started.<br><br>=INFO REPORT==== 26-Apr-2012::16:50:38 ===<br>Management plugin started. Port: 55672, path: /<br><br>=INFO REPORT==== 26-Apr-2012::16:51:07 ===<br>
��� application: rabbitmq_management<br>��� exited: shutdown<br>��� type: permanent<br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>stopped TCP Listener on <a href="http://0.0.0.0:5672">0.0.0.0:5672</a><br>===============================================<br>
<br>dev-3-sasl.log<br>===============================================<br>=SUPERVISOR REPORT==== 26-Apr-2012::16:51:07 ===<br>���� Supervisor: {local,rabbit_mgmt_sup}<br>���� Context:��� child_terminated<br>���� Reason:���� shutdown<br>
���� Offender:�� [{pid,&lt;0.396.0&gt;},<br>����������������� {name,mirroring},<br>����������������� {mfa,<br>��������������������� {mirrored_supervisor,start_internal,<br>������������������������� [rabbit_mgmt_sup,<br>�������������������������� [{rabbit_mgmt_db,<br>
������������������������������� {rabbit_mgmt_db,start_link,[]},<br>������������������������������� permanent,4294967295,worker,<br>������������������������������� [rabbit_mgmt_db]}]]}},<br>����������������� {restart_type,permanent},<br>
����������������� {shutdown,4294967295},<br>����������������� {child_type,worker}]<br><br><br>=SUPERVISOR REPORT==== 26-Apr-2012::16:51:07 ===<br>���� Supervisor: {local,rabbit_mgmt_sup}<br>���� Context:��� shutdown<br>���� Reason:���� reached_max_restart_intensity<br>
���� Offender:�� [{pid,&lt;0.396.0&gt;},<br>����������������� {name,mirroring},<br>����������������� {mfa,<br>��������������������� {mirrored_supervisor,start_internal,<br>������������������������� [rabbit_mgmt_sup,<br>�������������������������� [{rabbit_mgmt_db,<br>
������������������������������� {rabbit_mgmt_db,start_link,[]},<br>������������������������������� permanent,4294967295,worker,<br>������������������������������� [rabbit_mgmt_db]}]]}},<br>����������������� {restart_type,permanent},<br>
����������������� {shutdown,4294967295},<br>����������������� {child_type,worker}]<br><br>===============================================<br><br>dev-2 log<br>===============================================<br>=INFO REPORT==== 26-Apr-2012::16:51:07 ===<br>
Stopping Rabbit<br><br>=INFO REPORT==== 26-Apr-2012::16:51:07 ===<br>��� application: rabbitmq_management_visualiser<br>��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 26-Apr-2012::16:51:07 ===<br>��� application: rabbitmq_management<br>
��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 26-Apr-2012::16:51:07 ===<br>��� application: rabbitmq_management_agent<br>��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 26-Apr-2012::16:51:07 ===<br>
stopped TCP Listener on <a href="http://0.0.0.0:5672">0.0.0.0:5672</a><br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>rabbit on node &#39;rabbit@rabbitmq-dev-3&#39; down<br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>
Mirrored-queue (queue &#39;Advertiser-ONYX&#39; in vhost &#39;/&#39;): Slave &lt;&#39;rabbit@rabbitmq-dev-2&#39;.1.265.0&gt; saw deaths of mirrors &lt;&#39;rabbit@rabbitmq-dev-3&#39;.2.290.0&gt; <br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>
Mirrored-queue (queue &#39;Search-JROSE6420&#39; in vhost &#39;/&#39;): Slave &lt;&#39;rabbit@rabbitmq-dev-2&#39;.1.276.0&gt; saw deaths of mirrors &lt;&#39;rabbit@rabbitmq-dev-3&#39;.2.328.0&gt; <br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>
Mirrored-queue (queue &#39;Advertiser-DHOHMEYERGX280&#39; in vhost &#39;/&#39;): Slave &lt;&#39;rabbit@rabbitmq-dev-2&#39;.1.268.0&gt; saw deaths of mirrors &lt;&#39;rabbit@rabbitmq-dev-3&#39;.2.288.0&gt; <br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>
Mirrored-queue (queue &#39;CustomerAdmin-DHOHMEYERGX280&#39; in vhost &#39;/&#39;): Slave &lt;&#39;rabbit@rabbitmq-dev-2&#39;.1.270.0&gt; saw deaths of mirrors &lt;&#39;rabbit@rabbitmq-dev-3&#39;.2.294.0&gt; <br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>
Mirrored-queue (queue &#39;Tracking-JROSE6420&#39; in vhost &#39;/&#39;): Slave &lt;&#39;rabbit@rabbitmq-dev-2&#39;.1.250.0&gt; saw deaths of mirrors &lt;&#39;rabbit@rabbitmq-dev-3&#39;.2.247.0&gt; <br><br>=ERROR REPORT==== 26-Apr-2012::16:51:08 ===<br>
** Generic server rabbit_mirror_queue_slave_sup terminating <br>** Last message in was {&#39;EXIT&#39;,&lt;0.127.0&gt;,shutdown}<br>** When Server state == {state,<br>������������������������ {local,rabbit_mirror_queue_slave_sup},<br>
������������������������ simple_one_for_one_terminate,<br>������������������������ [{child,undefined,rabbit_mirror_queue_slave,<br>�������������������������� {rabbit_mirror_queue_slave,start_link,[]},<br>�������������������������� temporary,4294967295,worker,<br>
�������������������������� [rabbit_mirror_queue_slave]}],<br>������������������������ {dict,11,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],<br>
��������������������������� [[&lt;0.265.0&gt;,<br>����������������������������� {amqqueue,<br>������������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;Advertiser-ONYX&quot;&gt;&gt;},<br>������������������������������ false,false,none,<br>
������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;},<br>������������������������������� {&lt;&lt;&quot;x-message-ttl&quot;&gt;&gt;,signedint,1200000}],<br>������������������������������ &lt;3067.289.0&gt;,<br>
������������������������������ [&lt;3065.334.0&gt;],<br>������������������������������ all}]],<br>��������������������������� [],<br>��������������������������� [[undefined,<br>����������������������������� {amqqueue,<br>
������������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>������������������������������� &lt;&lt;&quot;Advertiser-heartbeat-DHOHMEYERGX280&quot;&gt;&gt;},<br>������������������������������ false,true,&lt;3065.24765.0&gt;,<br>
������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>������������������������������ &lt;3065.24784.0&gt;,<br>������������������������������ [&lt;3067.12370.2&gt;],<br>
������������������������������ all}],<br>���������������������������� [&lt;0.6730.0&gt;,<br>����������������������������� {amqqueue,<br>������������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>������������������������������� &lt;&lt;&quot;Advertiser-heartbeat-DHOHMEYERGX280&quot;&gt;&gt;},<br>
������������������������������ false,true,&lt;3065.14349.1&gt;,<br>������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>������������������������������ &lt;3065.14370.1&gt;,[],all}]],<br>
��������������������������� [[&lt;0.268.0&gt;,<br>����������������������������� {amqqueue,<br>������������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>������������������������������� &lt;&lt;&quot;Advertiser-DHOHMEYERGX280&quot;&gt;&gt;},<br>
������������������������������ false,false,none,<br>������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;},<br>������������������������������� {&lt;&lt;&quot;x-message-ttl&quot;&gt;&gt;,signedint,1200000}],<br>
������������������������������ &lt;3067.287.0&gt;,<br>������������������������������ [&lt;3065.332.0&gt;],<br>������������������������������ all}]],<br>��������������������������� [],<br>��������������������������� [[&lt;0.270.0&gt;,<br>
����������������������������� {amqqueue,<br>������������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>������������������������������� &lt;&lt;&quot;CustomerAdmin-DHOHMEYERGX280&quot;&gt;&gt;},<br>������������������������������ false,false,none,<br>
������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;},<br>������������������������������� {&lt;&lt;&quot;x-message-ttl&quot;&gt;&gt;,signedint,1200000}],<br>������������������������������ &lt;3067.295.0&gt;,<br>
������������������������������ [&lt;3065.338.0&gt;],<br>������������������������������ all}]],<br>��������������������������� [],<br>��������������������������� [[&lt;0.272.0&gt;,<br>����������������������������� {amqqueue,<br>
������������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>������������������������������� &lt;&lt;&quot;Sales-DHOHMEYERGX280&quot;&gt;&gt;},<br>������������������������������ false,false,none,<br>������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;},<br>
������������������������������� {&lt;&lt;&quot;x-message-ttl&quot;&gt;&gt;,signedint,1200000}],<br>������������������������������ &lt;3067.317.0&gt;,<br>������������������������������ [&lt;3065.356.0&gt;],<br>������������������������������ all}]],<br>
��������������������������� [[&lt;0.250.0&gt;,<br>����������������������������� {amqqueue,<br>������������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>������������������������������� &lt;&lt;&quot;Tracking-JROSE6420&quot;&gt;&gt;},<br>
������������������������������ false,false,none,<br>������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;},<br>������������������������������� {&lt;&lt;&quot;x-message-ttl&quot;&gt;&gt;,signedint,1200000}],<br>
������������������������������ &lt;3067.247.0&gt;,<br>������������������������������ [&lt;3065.249.0&gt;],<br>������������������������������ all}]],<br>��������������������������� [[&lt;0.274.0&gt;,<br>����������������������������� {amqqueue,<br>
������������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>������������������������������� &lt;&lt;&quot;RelatedLinks-ROGERMOORE&quot;&gt;&gt;},<br>������������������������������ false,false,none,<br>
������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;},<br>������������������������������� {&lt;&lt;&quot;x-message-ttl&quot;&gt;&gt;,signedint,1200000}],<br>������������������������������ &lt;3067.331.0&gt;,<br>
������������������������������ [&lt;3065.370.0&gt;],<br>������������������������������ all}]],<br>��������������������������� [[&lt;0.252.0&gt;,<br>����������������������������� {amqqueue,<br>������������������������������ {resource,&lt;&lt;&quot;ActivityLogging&quot;&gt;&gt;,queue,<br>
������������������������������� &lt;&lt;&quot;vsw.activitylogging.conversion.pendingconversion&quot;&gt;&gt;},<br>������������������������������ true,false,none,<br>������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>
������������������������������ &lt;3067.253.0&gt;,<br>������������������������������ [&lt;3065.257.0&gt;],<br>������������������������������ all}]],<br>��������������������������� [[&lt;0.276.0&gt;,<br>����������������������������� {amqqueue,<br>
������������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;Search-JROSE6420&quot;&gt;&gt;},<br>������������������������������ false,false,none,<br>������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;},<br>
������������������������������� {&lt;&lt;&quot;x-message-ttl&quot;&gt;&gt;,signedint,1200000}],<br>������������������������������ &lt;3067.26259.1&gt;,<br>������������������������������ [&lt;3065.4161.0&gt;],<br>������������������������������ all}]],<br>
��������������������������� [[&lt;0.261.0&gt;,<br>����������������������������� {amqqueue,<br>������������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>������������������������������� &lt;&lt;&quot;RelatedLinks-ONYX&quot;&gt;&gt;},<br>
������������������������������ false,false,none,<br>������������������������������ [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;},<br>������������������������������� {&lt;&lt;&quot;x-message-ttl&quot;&gt;&gt;,signedint,1200000}],<br>
������������������������������ &lt;3067.277.0&gt;,<br>������������������������������ [&lt;3065.322.0&gt;],<br>������������������������������ all}]],<br>��������������������������� []}}},<br>������������������������ 10,10,[],rabbit_mirror_queue_slave_sup,[]}<br>
** Reason for termination == <br>** {badarg,[{erlang,unlink,[undefined]},<br>����������� {supervisor2,&#39;-terminate_simple_children/3-fun-0-&#39;,4},<br>����������� {dict,fold_bucket,3},<br>����������� {dict,fold_seg,4},<br>
����������� {dict,fold_segs,4},<br>����������� {supervisor2,terminate_simple_children,3},<br>����������� {supervisor2,terminate,2},<br>����������� {gen_server,terminate,6}]}<br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>
Mirrored-queue (queue &#39;vsw.activitylogging.conversion.pendingconversion&#39; in vhost &#39;ActivityLogging&#39;): Slave &lt;&#39;rabbit@rabbitmq-dev-2&#39;.1.252.0&gt; saw deaths of mirrors &lt;&#39;rabbit@rabbitmq-dev-3&#39;.2.253.0&gt; <br>
<br>=ERROR REPORT==== 26-Apr-2012::16:51:08 ===<br>** Generic server &lt;0.265.0&gt; terminating<br>** Last message in was {&#39;EXIT&#39;,&lt;0.249.0&gt;,<br>�������������������������� {badarg,<br>������������������������������ [{erlang,unlink,[undefined]},<br>
������������������������������� {supervisor2,<br>����������������������������������� &#39;-terminate_simple_children/3-fun-0-&#39;,4},<br>������������������������������� {dict,fold_bucket,3},<br>������������������������������� {dict,fold_seg,4},<br>
������������������������������� {dict,fold_segs,4},<br>������������������������������� {supervisor2,terminate_simple_children,3},<br>������������������������������� {supervisor2,terminate,2},<br>������������������������������� {gen_server,terminate,6}]}}<br>
** When Server state == {state,<br>������������������������ {amqqueue,<br>������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;Advertiser-ONYX&quot;&gt;&gt;},<br>������������������������� false,false,none,<br>
������������������������� [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;},<br>�������������������������� {&lt;&lt;&quot;x-message-ttl&quot;&gt;&gt;,signedint,1200000}],<br>������������������������� &lt;3067.289.0&gt;,<br>
������������������������� [&lt;3065.334.0&gt;],<br>������������������������� all},<br>������������������������ &lt;0.267.0&gt;,&lt;3065.334.0&gt;,rabbit_variable_queue,<br>������������������������ {vqstate,<br>������������������������� {0,{[],[]}},<br>
������������������������� {0,{[],[]}},<br>������������������������� {delta,undefined,0,undefined},<br>������������������������� {0,{[],[]}},<br>������������������������� {0,{[],[]}},<br>������������������������� 0,<br>������������������������� {0,nil},<br>
������������������������� undefined,<br>������������������������� {0,nil},<br>������������������������� {qistate,<br>�������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/queues/1ON03RTBZAE64B67H41L4ICDE&quot;,<br>
�������������������������� {{dict,0,16,16,8,80,48,<br>���������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>���������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������ []}}},<br>
��������������������������� []},<br>�������������������������� undefined,0,262144,<br>�������������������������� #Fun&lt;rabbit_variable_queue.2.91259159&gt;,<br>�������������������������� {0,nil}},<br>������������������������� {undefined,<br>
�������������������������� {client_msstate,msg_store_transient,<br>��������������������������� &lt;&lt;228,99,153,84,177,114,138,215,76,30,0,48,128,77,<br>����������������������������� 68,245&gt;&gt;,<br>��������������������������� {dict,0,16,16,8,80,48,<br>
���������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>���������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������ []}}},<br>��������������������������� {state,368709,<br>
���������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/msg_store_transient&quot;},<br>��������������������������� rabbit_msg_store_ets_index,<br>��������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/msg_store_transient&quot;,<br>
��������������������������� &lt;0.239.0&gt;,372806,364585,376903,381000}},<br>������������������������� false,0,#Fun&lt;rabbit_mirror_queue_slave.3.29941254&gt;,<br>������������������������� 0,0,infinity,0,0,0,0,0,<br>������������������������� {rates,<br>
�������������������������� {{1335,483942,985021},0},<br>�������������������������� {{1335,483942,985021},0},<br>�������������������������� 0.0,0.0,<br>�������������������������� {1335,484240,226498}},<br>������������������������� {0,nil},<br>
������������������������� {0,nil},<br>������������������������� {0,nil},<br>������������������������� {0,nil},<br>������������������������� 0,0,<br>������������������������� {rates,<br>�������������������������� {{1335,483942,985021},0},<br>
�������������������������� {{1335,483942,985021},0},<br>�������������������������� 0.0,0.0,<br>�������������������������� {1335,484240,226498}}},<br>������������������������ undefined,#Ref&lt;0.0.9.158766&gt;,<br>������������������������ {dict,0,16,16,8,80,48,<br>
������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ 0,<br>������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>
������������������������ true}<br>** Reason for termination == <br>** {badarg,[{erlang,unlink,[undefined]},<br>����������� {supervisor2,&#39;-terminate_simple_children/3-fun-0-&#39;,4},<br>����������� {dict,fold_bucket,3},<br>
����������� {dict,fold_seg,4},<br>����������� {dict,fold_segs,4},<br>����������� {supervisor2,terminate_simple_children,3},<br>����������� {supervisor2,terminate,2},<br>����������� {gen_server,terminate,6}]}<br><br>=ERROR REPORT==== 26-Apr-2012::16:51:08 ===<br>
** Generic server &lt;0.6730.0&gt; terminating<br>** Last message in was {&#39;EXIT&#39;,&lt;0.249.0&gt;,<br>�������������������������� {badarg,<br>������������������������������ [{erlang,unlink,[undefined]},<br>������������������������������� {supervisor2,<br>
����������������������������������� &#39;-terminate_simple_children/3-fun-0-&#39;,4},<br>������������������������������� {dict,fold_bucket,3},<br>������������������������������� {dict,fold_seg,4},<br>������������������������������� {dict,fold_segs,4},<br>
������������������������������� {supervisor2,terminate_simple_children,3},<br>������������������������������� {supervisor2,terminate,2},<br>������������������������������� {gen_server,terminate,6}]}}<br>** When Server state == {state,<br>
������������������������ {amqqueue,<br>������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>�������������������������� &lt;&lt;&quot;Advertiser-heartbeat-DHOHMEYERGX280&quot;&gt;&gt;},<br>������������������������� false,true,&lt;3065.14349.1&gt;,<br>
������������������������� [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>������������������������� &lt;3065.14370.1&gt;,[],all},<br>������������������������ &lt;0.6731.0&gt;,&lt;3065.14370.1&gt;,rabbit_variable_queue,<br>
������������������������ {vqstate,<br>������������������������� {0,{[],[]}},<br>������������������������� {0,{[],[]}},<br>������������������������� {delta,undefined,0,undefined},<br>������������������������� {0,{[],[]}},<br>
������������������������� {0,{[],[]}},<br>������������������������� 0,<br>������������������������� {0,nil},<br>������������������������� undefined,<br>������������������������� {0,nil},<br>������������������������� {qistate,<br>
�������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/queues/5R0GE9UEB8S0EMSJORBUKHBTE&quot;,<br>�������������������������� {{dict,0,16,16,8,80,48,<br>���������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
���������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������ []}}},<br>��������������������������� []},<br>�������������������������� undefined,0,262144,<br>�������������������������� #Fun&lt;rabbit_variable_queue.2.91259159&gt;,<br>
�������������������������� {0,nil}},<br>������������������������� {undefined,<br>�������������������������� {client_msstate,msg_store_transient,<br>��������������������������� &lt;&lt;182,86,2,135,69,87,14,108,163,188,15,159,127,119,<br>
����������������������������� 55,241&gt;&gt;,<br>��������������������������� {dict,0,16,16,8,80,48,<br>���������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>���������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
������������������������������ []}}},<br>��������������������������� {state,368709,<br>���������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/msg_store_transient&quot;},<br>��������������������������� rabbit_msg_store_ets_index,<br>
��������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/msg_store_transient&quot;,<br>��������������������������� &lt;0.239.0&gt;,372806,364585,376903,381000}},<br>������������������������� false,0,#Fun&lt;rabbit_mirror_queue_slave.3.29941254&gt;,<br>
������������������������� 0,0,infinity,0,0,0,0,0,<br>������������������������� {rates,<br>�������������������������� {{1335,484239,805553},0},<br>�������������������������� {{1335,484239,805553},0},<br>�������������������������� 0.0,0.0,<br>
�������������������������� {1335,484255,991021}},<br>������������������������� {0,nil},<br>������������������������� {0,nil},<br>������������������������� {0,nil},<br>������������������������� {0,nil},<br>������������������������� 0,0,<br>
������������������������� {rates,<br>�������������������������� {{1335,484239,805553},0},<br>�������������������������� {{1335,484239,805553},0},<br>�������������������������� 0.0,0.0,<br>�������������������������� {1335,484255,991021}}},<br>
������������������������ undefined,#Ref&lt;0.0.9.158602&gt;,<br>������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>
������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ 0,<br>
������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ {dict,0,16,16,8,80,48,<br>
������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ true}<br>** Reason for termination == <br>
** {badarg,[{erlang,unlink,[undefined]},<br>����������� {supervisor2,&#39;-terminate_simple_children/3-fun-0-&#39;,4},<br>����������� {dict,fold_bucket,3},<br>����������� {dict,fold_seg,4},<br>����������� {dict,fold_segs,4},<br>
����������� {supervisor2,terminate_simple_children,3},<br>����������� {supervisor2,terminate,2},<br>����������� {gen_server,terminate,6}]}<br><br>=ERROR REPORT==== 26-Apr-2012::16:51:08 ===<br>** Generic server &lt;0.252.0&gt; terminating<br>
** Last message in was {&#39;EXIT&#39;,&lt;0.249.0&gt;,shutdown}<br>** When Server state == {state,<br>������������������������ {amqqueue,<br>������������������������� {resource,&lt;&lt;&quot;ActivityLogging&quot;&gt;&gt;,queue,<br>
�������������������������� &lt;&lt;&quot;vsw.activitylogging.conversion.pendingconversion&quot;&gt;&gt;},<br>������������������������� true,false,none,<br>������������������������� [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>
������������������������� &lt;3067.253.0&gt;,<br>������������������������� [&lt;3065.257.0&gt;],<br>������������������������� all},<br>������������������������ &lt;0.253.0&gt;,&lt;3065.257.0&gt;,rabbit_variable_queue,<br>
������������������������ {vqstate,<br>������������������������� {0,{[],[]}},<br>������������������������� {0,{[],[]}},<br>������������������������� {delta,undefined,0,undefined},<br>������������������������� {0,{[],[]}},<br>
������������������������� {0,{[],[]}},<br>������������������������� 0,<br>������������������������� {0,nil},<br>������������������������� undefined,<br>������������������������� {0,nil},<br>������������������������� {qistate,<br>
�������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/queues/9KDJJKR11HTT40SVOPWG0AWDM&quot;,<br>�������������������������� {{dict,0,16,16,8,80,48,<br>���������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
���������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������ []}}},<br>��������������������������� []},<br>�������������������������� undefined,0,262144,<br>�������������������������� #Fun&lt;rabbit_variable_queue.2.91259159&gt;,<br>
�������������������������� {0,nil}},<br>������������������������� {{client_msstate,msg_store_persistent,<br>��������������������������� &lt;&lt;58,135,182,192,228,241,29,217,255,38,4,53,94,213,<br>����������������������������� 95,102&gt;&gt;,<br>
��������������������������� {dict,0,16,16,8,80,48,<br>���������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>���������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������ []}}},<br>
��������������������������� {state,389194,<br>���������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/msg_store_persistent&quot;},<br>��������������������������� rabbit_msg_store_ets_index,<br>��������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/msg_store_persistent&quot;,<br>
��������������������������� &lt;0.244.0&gt;,393291,385097,397388,401485},<br>�������������������������� {client_msstate,msg_store_transient,<br>��������������������������� &lt;&lt;63,170,201,248,36,125,208,20,133,142,139,71,219,<br>
����������������������������� 91,212,33&gt;&gt;,<br>��������������������������� {dict,0,16,16,8,80,48,<br>���������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>���������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
������������������������������ []}}},<br>��������������������������� {state,368709,<br>���������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/msg_store_transient&quot;},<br>��������������������������� rabbit_msg_store_ets_index,<br>
��������������������������� &quot;/var/lib/rabbitmq/mnesia/rabbit@rabbitmq-dev-2/msg_store_transient&quot;,<br>��������������������������� &lt;0.239.0&gt;,372806,364585,376903,381000}},<br>������������������������� true,0,#Fun&lt;rabbit_mirror_queue_slave.3.29941254&gt;,0,<br>
������������������������� 0,infinity,0,0,0,0,0,<br>������������������������� {rates,<br>�������������������������� {{1335,483943,551021},0},<br>�������������������������� {{1335,483943,551021},0},<br>�������������������������� 0.0,0.0,<br>
�������������������������� {1335,484240,51118}},<br>������������������������� {0,nil},<br>������������������������� {0,nil},<br>������������������������� {0,nil},<br>������������������������� {0,nil},<br>������������������������� 0,0,<br>
������������������������� {rates,<br>�������������������������� {{1335,483943,551021},0},<br>�������������������������� {{1335,483943,551021},0},<br>�������������������������� 0.0,0.0,<br>�������������������������� {1335,484240,51118}}},<br>
������������������������ undefined,#Ref&lt;0.0.9.158618&gt;,<br>������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>
������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ 0,<br>
������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ {dict,0,16,16,8,80,48,<br>
������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ true}<br>** Reason for termination == <br>
** {shutdown,<br>������ {gen_server2,call,<br>���������� [msg_store_persistent,<br>����������� {client_terminate,<br>��������������� &lt;&lt;58,135,182,192,228,241,29,217,255,38,4,53,94,213,95,102&gt;&gt;},<br>����������� infinity]}}<br>
** In &#39;terminate&#39; callback with reason ==<br>** shutdown<br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>��� application: rabbit<br>��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>
��� application: os_mon<br>��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>��� application: mnesia<br>��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 26-Apr-2012::16:51:08 ===<br>
Halting Erlang VM<br><br>===============================================<br><br>dev-2-sasl.log<br>===============================================<br>=CRASH REPORT==== 26-Apr-2012::16:51:08 ===<br>� crasher:<br>��� initial call: supervisor2:init/1<br>
��� pid: &lt;0.249.0&gt;<br>��� registered_name: rabbit_mirror_queue_slave_sup<br>��� exception exit: {badarg,<br>����������������������� [{erlang,unlink,[undefined]},<br>������������������������ {supervisor2,&#39;-terminate_simple_children/3-fun-0-&#39;,4},<br>
������������������������ {dict,fold_bucket,3},<br>������������������������ {dict,fold_seg,4},<br>������������������������ {dict,fold_segs,4},<br>������������������������ {supervisor2,terminate_simple_children,3},<br>������������������������ {supervisor2,terminate,2},<br>
������������������������ {gen_server,terminate,6}]}<br>����� in function� gen_server:terminate/6<br>��� ancestors: [rabbit_sup,&lt;0.126.0&gt;]<br>��� messages: [{&#39;DOWN&#39;,#Ref&lt;0.0.9.159703&gt;,process,<br>������������������������� {undefined,&#39;rabbit@rabbitmq-dev-2&#39;},<br>
������������������������� noproc}]<br>��� links: [&lt;0.265.0&gt;,&lt;0.6730.0&gt;]<br>��� dictionary: []<br>��� trap_exit: true<br>��� status: running<br>��� heap_size: 987<br>��� stack_size: 24<br>��� reductions: 5064<br>
� neighbours:<br><br>=SUPERVISOR REPORT==== 26-Apr-2012::16:51:08 ===<br>���� Supervisor: {local,rabbit_sup}<br>���� Context:��� shutdown_error<br>���� Reason:���� {badarg,<br>�������������������� [{erlang,unlink,[undefined]},<br>
��������������������� {supervisor2,&#39;-terminate_simple_children/3-fun-0-&#39;,4},<br>��������������������� {dict,fold_bucket,3},<br>��������������������� {dict,fold_seg,4},<br>��������������������� {dict,fold_segs,4},<br>
��������������������� {supervisor2,terminate_simple_children,3},<br>��������������������� {supervisor2,terminate,2},<br>��������������������� {gen_server,terminate,6}]}<br>���� Offender:�� [{pid,&lt;0.249.0&gt;},<br>����������������� {name,rabbit_mirror_queue_slave_sup},<br>
����������������� {mfargs,{rabbit_mirror_queue_slave_sup,start_link,[]}},<br>����������������� {restart_type,transient},<br>����������������� {shutdown,infinity},<br>����������������� {child_type,supervisor}]<br><br><br>=CRASH REPORT==== 26-Apr-2012::16:51:08 ===<br>
� crasher:<br>��� initial call: gen:init_it/6<br>��� pid: &lt;0.265.0&gt;<br>��� registered_name: []<br>��� exception exit: {badarg,<br>����������������������� [{erlang,unlink,[undefined]},<br>������������������������ {supervisor2,&#39;-terminate_simple_children/3-fun-0-&#39;,4},<br>
������������������������ {dict,fold_bucket,3},<br>������������������������ {dict,fold_seg,4},<br>������������������������ {dict,fold_segs,4},<br>������������������������ {supervisor2,terminate_simple_children,3},<br>������������������������ {supervisor2,terminate,2},<br>
������������������������ {gen_server,terminate,6}]}<br>����� in function� gen_server2:terminate/3<br>��� ancestors: [rabbit_mirror_queue_slave_sup,rabbit_sup,&lt;0.126.0&gt;]<br>��� messages: [{&#39;EXIT&#39;,&lt;0.267.0&gt;,normal},<br>
����������������� {&#39;DOWN&#39;,#Ref&lt;0.0.3.44831&gt;,process,&lt;3065.334.0&gt;,normal}]<br>��� links: []<br>��� dictionary: [{{xtype_to_module,direct},rabbit_exchange_type_direct},<br>����������������� {{xtype_to_module,topic},rabbit_exchange_type_topic},<br>
����������������� {guid,{{3831732564,2977073879,1277034544,2152547573},0}}]<br>��� trap_exit: true<br>��� status: running<br>��� heap_size: 2584<br>��� stack_size: 24<br>��� reductions: 4916<br>� neighbours:<br><br>=CRASH REPORT==== 26-Apr-2012::16:51:08 ===<br>
� crasher:<br>��� initial call: gen:init_it/6<br>��� pid: &lt;0.6730.0&gt;<br>��� registered_name: []<br>��� exception exit: {badarg,<br>����������������������� [{erlang,unlink,[undefined]},<br>������������������������ {supervisor2,&#39;-terminate_simple_children/3-fun-0-&#39;,4},<br>
������������������������ {dict,fold_bucket,3},<br>������������������������ {dict,fold_seg,4},<br>������������������������ {dict,fold_segs,4},<br>������������������������ {supervisor2,terminate_simple_children,3},<br>������������������������ {supervisor2,terminate,2},<br>
������������������������ {gen_server,terminate,6}]}<br>����� in function� gen_server2:terminate/3<br>��� ancestors: [rabbit_mirror_queue_slave_sup,rabbit_sup,&lt;0.126.0&gt;]<br>��� messages: [{&#39;EXIT&#39;,&lt;0.6731.0&gt;,normal},<br>
����������������� {&#39;DOWN&#39;,#Ref&lt;0.0.4.191216&gt;,process,&lt;3065.14370.1&gt;,normal}]<br>��� links: []<br>��� dictionary: [{credit_blocked,[]},<br>����������������� {{xtype_to_module,direct},rabbit_exchange_type_direct},<br>
����������������� {{xtype_to_module,fanout},rabbit_exchange_type_fanout},<br>����������������� {guid,{{3059090055,1163333228,2747010975,2138519537},0}}]<br>��� trap_exit: true<br>��� status: running<br>��� heap_size: 1597<br>
��� stack_size: 24<br>��� reductions: 8290<br>� neighbours:<br>===============================================<br><br><br><br>
</div>