Thanks Tim! Glad to know I&#39;m not crazy.<br><br>&gt; 
    Are these HA queues durable and do they all &quot;come back to life&quot;
    after restarting the node(s)?<br><br>Unfortunately, I wasn&#39;t around when this particular problem occurred, but as the designated RabbitMQ expert, I got to piece together events from the logs.<br><br>So, I can tell you that the queues are all declared as HA. However, we didn&#39;t see the queues again until after we explicitly created them. Unfortunately, it doesn&#39;t look like there was a broker restart between when the queue was gone and when they were later declared, so no idea if a restart would have brought the queues back to life. Sorry about that...<br>
<br>Matt<br><br><div class="gmail_quote">On Mon, Oct 15, 2012 at 3:22 AM, Tim Watson <span dir="ltr">&lt;<a href="mailto:tim@rabbitmq.com" target="_blank">tim@rabbitmq.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

  
    
  
  <div bgcolor="#FFFFFF" text="#000000">
    Hi Matt,<br>
    <br>
    This is a problem we&#39;re aware of (i.e., we have an open bug which
    we&#39;re working on!) and are looking at ways of handling it. What is
    basically happening here is that mnesia gets into an inconsistent
    state due to a network partition and the mnesia transaction manager
    sends unanticipated (and unhandled) messages to certain Erlang
    processes causing a crash.<br>
    <br>
    Whilst this falls into the category of &quot;Rabbit clusters do not
    handle network partitions&quot; obviously we want to prevent this sort of
    thing happening and as I say, we&#39;re looking at various ways of
    responding in a somewhat more user friendly manner.<br>
    <br>
    In the meanwhile, I&#39;d be very interested to see if the queue
    information has actually been deleted from mnesia when this happens.
    Are these HA queues durable and do they all &quot;come back to life&quot;
    after restarting the node(s)?<br>
    <br>
    Cheers,<br>
    Tim<div><div class="h5"><br>
    <br>
    On 10/12/2012 09:01 PM, Matt Pietrek wrote:
    </div></div><blockquote type="cite"><div><div class="h5">I&#39;ll be the first to admit that this is a somewhat
      unusual/complicated circumstance, but I&#39;m posting this on the
      chance there&#39;s something unusual. This is RabbitMQ is <b>2.8.7 </b>on
      Erlang R15B01.<br>
      <br>
      We have two brokers (mq1, mq2) running clustered with all HA
      queues. A VIP is in front of them. <br>
      <br>
      At some point there was a network event, and afterwards, a queue
      vanished. (Still trying to figure out exactly what the network
      hiccup was, but it&#39;s fair to say there was a communication
      disruption between the nodes.)� My guess from looking at the logs
      is that each node had a moment where it couldn&#39;t see the other, so
      took actions that were ultimately incompatible when both nodes
      were visible to each other.<br>
      <br>
      The actual error as seen by our code is a missing queue named
      &quot;charon&quot;. You&#39;ll see it near the end of the <a href="mailto:rabbit@mq2.log" target="_blank">rabbit@mq2.log</a>
      (below):<br>
      <br>
      <b><span style="color:rgb(255,0,0)">{amqp_error,not_found,&quot;no
          queue &#39;charon&#39; in vhost &#39;/&#39;&quot;,&#39;queue.declare&#39;}</span></b><br>
      <br>
      Prior to the network event, our client was successfully reading
      from the charon queue.<br>
      <br>
      <br>
      <b>Here&#39;s the relevant parts of the <a href="mailto:rabbit@mq1.log" target="_blank">rabbit@mq1.log</a> file<br>
        ====================================================</b><br>
      =INFO REPORT==== 11-Oct-2012::14:01:58 ===<br>
      rabbit on node rabbit@mq2 down<br>
      <br>
      =ERROR REPORT==== 11-Oct-2012::14:02:03 ===<br>
      Mnesia(rabbit@mq1): ** ERROR ** mnesia_event got
      {inconsistent_database, running_partitioned_network, rabbit@mq2}<br>
      <br>
      =ERROR REPORT==== 11-Oct-2012::14:02:03 ===<br>
      ** Generic server &lt;0.547.0&gt; terminating<br>
      ** Last message in was {mnesia_locker,rabbit@mq2,granted}<br>
      ** When Server state == {state,<br>
      ��������������������������� {0,&lt;0.547.0&gt;},<br>
      ��������������������������� {{0,&lt;0.547.0&gt;},undefined},<br>
      ��������������������������� {{0,&lt;0.547.0&gt;},undefined},<br>
      ���������������������������
      {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
      ��������������������������� rabbit_mirror_queue_coordinator,<br>
      ��������������������������� {3,<br>
      ���������������������������� [{{0,&lt;0.547.0&gt;},<br>
      ������������������������������ {view_member,<br>
      ���������������������������������� {0,&lt;0.547.0&gt;},<br>
      ���������������������������������� [],<br>
      ���������������������������������� {0,&lt;0.547.0&gt;},<br>
      ���������������������������������� {0,&lt;0.547.0&gt;}}}]},<br>
      ��������������������������� 1,[],<br>
      ��������������������������� [&lt;0.546.0&gt;],<br>
      ��������������������������� {[],[]},<br>
      ��������������������������� [],undefined}<br>
      ** Reason for termination == <br>
      ** {function_clause,<br>
      ������ [{gm,handle_info,<br>
      ����������� [{mnesia_locker,rabbit@mq2,granted},<br>
      ������������ {state,<br>
      ���������������� {0,&lt;0.547.0&gt;},<br>
      ���������������� {{0,&lt;0.547.0&gt;},undefined},<br>
      ���������������� {{0,&lt;0.547.0&gt;},undefined},<br>
      ����������������
      {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
      ���������������� rabbit_mirror_queue_coordinator,<br>
      ���������������� {3,<br>
      ����������������� [{{0,&lt;0.547.0&gt;},<br>
      ������������������� {view_member,<br>
      ����������������������� {0,&lt;0.547.0&gt;},<br>
      ����������������������� [],<br>
      ����������������������� {0,&lt;0.547.0&gt;},<br>
      ����������������������� {0,&lt;0.547.0&gt;}}}]},<br>
      ���������������� 1,[],<br>
      ���������������� [&lt;0.546.0&gt;],<br>
      ���������������� {[],[]},<br>
      ���������������� [],undefined}],<br>
      ����������� [{file,&quot;src/gm.erl&quot;},{line,665}]},<br>
      �������
      {gen_server2,handle_msg,2,[{file,&quot;src/gen_server2.erl&quot;},{line,912}]},<br>
      ������� {proc_lib,wake_up,3,[{file,&quot;proc_lib.erl&quot;},{line,237}]}]}<br>
      <br>
      =ERROR REPORT==== 11-Oct-2012::14:02:03 ===<br>
      ** Generic server &lt;0.545.0&gt; terminating<br>
      ** Last message in was {&#39;EXIT&#39;,&lt;0.546.0&gt;,<br>
      ����������������������� {function_clause,<br>
      ������������������������ [{gm,handle_info,<br>
      �������������������������� [{mnesia_locker,rabbit@mq2,granted},<br>
      ��������������������������� {state,<br>
      ���������������������������� {0,&lt;0.547.0&gt;},<br>
      ���������������������������� {{0,&lt;0.547.0&gt;},undefined},<br>
      ���������������������������� {{0,&lt;0.547.0&gt;},undefined},<br>
      ����������������������������
      {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
      ���������������������������� rabbit_mirror_queue_coordinator,<br>
      ���������������������������� {3,<br>
      ����������������������������� [{{0,&lt;0.547.0&gt;},<br>
      ������������������������������� {view_member,<br>
      �������������������������������� {0,&lt;0.547.0&gt;},<br>
      �������������������������������� [],<br>
      �������������������������������� {0,&lt;0.547.0&gt;},<br>
      �������������������������������� {0,&lt;0.547.0&gt;}}}]},<br>
      ���������������������������� 1,[],<br>
      ���������������������������� [&lt;0.546.0&gt;],<br>
      ���������������������������� {[],[]},<br>
      ���������������������������� [],undefined}],<br>
      �������������������������� [{file,&quot;src/gm.erl&quot;},{line,665}]},<br>
      ������������������������� {gen_server2,handle_msg,2,<br>
      ��������������������������
      [{file,&quot;src/gen_server2.erl&quot;},{line,912}]},<br>
      ������������������������� {proc_lib,wake_up,3,<br>
      �������������������������� [{file,&quot;proc_lib.erl&quot;},{line,237}]}]}}<br>
      ** When Server state == {q,<br>
      ������������������������ {amqqueue,<br>
      �������������������������
      {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
      ������������������������� true,false,none,<br>
      �������������������������
      [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>
      ������������������������� &lt;0.545.0&gt;,[],all},<br>
      ������������������������ none,false,rabbit_mirror_queue_master,<br>
      ������������������������
      {state,&lt;0.547.0&gt;,&lt;0.546.0&gt;,rabbit_variable_queue,<br>
      ������������������������� {vqstate,<br>
      �������������������������� {0,{[],[]}},<br>
      �������������������������� {0,{[],[]}},<br>
      �������������������������� {delta,undefined,0,undefined},<br>
      �������������������������� {0,{[],[]}},<br>
      �������������������������� {0,{[],[]}},<br>
      �������������������������� 0,<br>
      �������������������������� {0,nil},<br>
      �������������������������� undefined,<br>
      �������������������������� {0,nil},<br>
      �������������������������� {qistate,<br>
      ���������������������������
      &quot;/highland/var/lib/rabbit@mq1/queues/4L2SY4TVRPM8HP85JDVO85BPL&quot;,<br>
      ��������������������������� {{dict,0,16,16,8,80,48,<br>
      �����������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������ []},<br>
      �����������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������� []}}},<br>
      ���������������������������� []},<br>
      ��������������������������� undefined,0,262144,<br>
      ���������������������������
      #Fun&lt;rabbit_variable_queue.2.121500735&gt;,<br>
      ��������������������������� {0,nil}},<br>
      �������������������������� {{client_msstate,msg_store_persistent,<br>
      ����������������������������
      &lt;&lt;112,32,84,92,54,73,67,43,231,35,164,79,106,8,27,<br>
      ������������������������������ 132&gt;&gt;,<br>
      ���������������������������� {dict,0,16,16,8,80,48,<br>
      �����������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������ []},<br>
      �����������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������� []}}},<br>
      ���������������������������� {state,237637,<br>
      �����������������������������
      &quot;/highland/var/lib/rabbit@mq1/msg_store_persistent&quot;},<br>
      ���������������������������� rabbit_msg_store_ets_index,<br>
      ����������������������������
      &quot;/highland/var/lib/rabbit@mq1/msg_store_persistent&quot;,<br>
      ����������������������������
      &lt;0.289.0&gt;,241734,233540,245831,249928},<br>
      ��������������������������� {client_msstate,msg_store_transient,<br>
      ����������������������������
      &lt;&lt;204,18,155,40,29,120,124,76,144,83,195,135,250,<br>
      ������������������������������ 91,216,3&gt;&gt;,<br>
      ���������������������������� {dict,0,16,16,8,80,48,<br>
      �����������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������ []},<br>
      �����������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������� []}}},<br>
      ���������������������������� {state,217152,<br>
      �����������������������������
      &quot;/highland/var/lib/rabbit@mq1/msg_store_transient&quot;},<br>
      ���������������������������� rabbit_msg_store_ets_index,<br>
      ����������������������������
      &quot;/highland/var/lib/rabbit@mq1/msg_store_transient&quot;,<br>
      ����������������������������
      &lt;0.284.0&gt;,221249,213055,225346,229443}},<br>
      ��������������������������
      true,0,#Fun&lt;rabbit_amqqueue_process.5.24780734&gt;,0,<br>
      �������������������������� 0,infinity,0,0,0,0,0,<br>
      �������������������������� {rates,<br>
      ��������������������������� {{1349,988602,967125},0},<br>
      ��������������������������� {{1349,988602,967125},0},<br>
      ��������������������������� 0.0,0.0,<br>
      ��������������������������� {1349,988606,141019}},<br>
      �������������������������� {0,nil},<br>
      �������������������������� {0,nil},<br>
      �������������������������� {0,nil},<br>
      �������������������������� {0,nil},<br>
      �������������������������� 0,0,<br>
      �������������������������� {rates,<br>
      ��������������������������� {{1349,988602,967125},0},<br>
      ��������������������������� {{1349,988602,967125},0},<br>
      ��������������������������� 0.0,0.0,<br>
      ��������������������������� {1349,988606,141019}}},<br>
      ������������������������� 0,<br>
      ������������������������� {dict,0,16,16,8,80,48,<br>
      ��������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
      ��������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ���������������������������� []}}},<br>
      ������������������������� [],<br>
      ������������������������� {dict,0,16,16,8,80,48,<br>
      ��������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
      ��������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ���������������������������� []}}},<br>
      ������������������������� {set,0,16,16,8,80,48,<br>
      ��������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
      ��������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ���������������������������� []}}}},<br>
      ������������������������ {[],[]},<br>
      ������������������������ undefined,undefined,undefined,undefined,<br>
      ������������������������ {state,fine,5000,undefined},<br>
      ������������������������ {0,nil},<br>
      ������������������������ undefined,undefined,undefined,<br>
      ������������������������ {dict,0,16,16,8,80,48,<br>
      �������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
      �������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>
      ������������������������ 1,<br>
      ������������������������ {{0,nil},{0,nil}},<br>
      ������������������������ undefined,<br>
      ������������������������ {dict,0,16,16,8,80,48,<br>
      �������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
      �������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>
      ������������������������ undefined,undefined}<br>
      ** Reason for termination == <br>
      ** {noproc,{gen_server2,call,[&lt;0.547.0&gt;,info,infinity]}}<br>
      ** In &#39;terminate&#39; callback with reason ==<br>
      ** {function_clause,<br>
      ������ [{gm,handle_info,<br>
      ����������� [{mnesia_locker,rabbit@mq2,granted},<br>
      ������������ {state,<br>
      ���������������� {0,&lt;0.547.0&gt;},<br>
      ���������������� {{0,&lt;0.547.0&gt;},undefined},<br>
      ���������������� {{0,&lt;0.547.0&gt;},undefined},<br>
      ����������������
      {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
      ���������������� rabbit_mirror_queue_coordinator,<br>
      ���������������� {3,<br>
      ����������������� [{{0,&lt;0.547.0&gt;},<br>
      ������������������� {view_member,<br>
      ����������������������� {0,&lt;0.547.0&gt;},<br>
      ����������������������� [],<br>
      ����������������������� {0,&lt;0.547.0&gt;},<br>
      ����������������������� {0,&lt;0.547.0&gt;}}}]},<br>
      ���������������� 1,[],<br>
      ���������������� [&lt;0.546.0&gt;],<br>
      ���������������� {[],[]},<br>
      ���������������� [],undefined}],<br>
      ����������� [{file,&quot;src/gm.erl&quot;},{line,665}]},<br>
      �������
      {gen_server2,handle_msg,2,[{file,&quot;src/gen_server2.erl&quot;},{line,912}]},<br>
      ������� {proc_lib,wake_up,3,[{file,&quot;proc_lib.erl&quot;},{line,237}]}]}<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:02:03 ===<br>
      Mirrored-queue (queue &#39;cmcmd&#39; in vhost &#39;/&#39;): Master
      <a href="mailto:rabbit@mq1.2.665.0" target="_blank">&lt;rabbit@mq1.2.665.0&gt;</a> saw deaths of mirrors
      <a href="mailto:rabbit@mq2.1.383.0" target="_blank">&lt;rabbit@mq2.1.383.0&gt;</a> <br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:02:03 ===<br>
      Mirrored-queue (queue &#39;ConfigurationManager&#39; in vhost &#39;/&#39;): Master
      <a href="mailto:rabbit@mq1.2.605.0" target="_blank">&lt;rabbit@mq1.2.605.0&gt;</a> saw deaths of mirrors
      <a href="mailto:rabbit@mq2.1.377.0" target="_blank">&lt;rabbit@mq2.1.377.0&gt;</a> <br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:02:03 ===<br>
      global: Name conflict terminating
      {rabbit_mgmt_db,&lt;<a href="tel:3198.32532.0" value="+13198325320" target="_blank">3198.32532.0</a>&gt;}<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:26:40 ===<br>
      accepting AMQP connection &lt;0.6507.1&gt; (<a href="http://10.72.0.50:46742" target="_blank">10.72.0.50:46742</a>
      -&gt; <a href="http://10.72.0.47:5672" target="_blank">10.72.0.47:5672</a>)<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:26:40 ===<br>
      closing AMQP connection &lt;0.6507.1&gt; (<a href="http://10.72.0.50:46742" target="_blank">10.72.0.50:46742</a>
      -&gt; <a href="http://10.72.0.47:5672" target="_blank">10.72.0.47:5672</a>)<br>
      <br>
      <br>
      <br>
      <br>
      <b>And here&#39;s the relevant parts of the <a href="mailto:rabbit@m2.log" target="_blank">rabbit@m2.log</a> file<br>
        ====================================================</b><br>
      =ERROR REPORT==== 11-Oct-2012::14:01:37 ===<br>
      ** Node rabbit@mq1 not responding **<br>
      ** Removing (timedout) connection **<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:01:37 ===<br>
      rabbit on node rabbit@mq1 down<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:01:40 ===<br>
      Statistics database started.<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>
      Mirrored-queue (queue &#39;cmcmd&#39; in vhost &#39;/&#39;): Slave
      <a href="mailto:rabbit@mq2.1.383.0" target="_blank">&lt;rabbit@mq2.1.383.0&gt;</a> saw deaths of mirrors
      <a href="mailto:rabbit@mq1.2.665.0" target="_blank">&lt;rabbit@mq1.2.665.0&gt;</a> <br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>
      Mirrored-queue (queue &#39;cmcmd&#39; in vhost &#39;/&#39;): Promoting slave
      <a href="mailto:rabbit@mq2.1.383.0" target="_blank">&lt;rabbit@mq2.1.383.0&gt;</a> to master<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>
      Mirrored-queue (queue &#39;charon&#39; in vhost &#39;/&#39;): Slave
      <a href="mailto:rabbit@mq2.1.371.0" target="_blank">&lt;rabbit@mq2.1.371.0&gt;</a> saw deaths of mirrors
      <a href="mailto:rabbit@mq1.2.545.0" target="_blank">&lt;rabbit@mq1.2.545.0&gt;</a> <br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>
      Mirrored-queue (queue &#39;charon&#39; in vhost &#39;/&#39;): Promoting slave
      <a href="mailto:rabbit@mq2.1.371.0" target="_blank">&lt;rabbit@mq2.1.371.0&gt;</a> to master<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>
      Mirrored-queue (queue &#39;ConfigurationManager&#39; in vhost &#39;/&#39;): Slave
      <a href="mailto:rabbit@mq2.1.377.0" target="_blank">&lt;rabbit@mq2.1.377.0&gt;</a> saw deaths of mirrors
      <a href="mailto:rabbit@mq1.2.605.0" target="_blank">&lt;rabbit@mq1.2.605.0&gt;</a> <br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>
      Mirrored-queue (queue &#39;ConfigurationManager&#39; in vhost &#39;/&#39;):
      Promoting slave <a href="mailto:rabbit@mq2.1.377.0" target="_blank">&lt;rabbit@mq2.1.377.0&gt;</a> to master<br>
      <br>
      =ERROR REPORT==== 11-Oct-2012::14:05:03 ===<br>
      Mnesia(rabbit@mq2): ** ERROR ** mnesia_event got
      {inconsistent_database, running_partitioned_network, rabbit@mq1}<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:05:03 ===<br>
      Statistics database started.<br>
      <br>
      =ERROR REPORT==== 11-Oct-2012::14:29:39 ===<br>
      ** Generic server &lt;0.32583.0&gt; terminating<br>
      ** Last message in was
      {&#39;$gen_cast&#39;,{gm_deaths,[&lt;0.5504.1&gt;]}}<br>
      ** When Server state == {state,<br>
      ��������������������������� {amqqueue,<br>
      �������������������������������
      {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
      ������������������������������� true,false,none,<br>
      �������������������������������
      [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>
      ������������������������������� &lt;0.371.0&gt;,[],all},<br>
      ��������������������������� &lt;0.372.0&gt;,<br>
      ��������������������������� {dict,0,16,16,8,80,48,<br>
      �������������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      �������������������������������� []},<br>
      �������������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ��������������������������������� [],[]}}},<br>
      ���������������������������
      #Fun&lt;rabbit_mirror_queue_master.1.32244930&gt;,<br>
      ���������������������������
      #Fun&lt;rabbit_mirror_queue_master.2.32244930&gt;}<br>
      ** Reason for termination == <br>
      ** {bad_return_value,<br>
      ������ {error,<br>
      ���������� {{badmatch,[]},<br>
      �����������
      [{rabbit_mirror_queue_misc,&#39;-remove_from_queue/2-fun-0-&#39;,2,<br>
      ����������������
      [{file,&quot;src/rabbit_mirror_queue_misc.erl&quot;},{line,63}]},<br>
      ������������
      {mnesia_tm,apply_fun,3,[{file,&quot;mnesia_tm.erl&quot;},{line,829}]},<br>
      ������������ {mnesia_tm,execute_transaction,5,<br>
      ���������������� [{file,&quot;mnesia_tm.erl&quot;},{line,809}]},<br>
      ������������
      {rabbit_misc,&#39;-execute_mnesia_transaction/1-fun-0-&#39;,1,<br>
      ���������������� [{file,&quot;src/rabbit_misc.erl&quot;},{line,440}]},<br>
      ������������ {worker_pool_worker,handle_call,3,<br>
      ���������������� [{file,&quot;src/worker_pool_worker.erl&quot;},{line,80}]},<br>
      ������������ {gen_server2,handle_msg,2,<br>
      ���������������� [{file,&quot;src/gen_server2.erl&quot;},{line,879}]},<br>
      ������������
      {proc_lib,wake_up,3,[{file,&quot;proc_lib.erl&quot;},{line,237}]}]}}}<br>
      <br>
      =ERROR REPORT==== 11-Oct-2012::14:29:39 ===<br>
      ** Generic server &lt;0.371.0&gt; terminating<br>
      ** Last message in was {&#39;EXIT&#39;,&lt;0.32583.0&gt;,<br>
      ����������������������� {bad_return_value,<br>
      ������������������������ {error,<br>
      ������������������������� {{badmatch,[]},<br>
      �������������������������� [{rabbit_mirror_queue_misc,<br>
      ���������������������������� &#39;-remove_from_queue/2-fun-0-&#39;,2,<br>
      ����������������������������
      [{file,&quot;src/rabbit_mirror_queue_misc.erl&quot;},<br>
      ����������������������������� {line,63}]},<br>
      ��������������������������� {mnesia_tm,apply_fun,3,<br>
      ���������������������������� [{file,&quot;mnesia_tm.erl&quot;},{line,829}]},<br>
      ��������������������������� {mnesia_tm,execute_transaction,5,<br>
      ���������������������������� [{file,&quot;mnesia_tm.erl&quot;},{line,809}]},<br>
      ��������������������������� {rabbit_misc,<br>
      ����������������������������
      &#39;-execute_mnesia_transaction/1-fun-0-&#39;,1,<br>
      ����������������������������
      [{file,&quot;src/rabbit_misc.erl&quot;},{line,440}]},<br>
      ��������������������������� {worker_pool_worker,handle_call,3,<br>
      ����������������������������
      [{file,&quot;src/worker_pool_worker.erl&quot;},{line,80}]},<br>
      ��������������������������� {gen_server2,handle_msg,2,<br>
      ����������������������������
      [{file,&quot;src/gen_server2.erl&quot;},{line,879}]},<br>
      ��������������������������� {proc_lib,wake_up,3,<br>
      ����������������������������
      [{file,&quot;proc_lib.erl&quot;},{line,237}]}]}}}}<br>
      ** When Server state == {q,<br>
      ������������������������ {amqqueue,<br>
      �������������������������
      {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
      ������������������������� true,false,none,<br>
      �������������������������
      [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>
      ������������������������� &lt;0.371.0&gt;,[],all},<br>
      ������������������������ none,false,rabbit_mirror_queue_master,<br>
      ������������������������
      {state,&lt;0.372.0&gt;,&lt;0.32583.0&gt;,rabbit_variable_queue,<br>
      ������������������������� {vqstate,<br>
      �������������������������� {0,{[],[]}},<br>
      �������������������������� {0,{[],[]}},<br>
      �������������������������� {delta,undefined,0,undefined},<br>
      �������������������������� {0,{[],[]}},<br>
      �������������������������� {0,{[],[]}},<br>
      �������������������������� 0,<br>
      �������������������������� {0,nil},<br>
      �������������������������� undefined,<br>
      �������������������������� {0,nil},<br>
      �������������������������� {qistate,<br>
      ���������������������������
      &quot;/highland/var/lib/rabbit@mq2/queues/4L2SY4TVRPM8HP85JDVO85BPL&quot;,<br>
      ��������������������������� {{dict,0,16,16,8,80,48,<br>
      �����������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������ []},<br>
      �����������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������� []}}},<br>
      ���������������������������� []},<br>
      ��������������������������� undefined,0,262144,<br>
      ���������������������������
      #Fun&lt;rabbit_variable_queue.2.121500735&gt;,<br>
      ��������������������������� {0,nil}},<br>
      �������������������������� {{client_msstate,msg_store_persistent,<br>
      ����������������������������
      &lt;&lt;23,245,132,154,3,96,225,184,108,75,232,224,184,<br>
      ������������������������������ 114,108,141&gt;&gt;,<br>
      ���������������������������� {dict,0,16,16,8,80,48,<br>
      �����������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������ []},<br>
      �����������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������� []}}},<br>
      ���������������������������� {state,282693,<br>
      �����������������������������
      &quot;/highland/var/lib/rabbit@mq2/msg_store_persistent&quot;},<br>
      ���������������������������� rabbit_msg_store_ets_index,<br>
      ����������������������������
      &quot;/highland/var/lib/rabbit@mq2/msg_store_persistent&quot;,<br>
      ����������������������������
      &lt;0.285.0&gt;,286790,278596,290887,294984},<br>
      ��������������������������� {client_msstate,msg_store_transient,<br>
      ����������������������������
      &lt;&lt;17,62,75,125,126,21,66,37,170,44,198,72,18,94,<br>
      ������������������������������ 170,197&gt;&gt;,<br>
      ���������������������������� {dict,0,16,16,8,80,48,<br>
      �����������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������ []},<br>
      �����������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ������������������������������� []}}},<br>
      ���������������������������� {state,262208,<br>
      �����������������������������
      &quot;/highland/var/lib/rabbit@mq2/msg_store_transient&quot;},<br>
      ���������������������������� rabbit_msg_store_ets_index,<br>
      ����������������������������
      &quot;/highland/var/lib/rabbit@mq2/msg_store_transient&quot;,<br>
      ����������������������������
      &lt;0.280.0&gt;,266305,258111,270402,274499}},<br>
      ��������������������������
      true,0,#Fun&lt;rabbit_mirror_queue_slave.1.69615989&gt;,<br>
      �������������������������� 0,0,infinity,0,0,0,0,0,<br>
      �������������������������� {rates,<br>
      ��������������������������� {{1349,989325,677031},0},<br>
      ��������������������������� {{1349,989325,677031},0},<br>
      ��������������������������� 0.0,0.0,<br>
      ��������������������������� {1349,989505,348090}},<br>
      �������������������������� {0,nil},<br>
      �������������������������� {0,nil},<br>
      �������������������������� {0,nil},<br>
      �������������������������� {0,nil},<br>
      �������������������������� 0,0,<br>
      �������������������������� {rates,<br>
      ��������������������������� {{1349,989325,677031},0},<br>
      ��������������������������� {{1349,989325,677031},0},<br>
      ��������������������������� 0.0,0.0,<br>
      ��������������������������� {1349,989505,348090}}},<br>
      ������������������������� 0,<br>
      ������������������������� {dict,0,16,16,8,80,48,<br>
      ��������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
      ��������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ���������������������������� []}}},<br>
      ������������������������� [],<br>
      ������������������������� {dict,0,16,16,8,80,48,<br>
      ��������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
      ��������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ���������������������������� []}}},<br>
      ������������������������� {set,0,16,16,8,80,48,<br>
      ��������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
      ��������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
      ���������������������������� []}}}},<br>
      ������������������������ {[],[]},<br>
      ������������������������ undefined,undefined,undefined,undefined,<br>
      ������������������������ {state,fine,5000,undefined},<br>
      ������������������������ {0,nil},<br>
      ������������������������ undefined,undefined,undefined,<br>
      ������������������������ {dict,0,16,16,8,80,48,<br>
      �������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
      �������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>
      ������������������������ 1,<br>
      ������������������������ {{0,nil},{0,nil}},<br>
      ������������������������ undefined,<br>
      ������������������������ {dict,0,16,16,8,80,48,<br>
      �������������������������
      {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
      �������������������������
      {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>
      ������������������������ undefined,undefined}<br>
      ** Reason for termination == <br>
      ** {noproc,{gen_server2,call,[&lt;0.372.0&gt;,info,infinity]}}<br>
      ** In &#39;terminate&#39; callback with reason ==<br>
      ** {bad_return_value,<br>
      ������ {error,<br>
      ���������� {{badmatch,[]},<br>
      �����������
      [{rabbit_mirror_queue_misc,&#39;-remove_from_queue/2-fun-0-&#39;,2,<br>
      ����������������
      [{file,&quot;src/rabbit_mirror_queue_misc.erl&quot;},{line,63}]},<br>
      ������������
      {mnesia_tm,apply_fun,3,[{file,&quot;mnesia_tm.erl&quot;},{line,829}]},<br>
      ������������ {mnesia_tm,execute_transaction,5,<br>
      ���������������� [{file,&quot;mnesia_tm.erl&quot;},{line,809}]},<br>
      ������������
      {rabbit_misc,&#39;-execute_mnesia_transaction/1-fun-0-&#39;,1,<br>
      ���������������� [{file,&quot;src/rabbit_misc.erl&quot;},{line,440}]},<br>
      ������������ {worker_pool_worker,handle_call,3,<br>
      ���������������� [{file,&quot;src/worker_pool_worker.erl&quot;},{line,80}]},<br>
      ������������ {gen_server2,handle_msg,2,<br>
      ���������������� [{file,&quot;src/gen_server2.erl&quot;},{line,879}]},<br>
      ������������
      {proc_lib,wake_up,3,[{file,&quot;proc_lib.erl&quot;},{line,237}]}]}}}<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:29:43 ===<br>
      accepting AMQP connection &lt;0.5524.1&gt; (<a href="http://10.72.0.23:36056" target="_blank">10.72.0.23:36056</a>
      -&gt; <a href="http://10.72.0.56:5672" target="_blank">10.72.0.56:5672</a>)<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::14:29:44 ===<br>
      accepting AMQP connection &lt;0.5574.1&gt; (<a href="http://10.72.0.23:36064" target="_blank">10.72.0.23:36064</a>
      -&gt; <a href="http://10.72.0.56:5672" target="_blank">10.72.0.56:5672</a>)<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::17:56:16 ===<br>
      accepting AMQP connection &lt;0.23868.1&gt; (<a href="http://10.72.0.53:57122" target="_blank">10.72.0.53:57122</a>
      -&gt; <a href="http://10.72.0.56:5672" target="_blank">10.72.0.56:5672</a>)<br>
      <br>
      =ERROR REPORT==== 11-Oct-2012::17:56:16 ===<br>
      connection &lt;0.23868.1&gt;, channel 1 - error:<br>
      {amqp_error,not_found,&quot;no queue &#39;charon&#39; in vhost
      &#39;/&#39;&quot;,&#39;queue.declare&#39;}<br>
      <br>
      =WARNING REPORT==== 11-Oct-2012::17:56:16 ===<br>
      closing AMQP connection &lt;0.23868.1&gt; (<a href="http://10.72.0.53:57122" target="_blank">10.72.0.53:57122</a>
      -&gt; <a href="http://10.72.0.56:5672" target="_blank">10.72.0.56:5672</a>):<br>
      connection_closed_abruptly<br>
      <br>
      =INFO REPORT==== 11-Oct-2012::17:56:16 ===<br>
      accepting AMQP connection &lt;0.23878.1&gt; (<a href="http://10.72.0.52:56025" target="_blank">10.72.0.52:56025</a>
      -&gt; <a href="http://10.72.0.56:5672" target="_blank">10.72.0.56:5672</a>)<br>
      <br>
      =ERROR REPORT==== 11-Oct-2012::17:56:16 ===<br>
      connection &lt;0.23878.1&gt;, channel 1 - error:<br>
      {amqp_error,not_found,&quot;no queue &#39;charon&#39; in vhost
      &#39;/&#39;&quot;,&#39;queue.declare&#39;}<br>
      <br>
      <br>
      <fieldset></fieldset>
      <br>
      </div></div><pre>_______________________________________________
rabbitmq-discuss mailing list
<a href="mailto:rabbitmq-discuss@lists.rabbitmq.com" target="_blank">rabbitmq-discuss@lists.rabbitmq.com</a>
<a href="https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss" target="_blank">https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss</a>
</pre>
    </blockquote>
    <br>
  </div>

</blockquote></div><br>