I&#39;ll be the first to admit that this is a somewhat unusual/complicated circumstance, but I&#39;m posting this on the chance there&#39;s something unusual. This is RabbitMQ is <b>2.8.7 </b>on Erlang R15B01.<br><br>We have two brokers (mq1, mq2) running clustered with all HA queues. A VIP is in front of them. <br>
<br>At some point there was a network event, and afterwards, a queue vanished. (Still trying to figure out exactly what the network hiccup was, but it&#39;s fair to say there was a communication disruption between the nodes.)� My guess from looking at the logs is that each node had a moment where it couldn&#39;t see the other, so took actions that were ultimately incompatible when both nodes were visible to each other.<br>
<br>The actual error as seen by our code is a missing queue named &quot;charon&quot;. You&#39;ll see it near the end of the rabbit@mq2.log (below):<br><br><b><span style="color:rgb(255,0,0)">{amqp_error,not_found,&quot;no queue &#39;charon&#39; in vhost &#39;/&#39;&quot;,&#39;queue.declare&#39;}</span></b><br>
<br>Prior to the network event, our client was successfully reading from the charon queue.<br><br><br><b>Here&#39;s the relevant parts of the rabbit@mq1.log file<br>====================================================</b><br>
=INFO REPORT==== 11-Oct-2012::14:01:58 ===<br>rabbit on node rabbit@mq2 down<br><br>=ERROR REPORT==== 11-Oct-2012::14:02:03 ===<br>Mnesia(rabbit@mq1): ** ERROR ** mnesia_event got {inconsistent_database, running_partitioned_network, rabbit@mq2}<br>
<br>=ERROR REPORT==== 11-Oct-2012::14:02:03 ===<br>** Generic server &lt;0.547.0&gt; terminating<br>** Last message in was {mnesia_locker,rabbit@mq2,granted}<br>** When Server state == {state,<br>��������������������������� {0,&lt;0.547.0&gt;},<br>
��������������������������� {{0,&lt;0.547.0&gt;},undefined},<br>��������������������������� {{0,&lt;0.547.0&gt;},undefined},<br>��������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
��������������������������� rabbit_mirror_queue_coordinator,<br>��������������������������� {3,<br>���������������������������� [{{0,&lt;0.547.0&gt;},<br>������������������������������ {view_member,<br>���������������������������������� {0,&lt;0.547.0&gt;},<br>
���������������������������������� [],<br>���������������������������������� {0,&lt;0.547.0&gt;},<br>���������������������������������� {0,&lt;0.547.0&gt;}}}]},<br>��������������������������� 1,[],<br>��������������������������� [&lt;0.546.0&gt;],<br>
��������������������������� {[],[]},<br>��������������������������� [],undefined}<br>** Reason for termination == <br>** {function_clause,<br>������ [{gm,handle_info,<br>����������� [{mnesia_locker,rabbit@mq2,granted},<br>
������������ {state,<br>���������������� {0,&lt;0.547.0&gt;},<br>���������������� {{0,&lt;0.547.0&gt;},undefined},<br>���������������� {{0,&lt;0.547.0&gt;},undefined},<br>���������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
���������������� rabbit_mirror_queue_coordinator,<br>���������������� {3,<br>����������������� [{{0,&lt;0.547.0&gt;},<br>������������������� {view_member,<br>����������������������� {0,&lt;0.547.0&gt;},<br>����������������������� [],<br>
����������������������� {0,&lt;0.547.0&gt;},<br>����������������������� {0,&lt;0.547.0&gt;}}}]},<br>���������������� 1,[],<br>���������������� [&lt;0.546.0&gt;],<br>���������������� {[],[]},<br>���������������� [],undefined}],<br>
����������� [{file,&quot;src/gm.erl&quot;},{line,665}]},<br>������� {gen_server2,handle_msg,2,[{file,&quot;src/gen_server2.erl&quot;},{line,912}]},<br>������� {proc_lib,wake_up,3,[{file,&quot;proc_lib.erl&quot;},{line,237}]}]}<br>
<br>=ERROR REPORT==== 11-Oct-2012::14:02:03 ===<br>** Generic server &lt;0.545.0&gt; terminating<br>** Last message in was {&#39;EXIT&#39;,&lt;0.546.0&gt;,<br>����������������������� {function_clause,<br>������������������������ [{gm,handle_info,<br>
�������������������������� [{mnesia_locker,rabbit@mq2,granted},<br>��������������������������� {state,<br>���������������������������� {0,&lt;0.547.0&gt;},<br>���������������������������� {{0,&lt;0.547.0&gt;},undefined},<br>
���������������������������� {{0,&lt;0.547.0&gt;},undefined},<br>���������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>���������������������������� rabbit_mirror_queue_coordinator,<br>
���������������������������� {3,<br>����������������������������� [{{0,&lt;0.547.0&gt;},<br>������������������������������� {view_member,<br>�������������������������������� {0,&lt;0.547.0&gt;},<br>�������������������������������� [],<br>
�������������������������������� {0,&lt;0.547.0&gt;},<br>�������������������������������� {0,&lt;0.547.0&gt;}}}]},<br>���������������������������� 1,[],<br>���������������������������� [&lt;0.546.0&gt;],<br>���������������������������� {[],[]},<br>
���������������������������� [],undefined}],<br>�������������������������� [{file,&quot;src/gm.erl&quot;},{line,665}]},<br>������������������������� {gen_server2,handle_msg,2,<br>�������������������������� [{file,&quot;src/gen_server2.erl&quot;},{line,912}]},<br>
������������������������� {proc_lib,wake_up,3,<br>�������������������������� [{file,&quot;proc_lib.erl&quot;},{line,237}]}]}}<br>** When Server state == {q,<br>������������������������ {amqqueue,<br>������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
������������������������� true,false,none,<br>������������������������� [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>������������������������� &lt;0.545.0&gt;,[],all},<br>������������������������ none,false,rabbit_mirror_queue_master,<br>
������������������������ {state,&lt;0.547.0&gt;,&lt;0.546.0&gt;,rabbit_variable_queue,<br>������������������������� {vqstate,<br>�������������������������� {0,{[],[]}},<br>�������������������������� {0,{[],[]}},<br>�������������������������� {delta,undefined,0,undefined},<br>
�������������������������� {0,{[],[]}},<br>�������������������������� {0,{[],[]}},<br>�������������������������� 0,<br>�������������������������� {0,nil},<br>�������������������������� undefined,<br>�������������������������� {0,nil},<br>
�������������������������� {qistate,<br>��������������������������� &quot;/highland/var/lib/rabbit@mq1/queues/4L2SY4TVRPM8HP85JDVO85BPL&quot;,<br>��������������������������� {{dict,0,16,16,8,80,48,<br>����������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
������������������������������ []},<br>����������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []}}},<br>���������������������������� []},<br>��������������������������� undefined,0,262144,<br>
��������������������������� #Fun&lt;rabbit_variable_queue.2.121500735&gt;,<br>��������������������������� {0,nil}},<br>�������������������������� {{client_msstate,msg_store_persistent,<br>���������������������������� &lt;&lt;112,32,84,92,54,73,67,43,231,35,164,79,106,8,27,<br>
������������������������������ 132&gt;&gt;,<br>���������������������������� {dict,0,16,16,8,80,48,<br>����������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������ []},<br>
����������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []}}},<br>���������������������������� {state,237637,<br>����������������������������� &quot;/highland/var/lib/rabbit@mq1/msg_store_persistent&quot;},<br>
���������������������������� rabbit_msg_store_ets_index,<br>���������������������������� &quot;/highland/var/lib/rabbit@mq1/msg_store_persistent&quot;,<br>���������������������������� &lt;0.289.0&gt;,241734,233540,245831,249928},<br>
��������������������������� {client_msstate,msg_store_transient,<br>���������������������������� &lt;&lt;204,18,155,40,29,120,124,76,144,83,195,135,250,<br>������������������������������ 91,216,3&gt;&gt;,<br>���������������������������� {dict,0,16,16,8,80,48,<br>
����������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������ []},<br>����������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []}}},<br>
���������������������������� {state,217152,<br>����������������������������� &quot;/highland/var/lib/rabbit@mq1/msg_store_transient&quot;},<br>���������������������������� rabbit_msg_store_ets_index,<br>���������������������������� &quot;/highland/var/lib/rabbit@mq1/msg_store_transient&quot;,<br>
���������������������������� &lt;0.284.0&gt;,221249,213055,225346,229443}},<br>�������������������������� true,0,#Fun&lt;rabbit_amqqueue_process.5.24780734&gt;,0,<br>�������������������������� 0,infinity,0,0,0,0,0,<br>�������������������������� {rates,<br>
��������������������������� {{1349,988602,967125},0},<br>��������������������������� {{1349,988602,967125},0},<br>��������������������������� 0.0,0.0,<br>��������������������������� {1349,988606,141019}},<br>�������������������������� {0,nil},<br>
�������������������������� {0,nil},<br>�������������������������� {0,nil},<br>�������������������������� {0,nil},<br>�������������������������� 0,0,<br>�������������������������� {rates,<br>��������������������������� {{1349,988602,967125},0},<br>
��������������������������� {{1349,988602,967125},0},<br>��������������������������� 0.0,0.0,<br>��������������������������� {1349,988606,141019}}},<br>������������������������� 0,<br>������������������������� {dict,0,16,16,8,80,48,<br>
�������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>�������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>���������������������������� []}}},<br>������������������������� [],<br>
������������������������� {dict,0,16,16,8,80,48,<br>�������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>�������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>���������������������������� []}}},<br>
������������������������� {set,0,16,16,8,80,48,<br>�������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>�������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>���������������������������� []}}}},<br>
������������������������ {[],[]},<br>������������������������ undefined,undefined,undefined,undefined,<br>������������������������ {state,fine,5000,undefined},<br>������������������������ {0,nil},<br>������������������������ undefined,undefined,undefined,<br>
������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ 1,<br>
������������������������ {{0,nil},{0,nil}},<br>������������������������ undefined,<br>������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>
������������������������ undefined,undefined}<br>** Reason for termination == <br>** {noproc,{gen_server2,call,[&lt;0.547.0&gt;,info,infinity]}}<br>** In &#39;terminate&#39; callback with reason ==<br>** {function_clause,<br>
������ [{gm,handle_info,<br>����������� [{mnesia_locker,rabbit@mq2,granted},<br>������������ {state,<br>���������������� {0,&lt;0.547.0&gt;},<br>���������������� {{0,&lt;0.547.0&gt;},undefined},<br>���������������� {{0,&lt;0.547.0&gt;},undefined},<br>
���������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>���������������� rabbit_mirror_queue_coordinator,<br>���������������� {3,<br>����������������� [{{0,&lt;0.547.0&gt;},<br>
������������������� {view_member,<br>����������������������� {0,&lt;0.547.0&gt;},<br>����������������������� [],<br>����������������������� {0,&lt;0.547.0&gt;},<br>����������������������� {0,&lt;0.547.0&gt;}}}]},<br>���������������� 1,[],<br>
���������������� [&lt;0.546.0&gt;],<br>���������������� {[],[]},<br>���������������� [],undefined}],<br>����������� [{file,&quot;src/gm.erl&quot;},{line,665}]},<br>������� {gen_server2,handle_msg,2,[{file,&quot;src/gen_server2.erl&quot;},{line,912}]},<br>
������� {proc_lib,wake_up,3,[{file,&quot;proc_lib.erl&quot;},{line,237}]}]}<br><br>=INFO REPORT==== 11-Oct-2012::14:02:03 ===<br>Mirrored-queue (queue &#39;cmcmd&#39; in vhost &#39;/&#39;): Master &lt;rabbit@mq1.2.665.0&gt; saw deaths of mirrors &lt;rabbit@mq2.1.383.0&gt; <br>
<br>=INFO REPORT==== 11-Oct-2012::14:02:03 ===<br>Mirrored-queue (queue &#39;ConfigurationManager&#39; in vhost &#39;/&#39;): Master &lt;rabbit@mq1.2.605.0&gt; saw deaths of mirrors &lt;rabbit@mq2.1.377.0&gt; <br><br>=INFO REPORT==== 11-Oct-2012::14:02:03 ===<br>
global: Name conflict terminating {rabbit_mgmt_db,&lt;3198.32532.0&gt;}<br><br>=INFO REPORT==== 11-Oct-2012::14:26:40 ===<br>accepting AMQP connection &lt;0.6507.1&gt; (<a href="http://10.72.0.50:46742">10.72.0.50:46742</a> -&gt; <a href="http://10.72.0.47:5672">10.72.0.47:5672</a>)<br>
<br>=INFO REPORT==== 11-Oct-2012::14:26:40 ===<br>closing AMQP connection &lt;0.6507.1&gt; (<a href="http://10.72.0.50:46742">10.72.0.50:46742</a> -&gt; <a href="http://10.72.0.47:5672">10.72.0.47:5672</a>)<br><br><br><br>
<br><b>And here&#39;s the relevant parts of the rabbit@m2.log file<br>====================================================</b><br>=ERROR REPORT==== 11-Oct-2012::14:01:37 ===<br>** Node rabbit@mq1 not responding **<br>** Removing (timedout) connection **<br>
<br>=INFO REPORT==== 11-Oct-2012::14:01:37 ===<br>rabbit on node rabbit@mq1 down<br><br>=INFO REPORT==== 11-Oct-2012::14:01:40 ===<br>Statistics database started.<br><br>=INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>Mirrored-queue (queue &#39;cmcmd&#39; in vhost &#39;/&#39;): Slave &lt;rabbit@mq2.1.383.0&gt; saw deaths of mirrors &lt;rabbit@mq1.2.665.0&gt; <br>
<br>=INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>Mirrored-queue (queue &#39;cmcmd&#39; in vhost &#39;/&#39;): Promoting slave &lt;rabbit@mq2.1.383.0&gt; to master<br><br>=INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>Mirrored-queue (queue &#39;charon&#39; in vhost &#39;/&#39;): Slave &lt;rabbit@mq2.1.371.0&gt; saw deaths of mirrors &lt;rabbit@mq1.2.545.0&gt; <br>
<br>=INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>Mirrored-queue (queue &#39;charon&#39; in vhost &#39;/&#39;): Promoting slave &lt;rabbit@mq2.1.371.0&gt; to master<br><br>=INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>Mirrored-queue (queue &#39;ConfigurationManager&#39; in vhost &#39;/&#39;): Slave &lt;rabbit@mq2.1.377.0&gt; saw deaths of mirrors &lt;rabbit@mq1.2.605.0&gt; <br>
<br>=INFO REPORT==== 11-Oct-2012::14:01:43 ===<br>Mirrored-queue (queue &#39;ConfigurationManager&#39; in vhost &#39;/&#39;): Promoting slave &lt;rabbit@mq2.1.377.0&gt; to master<br><br>=ERROR REPORT==== 11-Oct-2012::14:05:03 ===<br>
Mnesia(rabbit@mq2): ** ERROR ** mnesia_event got {inconsistent_database, running_partitioned_network, rabbit@mq1}<br><br>=INFO REPORT==== 11-Oct-2012::14:05:03 ===<br>Statistics database started.<br><br>=ERROR REPORT==== 11-Oct-2012::14:29:39 ===<br>
** Generic server &lt;0.32583.0&gt; terminating<br>** Last message in was {&#39;$gen_cast&#39;,{gm_deaths,[&lt;0.5504.1&gt;]}}<br>** When Server state == {state,<br>��������������������������� {amqqueue,<br>������������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
������������������������������� true,false,none,<br>������������������������������� [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>������������������������������� &lt;0.371.0&gt;,[],all},<br>
��������������������������� &lt;0.372.0&gt;,<br>��������������������������� {dict,0,16,16,8,80,48,<br>������������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>�������������������������������� []},<br>
������������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>��������������������������������� [],[]}}},<br>��������������������������� #Fun&lt;rabbit_mirror_queue_master.1.32244930&gt;,<br>��������������������������� #Fun&lt;rabbit_mirror_queue_master.2.32244930&gt;}<br>
** Reason for termination == <br>** {bad_return_value,<br>������ {error,<br>���������� {{badmatch,[]},<br>����������� [{rabbit_mirror_queue_misc,&#39;-remove_from_queue/2-fun-0-&#39;,2,<br>���������������� [{file,&quot;src/rabbit_mirror_queue_misc.erl&quot;},{line,63}]},<br>
������������ {mnesia_tm,apply_fun,3,[{file,&quot;mnesia_tm.erl&quot;},{line,829}]},<br>������������ {mnesia_tm,execute_transaction,5,<br>���������������� [{file,&quot;mnesia_tm.erl&quot;},{line,809}]},<br>������������ {rabbit_misc,&#39;-execute_mnesia_transaction/1-fun-0-&#39;,1,<br>
���������������� [{file,&quot;src/rabbit_misc.erl&quot;},{line,440}]},<br>������������ {worker_pool_worker,handle_call,3,<br>���������������� [{file,&quot;src/worker_pool_worker.erl&quot;},{line,80}]},<br>������������ {gen_server2,handle_msg,2,<br>
���������������� [{file,&quot;src/gen_server2.erl&quot;},{line,879}]},<br>������������ {proc_lib,wake_up,3,[{file,&quot;proc_lib.erl&quot;},{line,237}]}]}}}<br><br>=ERROR REPORT==== 11-Oct-2012::14:29:39 ===<br>** Generic server &lt;0.371.0&gt; terminating<br>
** Last message in was {&#39;EXIT&#39;,&lt;0.32583.0&gt;,<br>����������������������� {bad_return_value,<br>������������������������ {error,<br>������������������������� {{badmatch,[]},<br>�������������������������� [{rabbit_mirror_queue_misc,<br>
���������������������������� &#39;-remove_from_queue/2-fun-0-&#39;,2,<br>���������������������������� [{file,&quot;src/rabbit_mirror_queue_misc.erl&quot;},<br>����������������������������� {line,63}]},<br>��������������������������� {mnesia_tm,apply_fun,3,<br>
���������������������������� [{file,&quot;mnesia_tm.erl&quot;},{line,829}]},<br>��������������������������� {mnesia_tm,execute_transaction,5,<br>���������������������������� [{file,&quot;mnesia_tm.erl&quot;},{line,809}]},<br>
��������������������������� {rabbit_misc,<br>���������������������������� &#39;-execute_mnesia_transaction/1-fun-0-&#39;,1,<br>���������������������������� [{file,&quot;src/rabbit_misc.erl&quot;},{line,440}]},<br>��������������������������� {worker_pool_worker,handle_call,3,<br>
���������������������������� [{file,&quot;src/worker_pool_worker.erl&quot;},{line,80}]},<br>��������������������������� {gen_server2,handle_msg,2,<br>���������������������������� [{file,&quot;src/gen_server2.erl&quot;},{line,879}]},<br>
��������������������������� {proc_lib,wake_up,3,<br>���������������������������� [{file,&quot;proc_lib.erl&quot;},{line,237}]}]}}}}<br>** When Server state == {q,<br>������������������������ {amqqueue,<br>������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;},<br>
������������������������� true,false,none,<br>������������������������� [{&lt;&lt;&quot;x-ha-policy&quot;&gt;&gt;,longstr,&lt;&lt;&quot;all&quot;&gt;&gt;}],<br>������������������������� &lt;0.371.0&gt;,[],all},<br>������������������������ none,false,rabbit_mirror_queue_master,<br>
������������������������ {state,&lt;0.372.0&gt;,&lt;0.32583.0&gt;,rabbit_variable_queue,<br>������������������������� {vqstate,<br>�������������������������� {0,{[],[]}},<br>�������������������������� {0,{[],[]}},<br>�������������������������� {delta,undefined,0,undefined},<br>
�������������������������� {0,{[],[]}},<br>�������������������������� {0,{[],[]}},<br>�������������������������� 0,<br>�������������������������� {0,nil},<br>�������������������������� undefined,<br>�������������������������� {0,nil},<br>
�������������������������� {qistate,<br>��������������������������� &quot;/highland/var/lib/rabbit@mq2/queues/4L2SY4TVRPM8HP85JDVO85BPL&quot;,<br>��������������������������� {{dict,0,16,16,8,80,48,<br>����������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
������������������������������ []},<br>����������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []}}},<br>���������������������������� []},<br>��������������������������� undefined,0,262144,<br>
��������������������������� #Fun&lt;rabbit_variable_queue.2.121500735&gt;,<br>��������������������������� {0,nil}},<br>�������������������������� {{client_msstate,msg_store_persistent,<br>���������������������������� &lt;&lt;23,245,132,154,3,96,225,184,108,75,232,224,184,<br>
������������������������������ 114,108,141&gt;&gt;,<br>���������������������������� {dict,0,16,16,8,80,48,<br>����������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������ []},<br>
����������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []}}},<br>���������������������������� {state,282693,<br>����������������������������� &quot;/highland/var/lib/rabbit@mq2/msg_store_persistent&quot;},<br>
���������������������������� rabbit_msg_store_ets_index,<br>���������������������������� &quot;/highland/var/lib/rabbit@mq2/msg_store_persistent&quot;,<br>���������������������������� &lt;0.285.0&gt;,286790,278596,290887,294984},<br>
��������������������������� {client_msstate,msg_store_transient,<br>���������������������������� &lt;&lt;17,62,75,125,126,21,66,37,170,44,198,72,18,94,<br>������������������������������ 170,197&gt;&gt;,<br>���������������������������� {dict,0,16,16,8,80,48,<br>
����������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������ []},<br>����������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []}}},<br>
���������������������������� {state,262208,<br>����������������������������� &quot;/highland/var/lib/rabbit@mq2/msg_store_transient&quot;},<br>���������������������������� rabbit_msg_store_ets_index,<br>���������������������������� &quot;/highland/var/lib/rabbit@mq2/msg_store_transient&quot;,<br>
���������������������������� &lt;0.280.0&gt;,266305,258111,270402,274499}},<br>�������������������������� true,0,#Fun&lt;rabbit_mirror_queue_slave.1.69615989&gt;,<br>�������������������������� 0,0,infinity,0,0,0,0,0,<br>�������������������������� {rates,<br>
��������������������������� {{1349,989325,677031},0},<br>��������������������������� {{1349,989325,677031},0},<br>��������������������������� 0.0,0.0,<br>��������������������������� {1349,989505,348090}},<br>�������������������������� {0,nil},<br>
�������������������������� {0,nil},<br>�������������������������� {0,nil},<br>�������������������������� {0,nil},<br>�������������������������� 0,0,<br>�������������������������� {rates,<br>��������������������������� {{1349,989325,677031},0},<br>
��������������������������� {{1349,989325,677031},0},<br>��������������������������� 0.0,0.0,<br>��������������������������� {1349,989505,348090}}},<br>������������������������� 0,<br>������������������������� {dict,0,16,16,8,80,48,<br>
�������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>�������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>���������������������������� []}}},<br>������������������������� [],<br>
������������������������� {dict,0,16,16,8,80,48,<br>�������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>�������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>���������������������������� []}}},<br>
������������������������� {set,0,16,16,8,80,48,<br>�������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>�������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>���������������������������� []}}}},<br>
������������������������ {[],[]},<br>������������������������ undefined,undefined,undefined,undefined,<br>������������������������ {state,fine,5000,undefined},<br>������������������������ {0,nil},<br>������������������������ undefined,undefined,undefined,<br>
������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ 1,<br>
������������������������ {{0,nil},{0,nil}},<br>������������������������ undefined,<br>������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>
������������������������ undefined,undefined}<br>** Reason for termination == <br>** {noproc,{gen_server2,call,[&lt;0.372.0&gt;,info,infinity]}}<br>** In &#39;terminate&#39; callback with reason ==<br>** {bad_return_value,<br>
������ {error,<br>���������� {{badmatch,[]},<br>����������� [{rabbit_mirror_queue_misc,&#39;-remove_from_queue/2-fun-0-&#39;,2,<br>���������������� [{file,&quot;src/rabbit_mirror_queue_misc.erl&quot;},{line,63}]},<br>������������ {mnesia_tm,apply_fun,3,[{file,&quot;mnesia_tm.erl&quot;},{line,829}]},<br>
������������ {mnesia_tm,execute_transaction,5,<br>���������������� [{file,&quot;mnesia_tm.erl&quot;},{line,809}]},<br>������������ {rabbit_misc,&#39;-execute_mnesia_transaction/1-fun-0-&#39;,1,<br>���������������� [{file,&quot;src/rabbit_misc.erl&quot;},{line,440}]},<br>
������������ {worker_pool_worker,handle_call,3,<br>���������������� [{file,&quot;src/worker_pool_worker.erl&quot;},{line,80}]},<br>������������ {gen_server2,handle_msg,2,<br>���������������� [{file,&quot;src/gen_server2.erl&quot;},{line,879}]},<br>
������������ {proc_lib,wake_up,3,[{file,&quot;proc_lib.erl&quot;},{line,237}]}]}}}<br><br>=INFO REPORT==== 11-Oct-2012::14:29:43 ===<br>accepting AMQP connection &lt;0.5524.1&gt; (<a href="http://10.72.0.23:36056">10.72.0.23:36056</a> -&gt; <a href="http://10.72.0.56:5672">10.72.0.56:5672</a>)<br>
<br>=INFO REPORT==== 11-Oct-2012::14:29:44 ===<br>accepting AMQP connection &lt;0.5574.1&gt; (<a href="http://10.72.0.23:36064">10.72.0.23:36064</a> -&gt; <a href="http://10.72.0.56:5672">10.72.0.56:5672</a>)<br><br>=INFO REPORT==== 11-Oct-2012::17:56:16 ===<br>
accepting AMQP connection &lt;0.23868.1&gt; (<a href="http://10.72.0.53:57122">10.72.0.53:57122</a> -&gt; <a href="http://10.72.0.56:5672">10.72.0.56:5672</a>)<br><br>=ERROR REPORT==== 11-Oct-2012::17:56:16 ===<br>connection &lt;0.23868.1&gt;, channel 1 - error:<br>
{amqp_error,not_found,&quot;no queue &#39;charon&#39; in vhost &#39;/&#39;&quot;,&#39;queue.declare&#39;}<br><br>=WARNING REPORT==== 11-Oct-2012::17:56:16 ===<br>closing AMQP connection &lt;0.23868.1&gt; (<a href="http://10.72.0.53:57122">10.72.0.53:57122</a> -&gt; <a href="http://10.72.0.56:5672">10.72.0.56:5672</a>):<br>
connection_closed_abruptly<br><br>=INFO REPORT==== 11-Oct-2012::17:56:16 ===<br>accepting AMQP connection &lt;0.23878.1&gt; (<a href="http://10.72.0.52:56025">10.72.0.52:56025</a> -&gt; <a href="http://10.72.0.56:5672">10.72.0.56:5672</a>)<br>
<br>=ERROR REPORT==== 11-Oct-2012::17:56:16 ===<br>connection &lt;0.23878.1&gt;, channel 1 - error:<br>{amqp_error,not_found,&quot;no queue &#39;charon&#39; in vhost &#39;/&#39;&quot;,&#39;queue.declare&#39;}<br><br>