<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><META http-equiv=Content-Type content="text/html; charset=ISO-8859-1"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal>During some server reboots at our organization over the weekend, several nodes in our non-Prod cluster had some crashes, and in the end, 7 of 84 durable queues in the cluster were gone. All nodes are running RabbitMQ 3.3.3 on Erlang R16B03-1. This is a 3-node cluster, with cluster_partition_handling = autoheal. I'm curious if this is a known issue with autoheal? I tried recreating the issue this morning by recreating the series of events, but was unable to. Our other 2-node non-Prod cluster, with no cluster_partition_handling, was also rebootted, but didn't have any problems. <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Thanks,<o:p></o:p></p><p class=MsoNormal>Andrew Miller<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>08:12:01 - Node DIX-D-EVGAPP-02 (a disk node) saw node STR-D-EVGAPP-02 (a memory node) go down (which had been the master node for many queues), and was promoted to master for 75 queues, including those which later would disappear.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>08:13:30 - Node DIX-D-EVGAPP-02 saw node STR-D-EVGAPP-02 come back, and began synchronizing back. Most queues synchronized fine, but 7 crashed with errors similar to the following - and each of these queues were gone after this. The third node (another disk node) doesn't have any crashes in its log around this time.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 27-Jul-2014::08:13:30 ===<o:p></o:p></p><p class=MsoNormal>** Generic server <0.332.0> terminating<o:p></o:p></p><p class=MsoNormal>** Last message in was {add_on_right,{20,<4967.323.0>}}<o:p></o:p></p><p class=MsoNormal>** When Server state == {q,<o:p></o:p></p><p class=MsoNormal> {amqqueue,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>},<o:p></o:p></p><p class=MsoNormal> true,false,none,<o:p></o:p></p><p class=MsoNormal> [{<<"x-dead-letter-exchange">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> {<<"x-dead-letter-routing-key">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>}],<o:p></o:p></p><p class=MsoNormal> <0.332.0>,<o:p></o:p></p><p class=MsoNormal> [<8174.310.0>],<o:p></o:p></p><p class=MsoNormal> [<8174.310.0>],<o:p></o:p></p><p class=MsoNormal> [{vhost,<<"eventing">>},<o:p></o:p></p><p class=MsoNormal> {name,<<"ha-all">>},<o:p></o:p></p><p class=MsoNormal> {pattern,<<"^.*">>},<o:p></o:p></p><p class=MsoNormal> {'apply-to',<<"queues">>},<o:p></o:p></p><p class=MsoNormal> {definition,<o:p></o:p></p><p class=MsoNormal> [{<<"ha-mode">>,<<"all">>},<o:p></o:p></p><p class=MsoNormal> {<<"ha-sync-mode">>,<<"automatic">>}]},<o:p></o:p></p><p class=MsoNormal> {priority,0}],<o:p></o:p></p><p class=MsoNormal> [{<8174.311.0>,<8174.310.0>},{<0.333.0>,<0.332.0>}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> none,false,rabbit_mirror_queue_master,<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>},<o:p></o:p></p><p class=MsoNormal> <0.333.0>,<0.4223.0>,rabbit_variable_queue,<o:p></o:p></p><p class=MsoNormal> {vqstate,<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {delta,undefined,0,undefined},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> 0,<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {qistate,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/queues/6GQ2ZHJGDF7X2GH1FS0QPJX2O",<o:p></o:p></p><p class=MsoNormal> {{dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> undefined,0,65536,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.2.51560583>,<o:p></o:p></p><p class=MsoNormal> {0,nil}},<o:p></o:p></p><p class=MsoNormal> {{client_msstate,msg_store_persistent,<o:p></o:p></p><p class=MsoNormal> <<26,131,31,121,222,176,41,144,168,192,42,159,222,<o:p></o:p></p><p class=MsoNormal> 13,179,107>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> {state,311371,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_persistent"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_persistent",<o:p></o:p></p><p class=MsoNormal> <0.266.0>,315468,307274,319565,323662},<o:p></o:p></p><p class=MsoNormal> {client_msstate,msg_store_transient,<o:p></o:p></p><p class=MsoNormal> <<32,49,130,217,86,65,129,214,32,140,24,34,254,<o:p></o:p></p><p class=MsoNormal> 129,171,73>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> {state,290886,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_transient"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_transient",<o:p></o:p></p><p class=MsoNormal> <0.261.0>,294983,286789,299080,303177}},<o:p></o:p></p><p class=MsoNormal> true,0,0,0,infinity,0,0,0,0,0,<o:p></o:p></p><p class=MsoNormal> {rates,0.0,0.0,0.0,0.0,{1406,466723,462160}},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> 0,0},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> [],<o:p></o:p></p><p class=MsoNormal> {set,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}}},<o:p></o:p></p><p class=MsoNormal> {state,{queue,[],[],0},{active,1406466722448182,1.0}},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {state,fine,5000,undefined},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> delegate},<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,exchange,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>,undefined,2,<o:p></o:p></p><p class=MsoNormal> running}<o:p></o:p></p><p class=MsoNormal>** Reason for termination == <o:p></o:p></p><p class=MsoNormal>** {function_clause,<o:p></o:p></p><p class=MsoNormal> [{rabbit_amqqueue_process,handle_call,<o:p></o:p></p><p class=MsoNormal> [{add_on_right,{20,<4967.323.0>}},<o:p></o:p></p><p class=MsoNormal> {<4967.323.0>,#Ref<4967.0.0.2348>},<o:p></o:p></p><p class=MsoNormal> {q,{amqqueue,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>},<o:p></o:p></p><p class=MsoNormal> true,false,none,<o:p></o:p></p><p class=MsoNormal> [{<<"x-dead-letter-exchange">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> {<<"x-dead-letter-routing-key">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>}],<o:p></o:p></p><p class=MsoNormal> <0.332.0>,<o:p></o:p></p><p class=MsoNormal> [<8174.310.0>],<o:p></o:p></p><p class=MsoNormal> [<8174.310.0>],<o:p></o:p></p><p class=MsoNormal> [{vhost,<<"eventing">>},<o:p></o:p></p><p class=MsoNormal> {name,<<"ha-all">>},<o:p></o:p></p><p class=MsoNormal> {pattern,<<"^.*">>},<o:p></o:p></p><p class=MsoNormal> {'apply-to',<<"queues">>},<o:p></o:p></p><p class=MsoNormal> {definition,<o:p></o:p></p><p class=MsoNormal> [{<<"ha-mode">>,<<"all">>},<o:p></o:p></p><p class=MsoNormal> {<<"ha-sync-mode">>,<<"automatic">>}]},<o:p></o:p></p><p class=MsoNormal> {priority,0}],<o:p></o:p></p><p class=MsoNormal> [{<8174.311.0>,<8174.310.0>},{<0.333.0>,<0.332.0>}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> none,false,rabbit_mirror_queue_master,<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>},<o:p></o:p></p><p class=MsoNormal> <0.333.0>,<0.4223.0>,rabbit_variable_queue,<o:p></o:p></p><p class=MsoNormal> {vqstate,<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {delta,undefined,0,undefined},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> 0,<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {qistate,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/queues/6GQ2ZHJGDF7X2GH1FS0QPJX2O",<o:p></o:p></p><p class=MsoNormal> {{dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> undefined,0,65536,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.2.51560583>,<o:p></o:p></p><p class=MsoNormal> {0,nil}},<o:p></o:p></p><p class=MsoNormal> {{client_msstate,msg_store_persistent,<o:p></o:p></p><p class=MsoNormal> <<26,131,31,121,222,176,41,144,168,192,42,159,222,<o:p></o:p></p><p class=MsoNormal> 13,179,107>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {state,311371,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_persistent"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_persistent",<o:p></o:p></p><p class=MsoNormal> <0.266.0>,315468,307274,319565,323662},<o:p></o:p></p><p class=MsoNormal> {client_msstate,msg_store_transient,<o:p></o:p></p><p class=MsoNormal> <<32,49,130,217,86,65,129,214,32,140,24,34,254,<o:p></o:p></p><p class=MsoNormal> 129,171,73>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {state,290886,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_transient"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_transient",<o:p></o:p></p><p class=MsoNormal> <0.261.0>,294983,286789,299080,303177}},<o:p></o:p></p><p class=MsoNormal> true,0,0,0,infinity,0,0,0,0,0,<o:p></o:p></p><p class=MsoNormal> {rates,0.0,0.0,0.0,0.0,{1406,466723,462160}},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> 0,0},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> [],<o:p></o:p></p><p class=MsoNormal> {set,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}}},<o:p></o:p></p><p class=MsoNormal> {state,{queue,[],[],0},{active,1406466722448182,1.0}},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {state,fine,5000,undefined},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> delegate},<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,exchange,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>,undefined,2,running}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,[{file,"proc_lib.erl"},{line,249}]}]}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>08:13:30 - Node STR-D-EVGAPP-02 also recorded crashes involving the same queues:<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 27-Jul-2014::08:13:30 ===<o:p></o:p></p><p class=MsoNormal>** Generic server <0.323.0> terminating<o:p></o:p></p><p class=MsoNormal>** Last message in was {'$gen_cast',join}<o:p></o:p></p><p class=MsoNormal>** When Server state == {state,<o:p></o:p></p><p class=MsoNormal> {20,<0.323.0>},<o:p></o:p></p><p class=MsoNormal> {{20,<0.323.0>},undefined},<o:p></o:p></p><p class=MsoNormal> {{20,<0.323.0>},undefined},<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"Insight.BPClaims_ModifiedWorkNotAvailable">>},<o:p></o:p></p><p class=MsoNormal> rabbit_mirror_queue_slave,undefined,-1,undefined,<o:p></o:p></p><p class=MsoNormal> [<0.322.0>],<o:p></o:p></p><p class=MsoNormal> {[],[]},<o:p></o:p></p><p class=MsoNormal> [],0,undefined,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_misc.execute_mnesia_transaction.1>}<o:p></o:p></p><p class=MsoNormal>** Reason for termination == <o:p></o:p></p><p class=MsoNormal>** {{function_clause,<o:p></o:p></p><p class=MsoNormal> [{rabbit_amqqueue_process,handle_call,<o:p></o:p></p><p class=MsoNormal> [{add_on_right,{20,<0.323.0>}},<o:p></o:p></p><p class=MsoNormal> {<0.323.0>,#Ref<0.0.0.2348>},<o:p></o:p></p><p class=MsoNormal> {q,{amqqueue,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>},<o:p></o:p></p><p class=MsoNormal> true,false,none,<o:p></o:p></p><p class=MsoNormal> [{<<"x-dead-letter-exchange">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> {<<"x-dead-letter-routing-key">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>}],<o:p></o:p></p><p class=MsoNormal> <5297.332.0>,<o:p></o:p></p><p class=MsoNormal> [<5251.310.0>],<o:p></o:p></p><p class=MsoNormal> [<5251.310.0>],<o:p></o:p></p><p class=MsoNormal> [{vhost,<<"eventing">>},<o:p></o:p></p><p class=MsoNormal> {name,<<"ha-all">>},<o:p></o:p></p><p class=MsoNormal> {pattern,<<"^.*">>},<o:p></o:p></p><p class=MsoNormal> {'apply-to',<<"queues">>},<o:p></o:p></p><p class=MsoNormal> {definition,<o:p></o:p></p><p class=MsoNormal> [{<<"ha-mode">>,<<"all">>},<o:p></o:p></p><p class=MsoNormal> {<<"ha-sync-mode">>,<<"automatic">>}]},<o:p></o:p></p><p class=MsoNormal> {priority,0}],<o:p></o:p></p><p class=MsoNormal> [{<5251.311.0>,<5251.310.0>},{<5297.333.0>,<5297.332.0>}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> none,false,rabbit_mirror_queue_master,<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>},<o:p></o:p></p><p class=MsoNormal> <5297.333.0>,<5297.4223.0>,rabbit_variable_queue,<o:p></o:p></p><p class=MsoNormal> {vqstate,<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {delta,undefined,0,undefined},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> 0,<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {qistate,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/queues/6GQ2ZHJGDF7X2GH1FS0QPJX2O",<o:p></o:p></p><p class=MsoNormal> {{dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> undefined,0,65536,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.2.51560583>,<o:p></o:p></p><p class=MsoNormal> {0,nil}},<o:p></o:p></p><p class=MsoNormal> {{client_msstate,msg_store_persistent,<o:p></o:p></p><p class=MsoNormal> <<26,131,31,121,222,176,41,144,168,192,42,159,<o:p></o:p></p><p class=MsoNormal> 222,13,179,107>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {state,311371,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_persistent"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_persistent",<o:p></o:p></p><p class=MsoNormal> <5297.266.0>,315468,307274,319565,323662},<o:p></o:p></p><p class=MsoNormal> {client_msstate,msg_store_transient,<o:p></o:p></p><p class=MsoNormal> <<32,49,130,217,86,65,129,214,32,140,24,34,254,<o:p></o:p></p><p class=MsoNormal> 129,171,73>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {state,290886,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_transient"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_transient",<o:p></o:p></p><p class=MsoNormal> <5297.261.0>,294983,286789,299080,303177}},<o:p></o:p></p><p class=MsoNormal> true,0,0,0,infinity,0,0,0,0,0,<o:p></o:p></p><p class=MsoNormal> {rates,0.0,0.0,0.0,0.0,{1406,466723,462160}},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> 0,0},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> [],<o:p></o:p></p><p class=MsoNormal> {set,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}}},<o:p></o:p></p><p class=MsoNormal> {state,{queue,[],[],0},{active,1406466722448182,1.0}},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {state,fine,5000,undefined},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> delegate},<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,exchange,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>,undefined,2,running}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,[{file,"proc_lib.erl"},{line,249}]}]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,call,[<5297.332.0>,{add_on_right,{20,<0.323.0>}},infinity]}}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>08:13:31 - And again from node STR-D-EVGAPP-02:<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 27-Jul-2014::08:13:31 ===<o:p></o:p></p><p class=MsoNormal>** Generic server <0.322.0> terminating<o:p></o:p></p><p class=MsoNormal>** Last message in was {'EXIT',<0.323.0>,<o:p></o:p></p><p class=MsoNormal> {{function_clause,<o:p></o:p></p><p class=MsoNormal> [{rabbit_amqqueue_process,handle_call,<o:p></o:p></p><p class=MsoNormal> [{add_on_right,{20,<0.323.0>}},<o:p></o:p></p><p class=MsoNormal> {<0.323.0>,#Ref<0.0.0.2348>},<o:p></o:p></p><p class=MsoNormal> {q,<o:p></o:p></p><p class=MsoNormal> {amqqueue,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>},<o:p></o:p></p><p class=MsoNormal> true,false,none,<o:p></o:p></p><p class=MsoNormal> [{<<"x-dead-letter-exchange">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> {<<"x-dead-letter-routing-key">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>}],<o:p></o:p></p><p class=MsoNormal> <5297.332.0>,<o:p></o:p></p><p class=MsoNormal> [<5251.310.0>],<o:p></o:p></p><p class=MsoNormal> [<5251.310.0>],<o:p></o:p></p><p class=MsoNormal> [{vhost,<<"eventing">>},<o:p></o:p></p><p class=MsoNormal> {name,<<"ha-all">>},<o:p></o:p></p><p class=MsoNormal> {pattern,<<"^.*">>},<o:p></o:p></p><p class=MsoNormal> {'apply-to',<<"queues">>},<o:p></o:p></p><p class=MsoNormal> {definition,<o:p></o:p></p><p class=MsoNormal> [{<<"ha-mode">>,<<"all">>},<o:p></o:p></p><p class=MsoNormal> {<<"ha-sync-mode">>,<<"automatic">>}]},<o:p></o:p></p><p class=MsoNormal> {priority,0}],<o:p></o:p></p><p class=MsoNormal> [{<5251.311.0>,<5251.310.0>},<o:p></o:p></p><p class=MsoNormal> {<5297.333.0>,<5297.332.0>}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> none,false,rabbit_mirror_queue_master,<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>},<o:p></o:p></p><p class=MsoNormal> <5297.333.0>,<5297.4223.0>,<o:p></o:p></p><p class=MsoNormal> rabbit_variable_queue,<o:p></o:p></p><p class=MsoNormal> {vqstate,<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {delta,undefined,0,undefined},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> 0,<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {qistate,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/queues/6GQ2ZHJGDF7X2GH1FS0QPJX2O",<o:p></o:p></p><p class=MsoNormal> {{dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[],[]}}},<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> undefined,0,65536,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.2.51560583>,<o:p></o:p></p><p class=MsoNormal> {0,nil}},<o:p></o:p></p><p class=MsoNormal> {{client_msstate,msg_store_persistent,<o:p></o:p></p><p class=MsoNormal> <<26,131,31,121,222,176,41,144,168,192,42,<o:p></o:p></p><p class=MsoNormal> 159,222,13,179,107>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[],[]}}},<o:p></o:p></p><p class=MsoNormal> {state,311371,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_persistent"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_persistent",<o:p></o:p></p><p class=MsoNormal> <5297.266.0>,315468,307274,319565,323662},<o:p></o:p></p><p class=MsoNormal> {client_msstate,msg_store_transient,<o:p></o:p></p><p class=MsoNormal> <<32,49,130,217,86,65,129,214,32,140,24,34,<o:p></o:p></p><p class=MsoNormal> 254,129,171,73>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[],[]}}},<o:p></o:p></p><p class=MsoNormal> {state,290886,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_transient"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_transient",<o:p></o:p></p><p class=MsoNormal> <5297.261.0>,294983,286789,299080,303177}},<o:p></o:p></p><p class=MsoNormal> true,0,0,0,infinity,0,0,0,0,0,<o:p></o:p></p><p class=MsoNormal> {rates,0.0,0.0,0.0,0.0,{1406,466723,462160}},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> 0,0},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> [],<o:p></o:p></p><p class=MsoNormal> {set,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}}},<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {queue,[],[],0},<o:p></o:p></p><p class=MsoNormal> {active,1406466722448182,1.0}},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {state,fine,5000,undefined},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> delegate},<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,exchange,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>,<o:p></o:p></p><p class=MsoNormal> undefined,2,running}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,<o:p></o:p></p><p class=MsoNormal> [{file,"proc_lib.erl"},{line,249}]}]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,call,<o:p></o:p></p><p class=MsoNormal> [<5297.332.0>,<o:p></o:p></p><p class=MsoNormal> {add_on_right,{20,<0.323.0>}},<o:p></o:p></p><p class=MsoNormal> infinity]}}}<o:p></o:p></p><p class=MsoNormal>** When Server state == {state,<o:p></o:p></p><p class=MsoNormal> {amqqueue,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"Insight.BPClaims_ModifiedWorkNotAvailable">>},<o:p></o:p></p><p class=MsoNormal> true,false,none,<o:p></o:p></p><p class=MsoNormal> [{<<"x-dead-letter-exchange">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> {<<"x-dead-letter-routing-key">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"Insight.BPClaims_ModifiedWorkNotAvailable">>}],<o:p></o:p></p><p class=MsoNormal> <5251.335.0>,<o:p></o:p></p><p class=MsoNormal> [<5297.331.0>],<o:p></o:p></p><p class=MsoNormal> [<5297.331.0>],<o:p></o:p></p><p class=MsoNormal> [{vhost,<<"eventing">>},<o:p></o:p></p><p class=MsoNormal> {name,<<"ha-all">>},<o:p></o:p></p><p class=MsoNormal> {pattern,<<"^.*">>},<o:p></o:p></p><p class=MsoNormal> {'apply-to',<<"queues">>},<o:p></o:p></p><p class=MsoNormal> {definition,<o:p></o:p></p><p class=MsoNormal> [{<<"ha-mode">>,<<"all">>},<o:p></o:p></p><p class=MsoNormal> {<<"ha-sync-mode">>,<<"automatic">>}]},<o:p></o:p></p><p class=MsoNormal> {priority,0}],<o:p></o:p></p><p class=MsoNormal> [{<5297.332.0>,<5297.331.0>},<o:p></o:p></p><p class=MsoNormal> {<5251.336.0>,<5251.335.0>}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> <0.323.0>,rabbit_variable_queue,<o:p></o:p></p><p class=MsoNormal> {vqstate,<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {delta,undefined,0,undefined},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> 0,<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {qistate,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@STR-D-EVGAPP-02-mnesia/queues/11YNGR2UMDIGSF4OWRUUJ2HUX",<o:p></o:p></p><p class=MsoNormal> {{dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> undefined,0,65536,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.2.51560583>,<o:p></o:p></p><p class=MsoNormal> {0,nil}},<o:p></o:p></p><p class=MsoNormal> {{client_msstate,msg_store_persistent,<o:p></o:p></p><p class=MsoNormal> <<142,49,10,175,39,218,164,74,2,215,253,147,201,<o:p></o:p></p><p class=MsoNormal> 168,141,2>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> {state,303177,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@STR-D-EVGAPP-02-mnesia/msg_store_persistent"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@STR-D-EVGAPP-02-mnesia/msg_store_persistent",<o:p></o:p></p><p class=MsoNormal> <0.251.0>,307274,299080,311371,315468},<o:p></o:p></p><p class=MsoNormal> {client_msstate,msg_store_transient,<o:p></o:p></p><p class=MsoNormal> <<18,152,170,252,55,149,243,37,252,234,131,180,53,<o:p></o:p></p><p class=MsoNormal> 66,14,182>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> {state,282692,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@STR-D-EVGAPP-02-mnesia/msg_store_transient"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@STR-D-EVGAPP-02-mnesia/msg_store_transient",<o:p></o:p></p><p class=MsoNormal> <0.246.0>,286789,278595,290886,294983}},<o:p></o:p></p><p class=MsoNormal> true,0,0,0,infinity,0,0,0,0,0,<o:p></o:p></p><p class=MsoNormal> {rates,0.0,0.0,0.0,0.0,{1406,466811,43211}},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> 0,0},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> delegate},<o:p></o:p></p><p class=MsoNormal> undefined}<o:p></o:p></p><p class=MsoNormal>** Reason for termination == <o:p></o:p></p><p class=MsoNormal>** {{function_clause,<o:p></o:p></p><p class=MsoNormal> [{rabbit_amqqueue_process,handle_call,<o:p></o:p></p><p class=MsoNormal> [{add_on_right,{20,<0.323.0>}},<o:p></o:p></p><p class=MsoNormal> {<0.323.0>,#Ref<0.0.0.2348>},<o:p></o:p></p><p class=MsoNormal> {q,{amqqueue,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>},<o:p></o:p></p><p class=MsoNormal> true,false,none,<o:p></o:p></p><p class=MsoNormal> [{<<"x-dead-letter-exchange">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> {<<"x-dead-letter-routing-key">>,longstr,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>}],<o:p></o:p></p><p class=MsoNormal> <5297.332.0>,<o:p></o:p></p><p class=MsoNormal> [<5251.310.0>],<o:p></o:p></p><p class=MsoNormal> [<5251.310.0>],<o:p></o:p></p><p class=MsoNormal> [{vhost,<<"eventing">>},<o:p></o:p></p><p class=MsoNormal> {name,<<"ha-all">>},<o:p></o:p></p><p class=MsoNormal> {pattern,<<"^.*">>},<o:p></o:p></p><p class=MsoNormal> {'apply-to',<<"queues">>},<o:p></o:p></p><p class=MsoNormal> {definition,<o:p></o:p></p><p class=MsoNormal> [{<<"ha-mode">>,<<"all">>},<o:p></o:p></p><p class=MsoNormal> {<<"ha-sync-mode">>,<<"automatic">>}]},<o:p></o:p></p><p class=MsoNormal> {priority,0}],<o:p></o:p></p><p class=MsoNormal> [{<5251.311.0>,<5251.310.0>},{<5297.333.0>,<5297.332.0>}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> none,false,rabbit_mirror_queue_master,<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,queue,<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>},<o:p></o:p></p><p class=MsoNormal> <5297.333.0>,<5297.4223.0>,rabbit_variable_queue,<o:p></o:p></p><p class=MsoNormal> {vqstate,<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {delta,undefined,0,undefined},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> {0,{[],[]}},<o:p></o:p></p><p class=MsoNormal> 0,<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {qistate,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/queues/6GQ2ZHJGDF7X2GH1FS0QPJX2O",<o:p></o:p></p><p class=MsoNormal> {{dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> undefined,0,65536,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.2.51560583>,<o:p></o:p></p><p class=MsoNormal> {0,nil}},<o:p></o:p></p><p class=MsoNormal> {{client_msstate,msg_store_persistent,<o:p></o:p></p><p class=MsoNormal> <<26,131,31,121,222,176,41,144,168,192,42,159,<o:p></o:p></p><p class=MsoNormal> 222,13,179,107>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {state,311371,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_persistent"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_persistent",<o:p></o:p></p><p class=MsoNormal> <5297.266.0>,315468,307274,319565,323662},<o:p></o:p></p><p class=MsoNormal> {client_msstate,msg_store_transient,<o:p></o:p></p><p class=MsoNormal> <<32,49,130,217,86,65,129,214,32,140,24,34,254,<o:p></o:p></p><p class=MsoNormal> 129,171,73>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {state,290886,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_transient"},<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> "d:/RabbitMQ/db/rabbit@DIX-D-EVGAPP-02-mnesia/msg_store_transient",<o:p></o:p></p><p class=MsoNormal> <5297.261.0>,294983,286789,299080,303177}},<o:p></o:p></p><p class=MsoNormal> true,0,0,0,infinity,0,0,0,0,0,<o:p></o:p></p><p class=MsoNormal> {rates,0.0,0.0,0.0,0.0,{1406,466723,462160}},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> 0,0},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> [],<o:p></o:p></p><p class=MsoNormal> {set,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}}},<o:p></o:p></p><p class=MsoNormal> {state,{queue,[],[],0},{active,1406466722448182,1.0}},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {state,fine,5000,undefined},<o:p></o:p></p><p class=MsoNormal> {0,nil},<o:p></o:p></p><p class=MsoNormal> undefined,undefined,undefined,<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> delegate},<o:p></o:p></p><p class=MsoNormal> {resource,<<"eventing">>,exchange,<o:p></o:p></p><p class=MsoNormal> <<"EnterpriseEventDeadLetter">>},<o:p></o:p></p><p class=MsoNormal> <<"SalesCenter2.BPClaims_ClosedClaim">>,undefined,2,running}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,[{file,"proc_lib.erl"},{line,249}]}]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,call,[<5297.332.0>,{add_on_right,{20,<0.323.0>}},infinity]}}<o:p></o:p></p></div>
<p>
This e-mail is confidential.� If you are not the intended recipient, you must not disclose or use the information contained in it.� If you have received this e-mail in error, please tell us immediately by return e-mail and delete the document. No recipient may use the information in this e-mail in violation of any civil or criminal statute. Sentry disclaims all liability for any unauthorized uses of this e-mail or its contents. Sentry accepts no liability or responsibility for any damage caused by any virus transmitted with this e-mail.</p><p />
</body></html>