<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 14 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri","sans-serif";}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal>Hiya, we ran into some problems with a cluster over the weekend. There was a sharp increase in message publishing traffic to this 2 node cluster that increased memory and FD usage but we didn’t observe the normal limit messages in the logs. Instead we say this “rabbit_limiter” exception and the nodes stopped accepting published messages. Thankfully we were able to consume the queued, in-memory, data before restarting the nodes. Did we simply throw too many messages at Rabbit or was there an actual bug in the limiter code? We’re running 3.1.5 with Erlang R16B01 on both nodes. Below are some bits from the main logs on both nodes and the full SASL logs are in pastebin. Thanks!<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Node 1 sasl<o:p></o:p></p><p class=MsoNormal><a href="http://pastebin.com/h55i3AqQ">http://pastebin.com/h55i3AqQ</a><o:p></o:p></p><p class=MsoNormal>Node 2 sasl<o:p></o:p></p><p class=MsoNormal><a href="http://pastebin.com/3hw7f6xA">http://pastebin.com/3hw7f6xA</a><o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>------ NODE1 Rabbit LOG ------<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 14-Dec-2013::11:39:15 ===<o:p></o:p></p><p class=MsoNormal>** Generic server <0.21763.1353> terminating<o:p></o:p></p><p class=MsoNormal>** Last message in was stat<o:p></o:p></p><p class=MsoNormal>** When Server state == {lim,0,<0.26407.1167>,false,[],0}<o:p></o:p></p><p class=MsoNormal>** Reason for termination == <o:p></o:p></p><p class=MsoNormal>** {function_clause,[{rabbit_limiter,handle_call,<o:p></o:p></p><p class=MsoNormal> [stat,<o:p></o:p></p><p class=MsoNormal> {<0.234.0>,#Ref<0.0.8426.115176>},<o:p></o:p></p><p class=MsoNormal> {lim,0,<0.26407.1167>,false,[],0}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,init_p_do_apply,3,<o:p></o:p></p><p class=MsoNormal> [{file,"proc_lib.erl"},{line,239}]}]}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 14-Dec-2013::11:55:10 ===<o:p></o:p></p><p class=MsoNormal>** Generic server <0.28277.6695> terminating<o:p></o:p></p><p class=MsoNormal>** Last message in was {'$gen_cast',<o:p></o:p></p><p class=MsoNormal> {method,<o:p></o:p></p><p class=MsoNormal> {'queue.declare',0,<o:p></o:p></p><p class=MsoNormal> <<"notification.somehost">>,<o:p></o:p></p><p class=MsoNormal> false,false,false,false,false,<o:p></o:p></p><p class=MsoNormal> [{<<"x-expires">>,signedint,10800000}]},<o:p></o:p></p><p class=MsoNormal> none,noflow}}<o:p></o:p></p><p class=MsoNormal>** When Server state == {ch,running,rabbit_framing_amqp_0_9_1,247,<o:p></o:p></p><p class=MsoNormal> <0.4536.6658>,<0.13044.6658>,<0.4536.6658>,<o:p></o:p></p><p class=MsoNormal> <<C_IP -> S_IP>>,<o:p></o:p></p><p class=MsoNormal> {lstate,<0.20106.6569>,false,false},<o:p></o:p></p><p class=MsoNormal> none,1,<o:p></o:p></p><p class=MsoNormal> {[],[]},<o:p></o:p></p><p class=MsoNormal> {user,<<"app_user">>,<o:p></o:p></p><p class=MsoNormal> [administrator],<o:p></o:p></p><p class=MsoNormal> rabbit_auth_backend_internal,<o:p></o:p></p><p class=MsoNormal> {internal_user,<<"app_user">>,<o:p></o:p></p><p class=MsoNormal> <<79,159,188,106,120,27,224,243,230,15,223,<o:p></o:p></p><p class=MsoNormal> 54,140,137,70,36,212,30,111,89>>,<o:p></o:p></p><p class=MsoNormal> [administrator]}},<o:p></o:p></p><p class=MsoNormal> <<"/app_user">>,<<>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {set,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {set,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> <0.8820.6668>,<o:p></o:p></p><p class=MsoNormal> {state,fine,5000,#Ref<0.0.6989.167017>},<o:p></o:p></p><p class=MsoNormal> false,1,<o:p></o:p></p><p class=MsoNormal> {{0,nil},{0,nil}},<o:p></o:p></p><p class=MsoNormal> [],<o:p></o:p></p><p class=MsoNormal> [{<<"consumer_cancel_notify">>,bool,true},<o:p></o:p></p><p class=MsoNormal> {<<"publisher_confirms">>,bool,true}],<o:p></o:p></p><p class=MsoNormal> none}<o:p></o:p></p><p class=MsoNormal>** Reason for termination == <o:p></o:p></p><p class=MsoNormal>** {{{function_clause,<o:p></o:p></p><p class=MsoNormal> [{supervisor2,handle_call,<o:p></o:p></p><p class=MsoNormal> [stat,<o:p></o:p></p><p class=MsoNormal> {<7347.227.0>,#Ref<7347.0.8145.90172>},<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {<7347.9746.1239>,rabbit_intermediate_sup},<o:p></o:p></p><p class=MsoNormal> one_for_one,[],<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> 10,10,[],rabbit_intermediate_sup,[]}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server,handle_msg,5,[{file,"gen_server.erl"},{line,585}]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,239}]}]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,call,[<7347.9746.1239>,stat,infinity]}},<o:p></o:p></p><p class=MsoNormal> [{gen_server2,call,3,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,safe_invoke,2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,'-safe_invoke/2-lc$^0/1-0-',2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,handle_call,3,[]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,[{file,"proc_lib.erl"},{line,249}]}]}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 14-Dec-2013::11:55:10 ===<o:p></o:p></p><p class=MsoNormal>AMQP connection <0.4536.6658> (running), channel 247 - error:<o:p></o:p></p><p class=MsoNormal>{{{function_clause,<o:p></o:p></p><p class=MsoNormal> [{supervisor2,handle_call,<o:p></o:p></p><p class=MsoNormal> [stat,<o:p></o:p></p><p class=MsoNormal> {<7347.227.0>,#Ref<7347.0.8145.90172>},<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {<7347.9746.1239>,rabbit_intermediate_sup},<o:p></o:p></p><p class=MsoNormal> one_for_one,[],<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> 10,10,[],rabbit_intermediate_sup,[]}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server,handle_msg,5,[{file,"gen_server.erl"},{line,585}]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,239}]}]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,call,[<7347.9746.1239>,stat,infinity]}},<o:p></o:p></p><p class=MsoNormal> [{gen_server2,call,3,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,safe_invoke,2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,'-safe_invoke/2-lc$^0/1-0-',2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,handle_call,3,[]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,[{file,"proc_lib.erl"},{line,249}]}]}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 14-Dec-2013::11:55:10 ===<o:p></o:p></p><p class=MsoNormal>Non-AMQP exit reason '{{{function_clause,<o:p></o:p></p><p class=MsoNormal> [{supervisor2,handle_call,<o:p></o:p></p><p class=MsoNormal> [stat,<o:p></o:p></p><p class=MsoNormal> {<7347.227.0>,#Ref<7347.0.8145.90172>},<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {<7347.9746.1239>,rabbit_intermediate_sup},<o:p></o:p></p><p class=MsoNormal> one_for_one,[],<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> 10,10,[],rabbit_intermediate_sup,[]}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server,handle_msg,5,<o:p></o:p></p><p class=MsoNormal> [{file,"gen_server.erl"},{line,585}]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,init_p_do_apply,3,<o:p></o:p></p><p class=MsoNormal> [{file,"proc_lib.erl"},{line,239}]}]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,call,[<7347.9746.1239>,stat,infinity]}},<o:p></o:p></p><p class=MsoNormal> [{gen_server2,call,3,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,safe_invoke,2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,'-safe_invoke/2-lc$^0/1-0-',2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,handle_call,3,[]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,<o:p></o:p></p><p class=MsoNormal> [{file,"proc_lib.erl"},{line,249}]}]}'<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 14-Dec-2013::12:27:35 ===<o:p></o:p></p><p class=MsoNormal>** Generic server <0.17415.2019> terminating<o:p></o:p></p><p class=MsoNormal>** Last message in was {'$gen_cast',<o:p></o:p></p><p class=MsoNormal> {method,<o:p></o:p></p><p class=MsoNormal> {'queue.declare',0,<o:p></o:p></p><p class=MsoNormal> <<"notification.somehost">>,<o:p></o:p></p><p class=MsoNormal> false,false,false,false,false,<o:p></o:p></p><p class=MsoNormal> [{<<"x-expires">>,signedint,10800000}]},<o:p></o:p></p><p class=MsoNormal> none,noflow}}<o:p></o:p></p><p class=MsoNormal>** When Server state == {ch,running,rabbit_framing_amqp_0_9_1,240,<o:p></o:p></p><p class=MsoNormal> <0.23804.2237>,<0.9694.2017>,<0.23804.2237>,<o:p></o:p></p><p class=MsoNormal> <<C_IP -> S_IP>>,<o:p></o:p></p><p class=MsoNormal> {lstate,<0.8750.2014>,false,false},<o:p></o:p></p><p class=MsoNormal> none,1,<o:p></o:p></p><p class=MsoNormal> {[],[]},<o:p></o:p></p><p class=MsoNormal> {user,<<"app_user">>,<o:p></o:p></p><p class=MsoNormal> [administrator],<o:p></o:p></p><p class=MsoNormal> rabbit_auth_backend_internal,<o:p></o:p></p><p class=MsoNormal> {internal_user,<<"app_user">>,<o:p></o:p></p><p class=MsoNormal> <<199,64,175,52,127,65,248,9,70,171,15,9,5,<o:p></o:p></p><p class=MsoNormal> 122,73,4,195,147,238,67>>,<o:p></o:p></p><p class=MsoNormal> [administrator]}},<o:p></o:p></p><p class=MsoNormal> <<"/app_user">>,<<>>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {set,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {set,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> <0.6852.2217>,<o:p></o:p></p><p class=MsoNormal> {state,fine,5000,#Ref<0.0.8928.158612>},<o:p></o:p></p><p class=MsoNormal> false,1,<o:p></o:p></p><p class=MsoNormal> {{0,nil},{0,nil}},<o:p></o:p></p><p class=MsoNormal> [],<o:p></o:p></p><p class=MsoNormal> [{<<"consumer_cancel_notify">>,bool,true},<o:p></o:p></p><p class=MsoNormal> {<<"publisher_confirms">>,bool,true}],<o:p></o:p></p><p class=MsoNormal> none}<o:p></o:p></p><p class=MsoNormal>** Reason for termination == <o:p></o:p></p><p class=MsoNormal>** {{{function_clause,<o:p></o:p></p><p class=MsoNormal> [{supervisor2,handle_call,<o:p></o:p></p><p class=MsoNormal> [stat,<o:p></o:p></p><p class=MsoNormal> {<7347.226.0>,#Ref<7347.0.8518.17139>},<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {<7347.8508.1220>,rabbit_connection_sup},<o:p></o:p></p><p class=MsoNormal> one_for_all,<o:p></o:p></p><p class=MsoNormal> [{child,<7347.27376.2037>,reader,<o:p></o:p></p><p class=MsoNormal> {rabbit_reader,start_link,<o:p></o:p></p><p class=MsoNormal> [<7347.29450.2047>,<7347.19330.2055>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_heartbeat.2.69784259>]},<o:p></o:p></p><p class=MsoNormal> intrinsic,4294967295,worker,<o:p></o:p></p><p class=MsoNormal> [rabbit_reader]},<o:p></o:p></p><p class=MsoNormal> {child,<7347.29450.2047>,channel_sup3,<o:p></o:p></p><p class=MsoNormal> {rabbit_intermediate_sup,start_link,[]},<o:p></o:p></p><p class=MsoNormal> intrinsic,infinity,supervisor,<o:p></o:p></p><p class=MsoNormal> [rabbit_intermediate_sup]},<o:p></o:p></p><p class=MsoNormal> {child,<7347.19330.2055>,collector,<o:p></o:p></p><p class=MsoNormal> {rabbit_queue_collector,start_link,[]},<o:p></o:p></p><p class=MsoNormal> intrinsic,4294967295,worker,<o:p></o:p></p><p class=MsoNormal> [rabbit_queue_collector]}],<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> 0,1,[],rabbit_connection_sup,[]}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server,handle_msg,5,[{file,"gen_server.erl"},{line,585}]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,239}]}]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,call,[<7347.8508.1220>,stat,infinity]}},<o:p></o:p></p><p class=MsoNormal> [{gen_server2,call,3,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,safe_invoke,2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,'-safe_invoke/2-lc$^0/1-0-',2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,handle_call,3,[]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,[{file,"proc_lib.erl"},{line,249}]}]}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 14-Dec-2013::12:27:35 ===<o:p></o:p></p><p class=MsoNormal>AMQP connection <0.23804.2237> (running), channel 240 - error:<o:p></o:p></p><p class=MsoNormal>{{{function_clause,<o:p></o:p></p><p class=MsoNormal> [{supervisor2,handle_call,<o:p></o:p></p><p class=MsoNormal> [stat,<o:p></o:p></p><p class=MsoNormal> {<7347.226.0>,#Ref<7347.0.8518.17139>},<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {<7347.8508.1220>,rabbit_connection_sup},<o:p></o:p></p><p class=MsoNormal> one_for_all,<o:p></o:p></p><p class=MsoNormal> [{child,<7347.27376.2037>,reader,<o:p></o:p></p><p class=MsoNormal> {rabbit_reader,start_link,<o:p></o:p></p><p class=MsoNormal> [<7347.29450.2047>,<7347.19330.2055>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_heartbeat.2.69784259>]},<o:p></o:p></p><p class=MsoNormal> intrinsic,4294967295,worker,<o:p></o:p></p><p class=MsoNormal> [rabbit_reader]},<o:p></o:p></p><p class=MsoNormal> {child,<7347.29450.2047>,channel_sup3,<o:p></o:p></p><p class=MsoNormal> {rabbit_intermediate_sup,start_link,[]},<o:p></o:p></p><p class=MsoNormal> intrinsic,infinity,supervisor,<o:p></o:p></p><p class=MsoNormal> [rabbit_intermediate_sup]},<o:p></o:p></p><p class=MsoNormal> {child,<7347.19330.2055>,collector,<o:p></o:p></p><p class=MsoNormal> {rabbit_queue_collector,start_link,[]},<o:p></o:p></p><p class=MsoNormal> intrinsic,4294967295,worker,<o:p></o:p></p><p class=MsoNormal> [rabbit_queue_collector]}],<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> 0,1,[],rabbit_connection_sup,[]}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server,handle_msg,5,[{file,"gen_server.erl"},{line,585}]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,239}]}]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,call,[<7347.8508.1220>,stat,infinity]}},<o:p></o:p></p><p class=MsoNormal> [{gen_server2,call,3,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,safe_invoke,2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,'-safe_invoke/2-lc$^0/1-0-',2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,handle_call,3,[]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,[{file,"proc_lib.erl"},{line,249}]}]}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 14-Dec-2013::12:27:35 ===<o:p></o:p></p><p class=MsoNormal>Non-AMQP exit reason '{{{function_clause,<o:p></o:p></p><p class=MsoNormal> [{supervisor2,handle_call,<o:p></o:p></p><p class=MsoNormal> [stat,<o:p></o:p></p><p class=MsoNormal> {<7347.226.0>,#Ref<7347.0.8518.17139>},<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {<7347.8508.1220>,rabbit_connection_sup},<o:p></o:p></p><p class=MsoNormal> one_for_all,<o:p></o:p></p><p class=MsoNormal> [{child,<7347.27376.2037>,reader,<o:p></o:p></p><p class=MsoNormal> {rabbit_reader,start_link,<o:p></o:p></p><p class=MsoNormal> [<7347.29450.2047>,<7347.19330.2055>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_heartbeat.2.69784259>]},<o:p></o:p></p><p class=MsoNormal> intrinsic,4294967295,worker,<o:p></o:p></p><p class=MsoNormal> [rabbit_reader]},<o:p></o:p></p><p class=MsoNormal> {child,<7347.29450.2047>,channel_sup3,<o:p></o:p></p><p class=MsoNormal> {rabbit_intermediate_sup,start_link,[]},<o:p></o:p></p><p class=MsoNormal> intrinsic,infinity,supervisor,<o:p></o:p></p><p class=MsoNormal> [rabbit_intermediate_sup]},<o:p></o:p></p><p class=MsoNormal> {child,<7347.19330.2055>,collector,<o:p></o:p></p><p class=MsoNormal> {rabbit_queue_collector,start_link,[]},<o:p></o:p></p><p class=MsoNormal> intrinsic,4294967295,worker,<o:p></o:p></p><p class=MsoNormal> [rabbit_queue_collector]}],<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []}}},<o:p></o:p></p><p class=MsoNormal> 0,1,[],rabbit_connection_sup,[]}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server,handle_msg,5,<o:p></o:p></p><p class=MsoNormal> [{file,"gen_server.erl"},{line,585}]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,init_p_do_apply,3,<o:p></o:p></p><p class=MsoNormal> [{file,"proc_lib.erl"},{line,239}]}]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,call,[<7347.8508.1220>,stat,infinity]}},<o:p></o:p></p><p class=MsoNormal> [{gen_server2,call,3,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,safe_invoke,2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,'-safe_invoke/2-lc$^0/1-0-',2,[]},<o:p></o:p></p><p class=MsoNormal> {delegate,handle_call,3,[]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,handle_msg,2,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,<o:p></o:p></p><p class=MsoNormal> [{file,"proc_lib.erl"},{line,249}]}]}'<o:p></o:p></p><p class=MsoNormal> <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>------ NODE2 Rabbit LOG ------<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 14-Dec-2013::11:55:10 ===<o:p></o:p></p><p class=MsoNormal>** Generic server <0.9746.1239> terminating <o:p></o:p></p><p class=MsoNormal>** Last message in was stat<o:p></o:p></p><p class=MsoNormal>** When Server state == {state,{<0.9746.1239>,rabbit_intermediate_sup},<o:p></o:p></p><p class=MsoNormal> one_for_one,[],<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[],[]}}},<o:p></o:p></p><p class=MsoNormal> 10,10,[],rabbit_intermediate_sup,[]}<o:p></o:p></p><p class=MsoNormal>** Reason for termination == <o:p></o:p></p><p class=MsoNormal>** {function_clause,<o:p></o:p></p><p class=MsoNormal> [{supervisor2,handle_call,<o:p></o:p></p><p class=MsoNormal> [stat,<o:p></o:p></p><p class=MsoNormal> {<0.227.0>,#Ref<0.0.8145.90172>},<o:p></o:p></p><p class=MsoNormal> {state,<o:p></o:p></p><p class=MsoNormal> {<0.9746.1239>,rabbit_intermediate_sup},<o:p></o:p></p><p class=MsoNormal> one_for_one,[],<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> 10,10,[],rabbit_intermediate_sup,[]}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {gen_server,handle_msg,5,[{file,"gen_server.erl"},{line,585}]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,239}]}]}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p></div></body></html>