<div dir="ltr"><div><div>We&#39;re seeing a bunch of failure messages from our Ruby clients to RabbitMQ 3.0.2. From the client side, we see 541 &quot;Internal Error&quot;<br><br>On the server side logs, we see a bunch of errors. Normally I can at least hazard a guess what&#39;s wrong, but I have no idea with this:<br>
<br><br>=ERROR REPORT==== 16-Jul-2013::22:43:15 ===<br>** Generic server &lt;0.4358.0&gt; terminating<br>** Last message in was {can_send,&lt;0.4355.0&gt;,true}<br>** When Server state == {lim,1,&lt;0.4359.0&gt;,false,[],1}<br>
** Reason for termination == <br>** {function_clause,[{orddict,update,<br>����������������������������� [&lt;0.4355.0&gt;,#Fun&lt;rabbit_limiter.3.113433752&gt;,[]],<br>����������������������������� [{file,&quot;orddict.erl&quot;},{line,153}]},<br>
�������������������� {rabbit_limiter,limit_queue,2,[]},<br>�������������������� {rabbit_limiter,handle_call,3,[]},<br>�������������������� {gen_server2,handle_msg,2,[]},<br>�������������������� {proc_lib,init_p_do_apply,3,<br>
������������������������������ [{file,&quot;proc_lib.erl&quot;},{line,227}]}]}<br><br><br><br></div><div>Or like this:<br>--------------------<br><br><br>=ERROR REPORT==== 16-Jul-2013::22:44:15 ===<br>** Generic server &lt;0.4563.0&gt; terminating<br>
** Last message in was {&#39;$gen_cast&#39;,<br>�������������������������� {method,<br>������������������������������ {&#39;basic.consume&#39;,0,&lt;&lt;&quot;web-tasks-mpietrek&quot;&gt;&gt;,<br>���������������������������������� &lt;&lt;&quot;web-tasks-mpietrek-1374014655000-264079359112&quot;&gt;&gt;,<br>
���������������������������������� false,false,false,false,[]},<br>������������������������������ none,noflow}}<br>** When Server state == {ch,running,rabbit_framing_amqp_0_9_1,41,&lt;0.4540.0&gt;,<br>������������������������ &lt;0.4560.0&gt;,&lt;0.4540.0&gt;,<br>
������������������������ &lt;&lt;&quot;<a href="http://192.168.78.13:57671">192.168.78.13:57671</a> -&gt; <a href="http://192.168.78.50:5672">192.168.78.50:5672</a>&quot;&gt;&gt;,<br>������������������������ {lstate,&lt;0.4561.0&gt;,true,false},<br>
������������������������ none,2,<br>������������������������ {[],[]},<br>������������������������ {user,&lt;&lt;&quot;guest&quot;&gt;&gt;,<br>������������������������� [administrator],<br>������������������������� rabbit_auth_backend_internal,<br>
������������������������� {internal_user,&lt;&lt;&quot;guest&quot;&gt;&gt;,<br>�������������������������� &lt;&lt;78,56,17,4,226,151,136,14,156,84,34,25,101,29,104,<br>���������������������������� 78,125,130,202,207&gt;&gt;,<br>
�������������������������� [administrator]}},<br>������������������������ &lt;&lt;&quot;/&quot;&gt;&gt;,&lt;&lt;&quot;web-tasks-mpietrek&quot;&gt;&gt;,<br>������������������������ {dict,1,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
������������������������� {{[],[],[],[],[],[],[],<br>��������������������������� [[&lt;0.4558.0&gt;|<br>����������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>������������������������������ &lt;&lt;&quot;web-tasks-mpietrek&quot;&gt;&gt;}]],<br>
��������������������������� [],[],[],[],[],[],[],[]}}},<br>������������������������ {dict,3,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],<br>
��������������������������� [[&lt;0.4558.0&gt;|#Ref&lt;0.0.0.83887&gt;]],<br>��������������������������� [],[],[],[],<br>��������������������������� [[&lt;2783.2507.0&gt;|#Ref&lt;0.0.0.83888&gt;]],<br>��������������������������� [[&lt;2782.2563.0&gt;|#Ref&lt;0.0.0.83889&gt;]],<br>
��������������������������� [],[]}}},<br>������������������������ {dict,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>
������������������������ {set,0,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ {dict,0,16,16,8,80,48,<br>
������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]}}},<br>������������������������ {set,1,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>
������������������������� {{[],[],[],[],[],[],[],<br>��������������������������� [&lt;0.4558.0&gt;],<br>��������������������������� [],[],[],[],[],[],[],[]}}},<br>������������������������ &lt;0.4539.0&gt;,<br>������������������������ {state,fine,5000,#Ref&lt;0.0.0.86733&gt;},<br>
������������������������ false,1,<br>������������������������ {{0,nil},{0,nil}},<br>������������������������ [],<br>������������������������ [{&lt;&lt;&quot;consumer_cancel_notify&quot;&gt;&gt;,bool,true}],<br>������������������������ none}<br>
<br></div>Or like this:<br>--------------------<br><br>=ERROR REPORT==== 16-Jul-2013::22:44:15 ===<br>** Generic server &lt;0.4561.0&gt; terminating<br>** Last message in was {can_send,&lt;0.4558.0&gt;,true}<br>** When Server state == {lim,1,&lt;0.4563.0&gt;,false,[],1}<br>
** Reason for termination == <br>** {function_clause,[{orddict,update,<br>����������������������������� [&lt;0.4558.0&gt;,#Fun&lt;rabbit_limiter.3.113433752&gt;,[]],<br>����������������������������� [{file,&quot;orddict.erl&quot;},{line,153}]},<br>
�������������������� {rabbit_limiter,limit_queue,2,[]},<br>�������������������� {rabbit_limiter,handle_call,3,[]},<br>�������������������� {gen_server2,handle_msg,2,[]},<br>�������������������� {proc_lib,init_p_do_apply,3,<br>
������������������������������ [{file,&quot;proc_lib.erl&quot;},{line,227}]}]}<br><br>=ERROR REPORT==== 16-Jul-2013::22:44:15 ===<br>** Generic server &lt;0.4558.0&gt; terminating<br>** Last message in was {basic_consume,false,&lt;0.4563.0&gt;,&lt;0.4561.0&gt;,true,<br>
�������������������������� &lt;&lt;&quot;web-tasks-mpietrek-1374014655000-264079359112&quot;&gt;&gt;,<br>�������������������������� false,none,<br>�������������������������� {&#39;basic.consume_ok&#39;,<br>������������������������������ &lt;&lt;&quot;web-tasks-mpietrek-1374014655000-264079359112&quot;&gt;&gt;}}<br>
** When Server state == {q,<br>������������������������ {amqqueue,<br>������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;web-tasks-mpietrek&quot;&gt;&gt;},<br>������������������������� true,false,none,[],&lt;0.4558.0&gt;,[],[],<br>
������������������������� [{vhost,&lt;&lt;&quot;/&quot;&gt;&gt;},<br>�������������������������� {name,&lt;&lt;&quot;ha-web-tasks-mpietrek&quot;&gt;&gt;},<br>�������������������������� {pattern,&lt;&lt;&quot;web-tasks-mpietrek&quot;&gt;&gt;},<br>
�������������������������� {definition,[{&lt;&lt;&quot;ha-mode&quot;&gt;&gt;,&lt;&lt;&quot;all&quot;&gt;&gt;}]},<br>�������������������������� {priority,0}],<br>������������������������� []},<br>������������������������ none,true,rabbit_mirror_queue_master,<br>
������������������������ {state,<br>������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;web-tasks-mpietrek&quot;&gt;&gt;},<br>������������������������� &lt;0.4566.0&gt;,&lt;0.4565.0&gt;,rabbit_variable_queue,<br>
������������������������� {vqstate,<br>�������������������������� {0,{[],[]}},<br>�������������������������� {0,{[],[]}},<br>�������������������������� {delta,undefined,0,undefined},<br>�������������������������� {0,{[],[]}},<br>
�������������������������� {13,<br>��������������������������� {[{msg_status,12,<br>������������������������������ &lt;&lt;114,86,130,79,196,29,163,190,216,213,230,38,<br>�������������������������������� 174,139,39,60&gt;&gt;,<br>
������������������������������ {basic_message,<br>������������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,&lt;&lt;&quot;skytap&quot;&gt;&gt;},<br>������������������������������� [&lt;&lt;&quot;web-tasks-mpietrek.mpietrek.default&quot;&gt;&gt;],<br>
������������������������������� {content,60,<br>�������������������������������� {&#39;P_basic&#39;,&lt;&lt;&quot;application/octet-stream&quot;&gt;&gt;,<br>��������������������������������� undefined,undefined,2,0,undefined,undefined,<br>
��������������������������������� undefined,undefined,undefined,undefined,<br>��������������������������������� undefined,undefined,undefined},<br>�������������������������������� &lt;&lt;152,0,24,97,112,112,108,105,99,97,116,105,<br>
���������������������������������� 111,110,47,111,99,116,101,116,45,115,116,<br>���������������������������������� 114,101,97,109,2,0&gt;&gt;,<br>�������������������������������� rabbit_framing_amqp_0_9_1,<br>�������������������������������� [&lt;&lt;&quot;{\&quot;payload\&quot;:{\&quot;object\&quot;:\&quot;BAhvOh1EZWxldGVFeHBpcmVkVXBsb2Fkc1Rhc2sGOhJAZ3JhY2VfcGVyaW9k\\nbzocQWN0aXZlU3VwcG9ydDo6RHVyYXRpb24HOgtAdmFsdWVpAwB1EjoLQHBh\\ncnRzWwZbBzoJZGF5c2kT\\n\&quot;},\&quot;_serialization_type\&quot;:\&quot;marshal\&quot;,\&quot;_timestamp\&quot;:\&quot;2013-07-16T22:43:55Z\&quot;,\&quot;_message_type\&quot;:\&quot;request\&quot;,\&quot;_unique_id\&quot;:\&quot;app1:req:wfe-em-init.80690eb0d0940130f02f000c291bd1d8.2.372:336\&quot;,\&quot;caller_context\&quot;:\&quot;wfe-em-init.80690eb0d0940130f02f000c291bd1d8.2.373\&quot;,\&quot;action\&quot;:\&quot;async-task\&quot;,\&quot;_mq_protocol_version\&quot;:1}&quot;&gt;&gt;]},<br>
������������������������������� &lt;&lt;114,86,130,79,196,29,163,190,216,213,230,38,<br>��������������������������������� 174,139,39,60&gt;&gt;,<br>������������������������������� true},<br>������������������������������ true,false,true,true,<br>
������������������������������ {message_properties,undefined,false}},<br>����������������������������� {msg_status,11,<br>������������������������������ &lt;&lt;12,29,215,111,220,221,165,115,106,150,132,130,<br>�������������������������������� 118,94,193,26&gt;&gt;,<br>
������������������������������ {basic_message,<br>������������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,&lt;&lt;&quot;skytap&quot;&gt;&gt;},<br>������������������������������� [&lt;&lt;&quot;web-tasks-mpietrek.mpietrek.default&quot;&gt;&gt;],<br>
������������������������������� {content,60,<br>�������������������������������� {&#39;P_basic&#39;,&lt;&lt;&quot;application/octet-stream&quot;&gt;&gt;,<br>��������������������������������� undefined,undefined,2,0,undefined,undefined,<br>
��������������������������������� undefined,undefined,undefined,undefined,<br>��������������������������������� undefined,undefined,undefined},<br>�������������������������������� &lt;&lt;152,0,24,97,112,112,108,105,99,97,116,105,<br>
���������������������������������� 111,110,47,111,99,116,101,116,45,115,116,<br>���������������������������������� 114,101,97,109,2,0&gt;&gt;,<br>�������������������������������� rabbit_framing_amqp_0_9_1,<br><br></div>&lt;rest of error omitted&gt;<br>
</div>