Here you to Tim:<br><br>The scrubbed rabbit@mq1.log:<br>--------<br>=INFO REPORT==== 13-Sep-2012::12:00:21 ===<br>��� application: rabbitmq_management<br>��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 13-Sep-2012::12:00:21 ===<br>
��� application: rabbitmq_federation<br>��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 13-Sep-2012::12:00:21 ===<br>Stopping Rabbit<br><br>=INFO REPORT==== 13-Sep-2012::12:00:21 ===<br>��� application: rabbitmq_management_agent<br>
��� exited: stopped<br>��� type: permanent<br><br>=WARNING REPORT==== 13-Sep-2012::12:00:21 ===<br>Connection (&lt;0.1659.0&gt;) closing: internal error in channel (&lt;0.1666.0&gt;): shutdown<br><br>=INFO REPORT==== 13-Sep-2012::12:00:21 ===<br>
stopped TCP Listener on <a href="http://0.0.0.0:5672">0.0.0.0:5672</a><br><br>=ERROR REPORT==== 13-Sep-2012::12:17:00 ===<br>** Generic server &lt;0.1676.0&gt; terminating <br>** Last message in was {inet_async,#Port&lt;0.5748&gt;,5106,{error,etimedout}}<br>
** When Server state == {state,#Port&lt;0.5748&gt;,&lt;0.1671.0&gt;,&lt;0.1673.0&gt;,<br>������������������������������ {method,rabbit_framing_amqp_0_9_1},<br>������������������������������ none}<br>** Reason for termination == <br>
** {socket_error,etimedout}<br><br>=ERROR REPORT==== 13-Sep-2012::12:17:00 ===<br>** Generic server &lt;0.1671.0&gt; terminating <br>** Last message in was {socket_error,etimedout}<br>** When Server state == {state,amqp_network_connection,<br>
��������������������������� {state,#Port&lt;0.5748&gt;,0,&lt;0.1675.0&gt;,131072,<br>������������������������������� undefined,false},<br>��������������������������� &lt;0.1670.0&gt;,&lt;0.1673.0&gt;,<br>��������������������������� {amqp_params_network,&lt;&lt;&quot;guest&quot;&gt;&gt;,&lt;&lt;&quot;guest&quot;&gt;&gt;,<br>
������������������������������� &lt;&lt;&quot;/&quot;&gt;&gt;,&quot;<a href="http://slg1matt1.xyz.com">slg1matt1.xyz.com</a>&quot;,<br>������������������������������� 5672,0,0,0,infinity,none,<br>������������������������������� [#Fun&lt;amqp_auth_mechanisms.plain.3&gt;,<br>
�������������������������������� #Fun&lt;amqp_auth_mechanisms.amqplain.3&gt;],<br>������������������������������� [],[]},<br>��������������������������� 0,<br>��������������������������� [{&lt;&lt;&quot;capabilities&quot;&gt;&gt;,table,<br>
����������������������������� [{&lt;&lt;&quot;publisher_confirms&quot;&gt;&gt;,bool,true},<br>������������������������������ {&lt;&lt;&quot;exchange_exchange_bindings&quot;&gt;&gt;,bool,true},<br>������������������������������ {&lt;&lt;&quot;basic.nack&quot;&gt;&gt;,bool,true},<br>
������������������������������ {&lt;&lt;&quot;consumer_cancel_notify&quot;&gt;&gt;,bool,true}]},<br>���������������������������� {&lt;&lt;&quot;copyright&quot;&gt;&gt;,longstr,<br>����������������������������� &lt;&lt;&quot;Copyright (C) 2007-2012 VMware, Inc.&quot;&gt;&gt;},<br>
���������������������������� {&lt;&lt;&quot;information&quot;&gt;&gt;,longstr,<br>����������������������������� &lt;&lt;&quot;Licensed under the MPL.� See <a href="http://www.rabbitmq.com/">http://www.rabbitmq.com/</a>&quot;&gt;&gt;},<br>
���������������������������� {&lt;&lt;&quot;platform&quot;&gt;&gt;,longstr,&lt;&lt;&quot;Erlang/OTP&quot;&gt;&gt;},<br>���������������������������� {&lt;&lt;&quot;product&quot;&gt;&gt;,longstr,&lt;&lt;&quot;RabbitMQ&quot;&gt;&gt;},<br>
���������������������������� {&lt;&lt;&quot;version&quot;&gt;&gt;,longstr,&lt;&lt;&quot;2.8.6&quot;&gt;&gt;}],<br>��������������������������� #Fun&lt;amqp_connection_sup.0.39273983&gt;,<br>��������������������������� #Fun&lt;amqp_connection_sup.2.54430129&gt;,false}<br>
** Reason for termination == <br>** {socket_error,etimedout}<br><br>=ERROR REPORT==== 13-Sep-2012::12:17:00 ===<br>** Generic server &lt;0.1657.0&gt; terminating<br>** Last message in was {&#39;EXIT&#39;,&lt;0.197.0&gt;,shutdown}<br>
** When Server state == {state,<br>������������������������ {upstream,<br>������������������������� {amqp_params_network,&lt;&lt;&quot;guest&quot;&gt;&gt;,&lt;&lt;&quot;guest&quot;&gt;&gt;,<br>�������������������������� &lt;&lt;&quot;/&quot;&gt;&gt;,&quot;<a href="http://slg1matt1.xyz.com">slg1matt1.xyz.com</a>&quot;,5672,0,<br>
�������������������������� 0,0,infinity,none,<br>�������������������������� [#Fun&lt;amqp_auth_mechanisms.plain.3&gt;,<br>��������������������������� #Fun&lt;amqp_auth_mechanisms.amqplain.3&gt;],<br>�������������������������� [],[]},<br>
������������������������� &lt;&lt;&quot;skytap&quot;&gt;&gt;,1000,1,1,none,none,none,&quot;upstream-slg&quot;},<br>������������������������ &lt;0.1671.0&gt;,&lt;0.1683.0&gt;,<br>������������������������ &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@mq1.matt.xyz.com">rabbit@mq1.matt.xyz.com</a>&quot;&gt;&gt;,<br>
������������������������ &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@mq1.matt.xyz.com">rabbit@mq1.matt.xyz.com</a> A&quot;&gt;&gt;,<br>������������������������ {0,nil},<br>������������������������ 115,<br>
������������������������ {dict,10,16,16,8,80,48,<br>������������������������� {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},<br>������������������������� {{[],<br>��������������������������� [[{&lt;&lt;&quot;charon.us-east.default&quot;&gt;&gt;,[]}|<br>
����������������������������� {set,1,16,16,8,80,48,<br>������������������������������ {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []},<br>������������������������������ {{[],[],[],[],[],[],[],[],[],[],[],[],<br>
�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,<br>���������������������������������� &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@slg1matt1.xyz.com">rabbit@slg1matt1.xyz.com</a> A&quot;&gt;&gt;}],<br>
�������������������������������� [],[],[]}}}]],<br>��������������������������� [],<br>��������������������������� [[{&lt;&lt;&quot;cmcmd.us-east.default&quot;&gt;&gt;,[]}|<br>����������������������������� {set,1,16,16,8,80,48,<br>
������������������������������ {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []},<br>������������������������������ {{[],[],[],[],[],[],[],[],[],[],[],[],<br>�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,<br>
���������������������������������� &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@slg1matt1.xyz.com">rabbit@slg1matt1.xyz.com</a> A&quot;&gt;&gt;}],<br>�������������������������������� [],[],[]}}}],<br>���������������������������� [{&lt;&lt;&quot;charon.us-west.default&quot;&gt;&gt;,[]}|<br>
����������������������������� {set,2,16,16,8,80,48,<br>������������������������������ {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []},<br>������������������������������ {{[],[],[],<br>
�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;charon&quot;&gt;&gt;}],<br>�������������������������������� [],[],[],[],[],[],[],[],<br>�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,<br>
���������������������������������� &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@slg1matt1.xyz.com">rabbit@slg1matt1.xyz.com</a> A&quot;&gt;&gt;}],<br>�������������������������������� [],[],[]}}}]],<br>��������������������������� [],<br>
��������������������������� [[{&lt;&lt;&quot;cmcmd.us-west.default&quot;&gt;&gt;,[]}|<br>����������������������������� {set,2,16,16,8,80,48,<br>������������������������������ {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
������������������������������� []},<br>������������������������������ {{[],[],[],[],[],<br>�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;cmcmd&quot;&gt;&gt;}],<br>�������������������������������� [],[],[],[],[],[],<br>
�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,<br>���������������������������������� &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@slg1matt1.xyz.com">rabbit@slg1matt1.xyz.com</a> A&quot;&gt;&gt;}],<br>
�������������������������������� [],[],[]}}}]],<br>��������������������������� [],<br>��������������������������� [[{&lt;&lt;&quot;system_test.us-east.default&quot;&gt;&gt;,[]}|<br>����������������������������� {set,1,16,16,8,80,48,<br>
������������������������������ {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []},<br>������������������������������ {{[],[],[],[],[],[],[],[],[],[],[],[],<br>�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,<br>
���������������������������������� &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@slg1matt1.xyz.com">rabbit@slg1matt1.xyz.com</a> A&quot;&gt;&gt;}],<br>�������������������������������� [],[],[]}}}]],<br>��������������������������� [],<br>
��������������������������� [[{&lt;&lt;&quot;system_test.us-west.default&quot;&gt;&gt;,[]}|<br>����������������������������� {set,2,16,16,8,80,48,<br>������������������������������ {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
������������������������������� []},<br>������������������������������ {{[],<br>�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;system_test&quot;&gt;&gt;}],<br>�������������������������������� [],[],[],[],[],[],[],[],[],[],<br>
�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,<br>���������������������������������� &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@slg1matt1.xyz.com">rabbit@slg1matt1.xyz.com</a> A&quot;&gt;&gt;}],<br>
�������������������������������� [],[],[]}}}]],<br>��������������������������� [],[],<br>��������������������������� [[{&lt;&lt;&quot;unit_test.us-east.default&quot;&gt;&gt;,[]}|<br>����������������������������� {set,1,16,16,8,80,48,<br>
������������������������������ {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []},<br>������������������������������ {{[],[],[],[],[],[],[],[],[],[],[],[],<br>�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,<br>
���������������������������������� &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@slg1matt1.xyz.com">rabbit@slg1matt1.xyz.com</a> A&quot;&gt;&gt;}],<br>�������������������������������� [],[],[]}}}]],<br>��������������������������� [[{&lt;&lt;&quot;ConfigurationManager.us-east.default&quot;&gt;&gt;,<br>
������������������������������ []}|<br>����������������������������� {set,1,16,16,8,80,48,<br>������������������������������ {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []},<br>������������������������������ {{[],[],[],[],[],[],[],[],[],[],[],[],<br>
�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,<br>���������������������������������� &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@slg1matt1.xyz.com">rabbit@slg1matt1.xyz.com</a> A&quot;&gt;&gt;}],<br>
�������������������������������� [],[],[]}}}]],<br>��������������������������� [[{&lt;&lt;&quot;unit_test.us-west.default&quot;&gt;&gt;,[]}|<br>����������������������������� {set,2,16,16,8,80,48,<br>������������������������������ {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>
������������������������������� []},<br>������������������������������ {{[],[],[],[],[],[],[],[],<br>�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,&lt;&lt;&quot;unit_test&quot;&gt;&gt;}],<br>
�������������������������������� [],[],[],<br>�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,<br>���������������������������������� &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@slg1matt1.xyz.com">rabbit@slg1matt1.xyz.com</a> A&quot;&gt;&gt;}],<br>
�������������������������������� [],[],[]}}}]],<br>��������������������������� [[{&lt;&lt;&quot;ConfigurationManager.us-west.default&quot;&gt;&gt;,<br>������������������������������ []}|<br>����������������������������� {set,2,16,16,8,80,48,<br>
������������������������������ {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<br>������������������������������� []},<br>������������������������������ {{[],[],[],[],[],[],[],<br>�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,queue,<br>
���������������������������������� &lt;&lt;&quot;ConfigurationManager&quot;&gt;&gt;}],<br>�������������������������������� [],[],[],[],<br>�������������������������������� [{resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,<br>
���������������������������������� &lt;&lt;&quot;federation: skytap -&gt; <a href="mailto:rabbit@slg1matt1.xyz.com">rabbit@slg1matt1.xyz.com</a> A&quot;&gt;&gt;}],<br>�������������������������������� [],[],[]}}}]]}}},<br>
������������������������ &lt;0.1659.0&gt;,&lt;0.1666.0&gt;,<br>������������������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,&lt;&lt;&quot;skytap&quot;&gt;&gt;},<br>������������������������ {0,nil}}<br>** Reason for termination == <br>
** {undef,<br>������ [{rabbit_federation_old_status,report,<br>����������� [{upstream,<br>���������������� {amqp_params_network,&lt;&lt;&quot;guest&quot;&gt;&gt;,&lt;&lt;&quot;guest&quot;&gt;&gt;,&lt;&lt;&quot;/&quot;&gt;&gt;,<br>
�������������������� &quot;<a href="http://slg1matt1.xyz.com">slg1matt1.xyz.com</a>&quot;,5672,0,0,0,infinity,<br>�������������������� none,<br>�������������������� [#Fun&lt;amqp_auth_mechanisms.plain.3&gt;,<br>��������������������� #Fun&lt;amqp_auth_mechanisms.amqplain.3&gt;],<br>
�������������������� [],[]},<br>���������������� &lt;&lt;&quot;skytap&quot;&gt;&gt;,1000,1,1,none,none,none,&quot;upstream-slg&quot;},<br>������������ {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,&lt;&lt;&quot;skytap&quot;&gt;&gt;},<br>
������������ shutdown],<br>����������� []},<br>������� {rabbit_federation_link,terminate,2,[]},<br>������� {gen_server2,terminate,3,[]},<br>������� {proc_lib,init_p_do_apply,3,[{file,&quot;proc_lib.erl&quot;},{line,227}]}]}<br>
** In &#39;terminate&#39; callback with reason ==<br>** shutdown<br><br>=INFO REPORT==== 13-Sep-2012::12:17:00 ===<br>��� application: rabbit<br>��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 13-Sep-2012::12:17:00 ===<br>
��� application: os_mon<br>��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 13-Sep-2012::12:17:00 ===<br>��� application: mnesia<br>��� exited: stopped<br>��� type: permanent<br><br>=INFO REPORT==== 13-Sep-2012::12:17:00 ===<br>
Halting Erlang VM<br>--------<br><br>And the scrubbed rabbit@mq1-sasl.log:<br><br>--------<br>=SUPERVISOR REPORT==== 13-Sep-2012::12:00:21 ===<br>���� Supervisor: {&lt;0.1664.0&gt;,amqp_channel_sup}<br>���� Context:��� child_terminated<br>
���� Reason:���� shutdown<br>���� Offender:�� [{pid,&lt;0.1666.0&gt;},<br>����������������� {name,channel},<br>����������������� {mfa,{amqp_channel,start_link,<br>������������������������������������ [direct,&lt;0.1659.0&gt;,1,&lt;0.1665.0&gt;,<br>
������������������������������������� #Fun&lt;amqp_channel_sup.0.24953263&gt;]}},<br>����������������� {restart_type,intrinsic},<br>����������������� {shutdown,4294967295},<br>����������������� {child_type,worker}]<br><br>
<br>=SUPERVISOR REPORT==== 13-Sep-2012::12:00:21 ===<br>���� Supervisor: {&lt;0.1664.0&gt;,amqp_channel_sup}<br>���� Context:��� shutdown<br>���� Reason:���� reached_max_restart_intensity<br>���� Offender:�� [{pid,&lt;0.1666.0&gt;},<br>
����������������� {name,channel},<br>����������������� {mfa,{amqp_channel,start_link,<br>������������������������������������ [direct,&lt;0.1659.0&gt;,1,&lt;0.1665.0&gt;,<br>������������������������������������� #Fun&lt;amqp_channel_sup.0.24953263&gt;]}},<br>
����������������� {restart_type,intrinsic},<br>����������������� {shutdown,4294967295},<br>����������������� {child_type,worker}]<br><br><br>=CRASH REPORT==== 13-Sep-2012::12:17:00 ===<br>� crasher:<br>��� initial call: amqp_main_reader:init/1<br>
��� pid: &lt;0.1676.0&gt;<br>��� registered_name: []<br>��� exception exit: {socket_error,etimedout}<br>����� in function� gen_server:terminate/6 (gen_server.erl, line 747)<br>��� ancestors: [&lt;0.1674.0&gt;,&lt;0.1670.0&gt;,amqp_sup,&lt;0.240.0&gt;]<br>
��� messages: []<br>��� links: [&lt;0.1674.0&gt;]<br>��� dictionary: []<br>��� trap_exit: false<br>��� status: running<br>��� heap_size: 2584<br>��� stack_size: 24<br>��� reductions: 2529<br>� neighbours:<br><br>=CRASH REPORT==== 13-Sep-2012::12:17:00 ===<br>
� crasher:<br>��� initial call: amqp_gen_connection:init/1<br>��� pid: &lt;0.1671.0&gt;<br>��� registered_name: []<br>��� exception exit: {socket_error,etimedout}<br>����� in function� gen_server:terminate/6 (gen_server.erl, line 747)<br>
��� ancestors: [&lt;0.1670.0&gt;,amqp_sup,&lt;0.240.0&gt;]<br>��� messages: []<br>��� links: [&lt;0.1670.0&gt;,#Port&lt;0.5748&gt;]<br>��� dictionary: []<br>��� trap_exit: false<br>��� status: running<br>��� heap_size: 1597<br>
��� stack_size: 24<br>��� reductions: 805<br>� neighbours:<br><br>=SUPERVISOR REPORT==== 13-Sep-2012::12:17:00 ===<br>���� Supervisor: {&lt;0.1670.0&gt;,amqp_connection_sup}<br>���� Context:��� child_terminated<br>���� Reason:���� {socket_error,etimedout}<br>
���� Offender:�� [{pid,&lt;0.1671.0&gt;},<br>����������������� {name,connection},<br>����������������� {mfa,<br>��������������������� {amqp_gen_connection,start_link,<br>������������������������� [amqp_network_connection,<br>
�������������������������� {amqp_params_network,&lt;&lt;&quot;guest&quot;&gt;&gt;,&lt;&lt;&quot;guest&quot;&gt;&gt;,<br>������������������������������ &lt;&lt;&quot;/&quot;&gt;&gt;,&quot;<a href="http://slg1matt1.xyz.com">slg1matt1.xyz.com</a>&quot;,<br>
������������������������������ 5672,0,0,0,infinity,none,<br>������������������������������ [#Fun&lt;amqp_auth_mechanisms.plain.3&gt;,<br>������������������������������� #Fun&lt;amqp_auth_mechanisms.amqplain.3&gt;],<br>������������������������������ [],[]},<br>
�������������������������� #Fun&lt;amqp_connection_sup.0.39273983&gt;,<br>�������������������������� #Fun&lt;amqp_connection_sup.2.54430129&gt;,[]]}},<br>����������������� {restart_type,intrinsic},<br>����������������� {shutdown,brutal_kill},<br>
����������������� {child_type,worker}]<br><br><br>=SUPERVISOR REPORT==== 13-Sep-2012::12:17:00 ===<br>���� Supervisor: {&lt;0.1670.0&gt;,amqp_connection_sup}<br>���� Context:��� shutdown<br>���� Reason:���� reached_max_restart_intensity<br>
���� Offender:�� [{pid,&lt;0.1671.0&gt;},<br>����������������� {name,connection},<br>����������������� {mfa,<br>��������������������� {amqp_gen_connection,start_link,<br>������������������������� [amqp_network_connection,<br>
�������������������������� {amqp_params_network,&lt;&lt;&quot;guest&quot;&gt;&gt;,&lt;&lt;&quot;guest&quot;&gt;&gt;,<br>������������������������������ &lt;&lt;&quot;/&quot;&gt;&gt;,&quot;<a href="http://slg1matt1.xyz.com">slg1matt1.xyz.com</a>&quot;,<br>
������������������������������ 5672,0,0,0,infinity,none,<br>������������������������������ [#Fun&lt;amqp_auth_mechanisms.plain.3&gt;,<br>������������������������������� #Fun&lt;amqp_auth_mechanisms.amqplain.3&gt;],<br>������������������������������ [],[]},<br>
�������������������������� #Fun&lt;amqp_connection_sup.0.39273983&gt;,<br>�������������������������� #Fun&lt;amqp_connection_sup.2.54430129&gt;,[]]}},<br>����������������� {restart_type,intrinsic},<br>����������������� {shutdown,brutal_kill},<br>
����������������� {child_type,worker}]<br><br><br>=SUPERVISOR REPORT==== 13-Sep-2012::12:17:00 ===<br>���� Supervisor: {&lt;0.1674.0&gt;,<br>������������������������������������������ amqp_connection_type_sup}<br>���� Context:��� child_terminated<br>
���� Reason:���� {socket_error,etimedout}<br>���� Offender:�� [{pid,&lt;0.1676.0&gt;},<br>����������������� {name,main_reader},<br>����������������� {mfa,<br>��������������������� {amqp_main_reader,start_link,<br>������������������������� [#Port&lt;0.5748&gt;,&lt;0.1671.0&gt;,&lt;0.1673.0&gt;,<br>
�������������������������� {method,rabbit_framing_amqp_0_9_1}]}},<br>����������������� {restart_type,transient},<br>����������������� {shutdown,4294967295},<br>����������������� {child_type,worker}]<br><br><br>=SUPERVISOR REPORT==== 13-Sep-2012::12:17:00 ===<br>
���� Supervisor: {&lt;0.1674.0&gt;,<br>������������������������������������������ amqp_connection_type_sup}<br>���� Context:��� shutdown<br>���� Reason:���� reached_max_restart_intensity<br>���� Offender:�� [{pid,&lt;0.1676.0&gt;},<br>
����������������� {name,main_reader},<br>����������������� {mfa,<br>��������������������� {amqp_main_reader,start_link,<br>������������������������� [#Port&lt;0.5748&gt;,&lt;0.1671.0&gt;,&lt;0.1673.0&gt;,<br>�������������������������� {method,rabbit_framing_amqp_0_9_1}]}},<br>
����������������� {restart_type,transient},<br>����������������� {shutdown,4294967295},<br>����������������� {child_type,worker}]<br><br><br>=CRASH REPORT==== 13-Sep-2012::12:17:00 ===<br>� crasher:<br>��� initial call: gen:init_it/6<br>
��� pid: &lt;0.1657.0&gt;<br>��� registered_name: []<br>��� exception exit: {undef,<br>����������������������� [{rabbit_federation_old_status,report,<br>���������������������������� [{upstream,<br>��������������������������������� {amqp_params_network,&lt;&lt;&quot;guest&quot;&gt;&gt;,<br>
������������������������������������� &lt;&lt;&quot;guest&quot;&gt;&gt;,&lt;&lt;&quot;/&quot;&gt;&gt;,<br>������������������������������������� &quot;<a href="http://slg1matt1.xyz.com">slg1matt1.xyz.com</a>&quot;,<br>������������������������������������� 5672,0,0,0,infinity,none,<br>
������������������������������������� [#Fun&lt;amqp_auth_mechanisms.plain.3&gt;,<br>�������������������������������������� #Fun&lt;amqp_auth_mechanisms.amqplain.3&gt;],<br>������������������������������������� [],[]},<br>
��������������������������������� &lt;&lt;&quot;skytap&quot;&gt;&gt;,1000,1,1,none,none,none,<br>��������������������������������� &quot;upstream-slg&quot;},<br>����������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,&lt;&lt;&quot;skytap&quot;&gt;&gt;},<br>
����������������������������� shutdown],<br>���������������������������� []},<br>������������������������ {rabbit_federation_link,terminate,2,[]},<br>������������������������ {gen_server2,terminate,3,[]},<br>������������������������ {proc_lib,init_p_do_apply,3,<br>
���������������������������� [{file,&quot;proc_lib.erl&quot;},{line,227}]}]}<br>����� in function� gen_server2:terminate/3 <br>��� ancestors: [&lt;0.197.0&gt;,&lt;0.194.0&gt;,rabbit_federation_link_sup_sup,<br>����������������� rabbit_federation_sup,rabbit_sup,&lt;0.143.0&gt;]<br>
��� messages: [{&#39;DOWN&#39;,#Ref&lt;0.0.0.8909&gt;,process,&lt;0.1683.0&gt;,shutdown}]<br>��� links: []<br>��� dictionary: []<br>��� trap_exit: true<br>��� status: running<br>��� heap_size: 2584<br>��� stack_size: 24<br>
��� reductions: 9640<br>� neighbours:<br><br>=SUPERVISOR REPORT==== 13-Sep-2012::12:17:00 ===<br>���� Supervisor: {&lt;0.197.0&gt;,<br>������������������������������������������ rabbit_federation_link_sup}<br>���� Context:��� shutdown_error<br>
���� Reason:���� {undef,<br>�������������������� [{rabbit_federation_old_status,report,<br>������������������������� [{upstream,<br>������������������������������ {amqp_params_network,&lt;&lt;&quot;guest&quot;&gt;&gt;,&lt;&lt;&quot;guest&quot;&gt;&gt;,<br>
���������������������������������� &lt;&lt;&quot;/&quot;&gt;&gt;,<br>���������������������������������� &quot;<a href="http://slg1matt1.xyz.com">slg1matt1.xyz.com</a>&quot;,5672,0,<br>���������������������������������� 0,0,infinity,none,<br>
���������������������������������� [#Fun&lt;amqp_auth_mechanisms.plain.3&gt;,<br>����������������������������������� #Fun&lt;amqp_auth_mechanisms.amqplain.3&gt;],<br>���������������������������������� [],[]},<br>������������������������������ &lt;&lt;&quot;skytap&quot;&gt;&gt;,1000,1,1,none,none,none,<br>
������������������������������ &quot;upstream-slg&quot;},<br>�������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,&lt;&lt;&quot;skytap&quot;&gt;&gt;},<br>�������������������������� shutdown],<br>������������������������� []},<br>
��������������������� {rabbit_federation_link,terminate,2,[]},<br>��������������������� {gen_server2,terminate,3,[]},<br>��������������������� {proc_lib,init_p_do_apply,3,<br>������������������������� [{file,&quot;proc_lib.erl&quot;},{line,227}]}]}<br>
���� Offender:�� [{pid,&lt;0.1657.0&gt;},<br>����������������� {name,<br>��������������������� {upstream,<br>������������������������� {amqp_params_network,&lt;&lt;&quot;guest&quot;&gt;&gt;,&lt;&lt;&quot;guest&quot;&gt;&gt;,<br>
����������������������������� &lt;&lt;&quot;/&quot;&gt;&gt;,&quot;<a href="http://slg1matt1.xyz.com">slg1matt1.xyz.com</a>&quot;,<br>����������������������������� 5672,0,0,0,infinity,none,<br>����������������������������� [#Fun&lt;amqp_auth_mechanisms.plain.3&gt;,<br>
������������������������������ #Fun&lt;amqp_auth_mechanisms.amqplain.3&gt;],<br>����������������������������� [],[]},<br>������������������������� &lt;&lt;&quot;skytap&quot;&gt;&gt;,1000,1,1,none,none,none,<br>������������������������� &quot;upstream-slg&quot;}},<br>
����������������� {mfa,<br>��������������������� {rabbit_federation_link,start_link,<br>������������������������� [{{upstream,<br>������������������������������� {amqp_params_network,&lt;&lt;&quot;guest&quot;&gt;&gt;,&lt;&lt;&quot;guest&quot;&gt;&gt;,<br>
����������������������������������� &lt;&lt;&quot;/&quot;&gt;&gt;,<br>����������������������������������� &quot;<a href="http://slg1matt1.xyz.com">slg1matt1.xyz.com</a>&quot;,5672,<br>����������������������������������� 0,0,0,infinity,none,<br>
����������������������������������� [#Fun&lt;amqp_auth_mechanisms.plain.3&gt;,<br>������������������������������������ #Fun&lt;amqp_auth_mechanisms.amqplain.3&gt;],<br>����������������������������������� [],[]},<br>������������������������������� &lt;&lt;&quot;skytap&quot;&gt;&gt;,1000,1,1,none,none,none,<br>
������������������������������� &quot;upstream-slg&quot;},<br>��������������������������� {resource,&lt;&lt;&quot;/&quot;&gt;&gt;,exchange,&lt;&lt;&quot;skytap&quot;&gt;&gt;}}]}},<br>����������������� {restart_type,{permanent,1}},<br>
����������������� {shutdown,4294967295},<br>����������������� {child_type,worker}]<br><br>--------<br><br><div class="gmail_quote">On Thu, Sep 13, 2012 at 12:30 PM, Tim Watson <span dir="ltr">&lt;<a href="mailto:tim@rabbitmq.com" target="_blank">tim@rabbitmq.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im"><br>
On 13 Sep 2012, at 20:26, Matt Pietrek wrote:<br>
<br>
&gt; We &quot;own&quot; the network in that it&#39;s a direct connection between two datacenters. It&#39;s not a particularly high speed connection, but it&#39;s generally reliable. I&#39;ve done some ping tests between the two nodes and while an occasional packet will drop every once in awhile, it&#39;s not a really horrible connection. The average ping round trip time is areound 80ms.<br>

&gt;<br>
&gt; I&#39;d be surprised if it&#39;s a dropped packet, as the shutdown on both brokers seems to consistently take a long time. I just reproed this again, and one broker took 1000 seconds to shut down, while the other took 995. I have the logs from this repro, but a quick glance doesn&#39;t show anything radically different. Let me know if there&#39;s anything else I can supply.<br>

&gt;<br>
<br>
</div>Ok - do send the second pair of logs (or a scrubbed version if you need to hide private data) please, as we&#39;re keen to get to the bottom of this.<br>
<div class="HOEnZb"><div class="h5">_______________________________________________<br>
rabbitmq-discuss mailing list<br>
<a href="mailto:rabbitmq-discuss@lists.rabbitmq.com">rabbitmq-discuss@lists.rabbitmq.com</a><br>
<a href="https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss" target="_blank">https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss</a><br>
</div></div></blockquote></div><br>