<div dir="ltr">FYI: I have not been able to reproduce this problem since it happened. �Perhaps my servers were somehow in a bad state to begin with. �So... I guess you can consider this as low-priority, for your informational purposes only. ;-)<div>
<br></div><div>-Chris</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Aug 15, 2013 at 4:09 PM, Chris <span dir="ltr">&lt;<a href="mailto:stuff@moesel.net" target="_blank">stuff@moesel.net</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hello,<div><br></div><div>I had a running cluster of two RabbitMQ 3.1.1 servers on Redhat 6.2. �I left both running and then attempted to upgrade one (via yum). �After the upgrade, rabbitmqctl reported the cluster_status was good, but none of my consumers seemed to be working.</div>

<div><br></div><div>I then attempted to upgrade the other, hoping that would fix things, but the upgrade just hung. �After killing the upgrade (ctl-c) I noted that I couldn&#39;t stop rabbitmq-server anymore (not via service script or rabbitmqctl). �I had to kill it manually. �After killing it, I re-ran the upgrade and all was well.</div>

<div><br></div><div>Looking in the logs, I then saw a BUNCH of errors with timestamps corresponding to when I upgraded the first server. �It seems that didn&#39;t go cleanly on the remaining 3.1.1 node and might be responsible for all the trouble. �Did I just get unlucky?</div>

<div><br></div><div>Here&#39;s the SASL log:</div><div><br></div><div><div>=CRASH REPORT==== 15-Aug-2013::14:27:49 ===</div><div>� crasher:</div><div>� � initial call: gen:init_it/6</div><div>� � pid: &lt;0.271.0&gt;</div>

<div>� � registered_name: []</div><div>� � exception exit: {{badmatch,{error,not_found}},</div><div>� � � � � � � � � � �[{rabbit_mirror_queue_master,stop_all_slaves,2,</div><div>� � � � � � � � � � � � � [{file,&quot;src/rabbit_mirror_queue_master.erl&quot;},</div>

<div>� � � � � � � � � � � � � �{line,179}]},</div><div>� � � � � � � � � � � {rabbit_mirror_queue_master,delete_and_terminate,2,</div><div>� � � � � � � � � � � � � [{file,&quot;src/rabbit_mirror_queue_master.erl&quot;},</div>

<div>� � � � � � � � � � � � � �{line,175}]},</div><div>� � � � � � � � � � � {rabbit_amqqueue_process,&#39;-terminate/2-fun-3-&#39;,5,</div><div>� � � � � � � � � � � � � [{file,&quot;src/rabbit_amqqueue_process.erl&quot;},</div>

<div>� � � � � � � � � � � � � �{line,162}]},</div><div>� � � � � � � � � � � {rabbit_amqqueue_process,terminate_shutdown,2,</div><div>� � � � � � � � � � � � � [{file,&quot;src/rabbit_amqqueue_process.erl&quot;},</div><div>

� � � � � � � � � � � � � �{line,272}]},</div><div>� � � � � � � � � � � {gen_server2,terminate,3,</div><div>� � � � � � � � � � � � � [{file,&quot;src/gen_server2.erl&quot;},{line,1031}]},</div><div>� � � � � � � � � � � {proc_lib,wake_up,3,</div>

<div>� � � � � � � � � � � � � [{file,&quot;proc_lib.erl&quot;},{line,249}]}]}</div><div>� � � in function �gen_server2:terminate/3 (src/gen_server2.erl, line 1034)</div><div>� � ancestors: [rabbit_mirror_queue_slave_sup,rabbit_sup,&lt;0.148.0&gt;]</div>

<div>� � messages: []</div><div>� � links: [&lt;0.270.0&gt;]</div><div>� � dictionary: [{guid,{{<a href="tel:3434499189" value="+13434499189" target="_blank">3434499189</a>,622214121,884364685,3594937084},1}}]</div><div>
� � trap_exit: true</div><div>� � status: running</div><div>� � heap_size: 1598</div>
<div>� � stack_size: 27</div><div>� � reductions: 9106</div><div>� neighbours:</div><div><br></div><div>=SUPERVISOR REPORT==== 15-Aug-2013::14:27:49 ===</div><div>� � �Supervisor: {local,</div><div>� � � � � � � � � � � � � � � � � � � � � �rabbit_mirror_queue_slave_sup}</div>

<div>� � �Context: � �child_terminated</div><div>� � �Reason: � � {{badmatch,{error,not_found}},</div><div>� � � � � � � � � [{rabbit_mirror_queue_master,stop_all_slaves,2,</div><div>� � � � � � � � � � � �[{file,&quot;src/rabbit_mirror_queue_master.erl&quot;},</div>

<div>� � � � � � � � � � � � {line,179}]},</div><div>� � � � � � � � � �{rabbit_mirror_queue_master,delete_and_terminate,2,</div><div>� � � � � � � � � � � �[{file,&quot;src/rabbit_mirror_queue_master.erl&quot;},</div><div>

� � � � � � � � � � � � {line,175}]},</div><div>� � � � � � � � � �{rabbit_amqqueue_process,&#39;-terminate/2-fun-3-&#39;,5,</div><div>� � � � � � � � � � � �[{file,&quot;src/rabbit_amqqueue_process.erl&quot;},{line,162}]},</div>

<div>� � � � � � � � � �{rabbit_amqqueue_process,terminate_shutdown,2,</div><div>� � � � � � � � � � � �[{file,&quot;src/rabbit_amqqueue_process.erl&quot;},{line,272}]},</div><div>� � � � � � � � � �{gen_server2,terminate,3,</div>

<div>� � � � � � � � � � � �[{file,&quot;src/gen_server2.erl&quot;},{line,1031}]},</div><div>� � � � � � � � � �{proc_lib,wake_up,3,[{file,&quot;proc_lib.erl&quot;},{line,249}]}]}</div><div>� � �Offender: � [{pid,&lt;0.271.0&gt;},</div>

<div>� � � � � � � � � {name,rabbit_mirror_queue_slave},</div><div>� � � � � � � � � {mfa,</div><div>� � � � � � � � � � � {rabbit_mirror_queue_slave,start_link,</div><div>� � � � � � � � � � � � � [{amqqueue,</div><div>
� � � � � � � � � � � � � � � �{resource,&lt;&lt;&quot;acs&quot;&gt;&gt;,queue,</div>
<div>� � � � � � � � � � � � � � � � � �&lt;&lt;&quot;replies.4a0e284c-1662-463a-b363-cbb4e9557266&quot;&gt;&gt;},</div><div>� � � � � � � � � � � � � � � �true,false,none,</div><div>� � � � � � � � � � � � � � � �[{&lt;&lt;&quot;x-expires&quot;&gt;&gt;,signedint,600000}],</div>

<div>� � � � � � � � � � � � � � � �&lt;7111.3423.0&gt;,[],[],</div><div>� � � � � � � � � � � � � � � �[{vhost,&lt;&lt;&quot;acs&quot;&gt;&gt;},</div><div>� � � � � � � � � � � � � � � � {name,&lt;&lt;&quot;ha-acs&quot;&gt;&gt;},</div>

<div>� � � � � � � � � � � � � � � � {pattern,&lt;&lt;&quot;.*&quot;&gt;&gt;},</div><div>� � � � � � � � � � � � � � � � {definition,</div><div>� � � � � � � � � � � � � � � � � � [{&lt;&lt;&quot;ha-mode&quot;&gt;&gt;,&lt;&lt;&quot;exactly&quot;&gt;&gt;},</div>

<div>� � � � � � � � � � � � � � � � � � �{&lt;&lt;&quot;ha-params&quot;&gt;&gt;,2}]},</div><div>� � � � � � � � � � � � � � � � {priority,0}],</div><div>� � � � � � � � � � � � � � � �[{&lt;7111.3424.0&gt;,&lt;7111.3423.0&gt;},</div>

<div>� � � � � � � � � � � � � � � � {&lt;7111.8011.82&gt;,&lt;7111.8010.82&gt;},</div><div>� � � � � � � � � � � � � � � � {&lt;0.27964.278&gt;,&lt;0.27962.278&gt;}]}]}},</div><div>� � � � � � � � � {restart_type,temporary},</div>

<div>� � � � � � � � � {shutdown,4294967295},</div><div>� � � � � � � � � {child_type,worker}]</div></div><div><br></div><div>Thanks!</div><span class="HOEnZb"><font color="#888888"><div>Chris</div></font></span></div>
</blockquote></div><br></div>