<div dir="ltr">Hello, <br><br>we are currently experiencing some (for us) unexaplainable behaviour with shovel plugin. <br><br>Before, I enter into the details, let me first outline our setup. <br><br>We have a set of RabbitMQ Servers hosted in the cloud, where incoming messages are queued. On those servers we then have the shovel plugin running, which distributes the incoming messages to a set of RabbitMQ Servers in our local datacenter. <br>
The configuration of the shovel does not directly specifiy a RabbitMQ Server as its destination, but a load balancer, which then distributes to the servers in our local datacenter. <br><br>Since a few days we are now encountering the following Problem: <br>
The queues on our cloud servers reach (and pass) the Memory watermarks, because of Unacknowledged Messages. The queue size of ready messages is almost constantly on 0 (i.e., messages are delivered as fast as published) however the unacknowledged messages keep growing. <br>
On the other side, at the same time the statistics on our local servers show, that messages are confirmed almost as fast as published. <br><br>This leads to the fact, that we have on the destination servers a total of two hanful of messages that are not yet confirmed, however on the source servers we have millions of messages that are waiting for confirmation (acknowledgement)<br>
<br>We would expect with some threshold that<br>delivery rate on source = publish rate on destination (which is the case)<br>confirm rate on destination = acknowledge rate on source (which shows considerable difference)<br>
<br>Does anyone have an idea or suggestion what could be the reason for this? Is it a bad idea to have load balancer as destination in the shovel, or should that work fine? Network issue?<br><br>Here some more details on our shovel setup: <br>
ack_mode=on_confirm<br>prefetch_count=0 (default)<br>reconnect_delay=5<br><br><br>Thanks for advance for any hint or discussion point, <br>Regards<br>Claire <span style="color:rgb(34,34,34)"><span>  <span>    </span> <span>    </span></span></span><br>
<div dir="ltr"><div style="font-family:arial,sans-serif"><font color="#222222">    </font><span style="color:rgb(34,34,34)">    <span>  <span>    </span>  <span>    </span></span></span><br><span style="color:rgb(0,137,201)"><font color="#0000ff">           <span>    </span>     </font></span><br>
<div><font style="color:rgb(80,0,80)" color="#0089c9" face="arial, sans-serif"><br></font><span style="font-size:x-small"><font color="#500050">                 </font><span style="color:rgb(80,0,80)">  </span><span style="color:rgb(80,0,80)">   </span><font color="#500050">   </font><font color="#000000"></font></span><font color="#000000"><br>
<span style="font-size:x-small"><span>    <span>    <span>    <span>  <span>      </span> <span>    </span></span></span></span></span></span><font style="font-size:x-small"> </font><br><span style="font-size:x-small">    <span>    <span>    <span>  <span>    </span>   <span>    </span></span></span></span><br>
</span></font></div></div></div>
</div>