<div dir="ltr">We saw similar behavior mostly though related to latency issues between remote sites which actually caused some crashes due to memory and load (we had almost 3 million messages backlogged and shovel went "WTF" when we started it up). �We ended up setting a prefetch of 1500 messages, and these problems went away. �We also ended up using x-consistent-hash to multiplex the shoveling to a remote system, which also helped. �We didn't have a capacity issue so much as a latency issue. �SO I HIGHLY recommend setting a prefetch that's not unlimited if you're doing WAN replication,<div>
<br></div><div>Jason</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Feb 27, 2014 at 6:31 AM, Simon MacMullen <span dir="ltr"><<a href="mailto:simon@rabbitmq.com" target="_blank">simon@rabbitmq.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">On 27/02/14 12:11, Claire Fautsch wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Probably this will not really solve the situation, as we will see then<br>
the messages waiting as "Ready" instead of as "Unacknowledged"<br>
</blockquote>
<br></div>
Quite possibly. But it will keep memory use in your shovel much more controlled, which has to be a good thing.<div class=""><br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
but on<br>
the other hand, maybe it avoids the shovel connections to the<br>
destination brokers to get in a "flow" or even "blocked" state, where<br>
the publishs are limited. (any opinion on this?)<br>
</blockquote>
<br></div>
Well, if the publishing connection is in "flow" state then that just means that it would like to publish faster, but something (the downstream queue probably) can't keep up.<br>
<br>
Ultimately you probably need more capacity in your destination brokers, if the source brokers are backing up.<div class="im HOEnZb"><br>
<br>
Cheers, Simon<br>
<br>
-- <br>
Simon MacMullen<br>
RabbitMQ, Pivotal<br></div><div class="HOEnZb"><div class="h5">
______________________________<u></u>_________________<br>
rabbitmq-discuss mailing list<br>
<a href="mailto:rabbitmq-discuss@lists.rabbitmq.com" target="_blank">rabbitmq-discuss@lists.<u></u>rabbitmq.com</a><br>
<a href="https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss" target="_blank">https://lists.rabbitmq.com/<u></u>cgi-bin/mailman/listinfo/<u></u>rabbitmq-discuss</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr">Jason McIntosh<br><a href="https://github.com/jasonmcintosh/" target="_blank">https://github.com/jasonmcintosh/</a><br>573-424-7612</div>

</div>