<div dir="ltr">Thanks for your note regarding the scheduler.<div><br><div>Indeed the performance doubled once I set +sfwi flag to 1. I could achieve 40KHZ inter-node instead of 20KHZ (Expected 100KHZ)</div><div>I will try to play with other scheduler flags and see what will happen</div>
<div><br></div><div>Thanks again. I would appreciate updating me if you got the chance to have more info related to this inter-node bottleneck.</div></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Apr 17, 2014 at 4:56 PM, Matthias Radestock <span dir="ltr"><<a href="mailto:matthias@rabbitmq.com" target="_blank">matthias@rabbitmq.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">On 15/04/14 14:20, joseph rouphael wrote:<br>
</div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">
On Mon, Apr 14, 2014 at 12:00 PM, Matthias Radestock<br></div><div class="">
<<a href="mailto:matthias@rabbitmq.com" target="_blank">matthias@rabbitmq.com</a> <mailto:<a href="mailto:matthias@rabbitmq.com" target="_blank">matthias@rabbitmq.com</a>><u></u>> wrote:<br>
    What happens when you run the above test with both nodes on the same<br>
    machine?<br>
<br>
The result is almost the same: Fluctuating between 10 and 23KHZ<br>
</div></blockquote>
<br>
Thanks for running all these tests. I've reproduced your observations.<br>
<br>
What we are seeing here is, at least partially, an issue with the Erlang scheduler.<br>
<br>
I noticed that when running the test with PerfTest, single producer, single consumer, two nodes, the consuming node was using 100% CPU, i.e. the equivalent of a single core. That is usually an indication of an Erlang scheduler issue since there is an appreciable degree of parallelism that should be exploitable.<br>

<br>
For this particular test I managed to double performance by supplying the "+swt very_low" or "+sfwi 1" flags to Erlang via RABBITMQ_SERVER_ERL_ARGS.<br>
<br>
So these flags, plus the other +s... flags of the Erlang VM, are worth playing with.<span class="HOEnZb"><font color="#888888"><br>
<br>
Matthias.<br>
</font></span></blockquote></div><br></div>