<div dir="ltr"><p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">I am facing a performance bottleneck on the inter-node connection between two nodes in a cluster.</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica;min-height:14.0px"><br></p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">Cluster configuration is as follow:</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica;min-height:14.0px"><br></p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">Nodes: 2 (node1 and node2)</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">OS: RHEL6</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">RabbitMQ version: 3.3.0</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">Erlang version: R16B03</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">rabbitmq.config:</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica"><span class="Apple-tab-span" style="white-space:pre"> </span>[{rabbit,</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">  <span class="Apple-tab-span" style="white-space:pre">       </span>[</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">    <span class="Apple-tab-span" style="white-space:pre">     </span>{cluster_nodes, {['rabbit@node1', 'rabbit@node2'], disc}},</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">    <span class="Apple-tab-span" style="white-space:pre">     </span>{hipe_compile, true},</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">    <span class="Apple-tab-span" style="white-space:pre">     </span>{delegate_count, 32},</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">    <span class="Apple-tab-span" style="white-space:pre">     </span>{loopback_users, []}</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">  <span class="Apple-tab-span" style="white-space:pre">       </span>]</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica"><span class="Apple-tab-span" style="white-space:pre"> </span>}].</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica;min-height:14.0px"><br></p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">Queues are located on node1.</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica;min-height:14.0px"><br></p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">When producing/consuming messages of 1KB on the same node (node 1), I am able to achieve up to 100K TPS, even more.</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica;min-height:14.0px"><br></p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">If I produce messages on node 2, and consume messages from node 1; I am not able to hit more then 15K TPS. Knowing that the CPU load on the two nodes is very relaxed (90% idle), and no bottleneck on the network bandwidth between the nodes.</p>

<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica;min-height:14.0px"><br></p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">The same, if I produce on node 1, and consume on node 2; I am not able to hit more then 15K TPS</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica;min-height:14.0px"><br></p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">I am suspecting a limitation on the inter-node connection between the nodes.</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica"><br></p><p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">Is there a way to create multiple links between the nodes to scale up?</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">If not possible to create multiple links, Is there a way to optimize the link performance?</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">Is there something else I can do to increase the performance between nodes?</p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica;min-height:14.0px"><br></p>
<p style="margin:0.0px 0.0px 0.0px 0.0px;font:12.0px Helvetica">Thanks for your help.</p></div>