
<html dir="ltr">

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style id="owaParaStyle" type="text/css">P {margin-top:0;margin-bottom:0;}</style>

</head>

<body ocsi="0" fpstyle="1">

<div style="direction: ltr;font-family: Arial;color: #000000;font-size: 10pt;"><font face="Courier New"><font face="Arial">I am having an issue where I am pushing data to queues and after some point, a particular queue stop batching the in-memory data to disk,

 it appears.&nbsp; In the included data below, the queue in question is queue E.&nbsp; As seen from the backing_queue_status, queue E has

</font></font><font face="Courier New"><font face="Arial"><font face="Courier New">{ram_msg_count,396922}

<font face="Arial">and </font></font></font></font><font face="Courier New"><font face="Arial"><font face="Courier New"><font face="Arial"><font face="Courier New">{persistent_count,2572735}.&nbsp;

<font face="Arial">In the case of queue C, which contains more messages, none of them are residing in memory.<br>

<br>

I have a rabbitmq.config as follows:<br>

<font face="Courier New">[<br>

&nbsp; {rabbit, [ {hipe_compile, false},<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {collect_statistics_interval, 10000},<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {disk_free_limit, 50000000},<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {tcp_listeners, [5678]}<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ] },<br>

&nbsp; {rabbitmq_management_agent, [ {force_fine_statistics, false}<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ] }<br>

].</font><br>

</font></font></font><br>

<font face="Arial">It appears that at some point the flushing stops and then once the

</font></font></font></font><font face="Courier New"><font face="Arial"><font face="Courier New"><font face="Arial"><span style="color: rgb(51, 51, 51); font-family: 'Courier New', Courier, monospace; font-size: small; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: 18px; orphans: auto; text-align: left; text-indent: 0px; text-transform: none; white-space: nowrap; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); display: inline !important; float: none;">vm_memory_high_watermark

<font color="000000" face="Arial">is hit, I get a message informing me.<br>

<br>

<font color="000000">My question is two-<font color="000000">fol<font color="000000">d:<br>

<font color="000000">&nbsp; 1) Has this been seen before<font color="000000">/is there a solution already out there<font color="000000">?<br>

<font color="000000">&nbsp; 2) Is there a configuration parameter that tells rabbitmq to write messages immediately to disk instead of buffering to memory first?<br>

</font></font></font></font></font></font></font></font></span></font></font></font></font><font face="Courier New"><font face="Arial"><font face="Courier New"><font face="Arial"><span style="color: rgb(51, 51, 51); font-family: 'Courier New', Courier, monospace; font-size: small; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: 18px; orphans: auto; text-align: left; text-indent: 0px; text-transform: none; white-space: nowrap; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); display: inline !important; float: none;"><font color="000000" face="Arial"><font color="000000"><font color="000000"><font color="000000"><font color="000000"><font color="000000"><font color="000000"><font color="000000"><span style="color: rgb(51, 51, 51); font-family: 'Courier New', Courier, monospace; font-size: small; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: 18px; orphans: auto; text-align: left; text-indent: 0px; text-transform: none; white-space: nowrap; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); display: inline !important; float: none;"></span></font></font></font></font></font></font></font></font></span></font><br>

<br>

<br>

<br>

<b><font size="4">DATA</font></b><br>

<br>

</font></font><u><font face="Arial"><b>Queues on /:</b></font></u><br>

<b>name&nbsp;&nbsp;&nbsp; durable&nbsp; msg_ready&nbsp;&nbsp;&nbsp; msg_unackd&nbsp;&nbsp; messages&nbsp;&nbsp;&nbsp; consumers&nbsp;&nbsp;&nbsp; active_consumers&nbsp;&nbsp;&nbsp; memory</b><br>

A&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; true&nbsp;&nbsp;&nbsp;&nbsp; 962&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 962&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 230848&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;

<br>

B&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; true&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 22240&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;

<br>

C&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; true&nbsp;&nbsp;&nbsp;&nbsp; 7688286&nbsp;&nbsp;&nbsp; &nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7688286&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 973696&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;

<br>

D&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; true&nbsp;&nbsp;&nbsp;&nbsp; 3847206&nbsp;&nbsp;&nbsp; &nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3847206&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4120112&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;

<br>

E&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; true&nbsp;&nbsp;&nbsp;&nbsp; 2572735&nbsp;&nbsp;&nbsp; &nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2572735&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 367917336&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;

<br>

F&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; true&nbsp;&nbsp;&nbsp;&nbsp; 9334&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9334&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4120112&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;

</font><br>

<br>

<div><br>

<u><b>backing_queue_status</b></u><br>

<font face="Courier New"><b>A</b>&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; <br>

[{q1,0}, {q2,0}, {delta,{delta,0,0,0}}, {q3,962}, {q4,0}, {len,962}, {pending_acks,0}, {target_ram_count,infinity}, {ram_msg_count,0}, {ram_ack_count,0}, {next_seq_id,962}, {persistent_count,0}, {avg_ingress_rate,0.0}, {avg_egress_rate,0.0}, {avg_ack_ingress_rate,0.0},

 {avg_ack_egress_rate,0.0}]<br>

<br>

<b>B&nbsp;</b>&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; <br>

[{q1,0}, {q2,0}, {delta,{delta,0,0,0}}, {q3,0}, {q4,0}, {len,0}, {pending_acks,0}, {target_ram_count,infinity}, {ram_msg_count,0}, {ram_ack_count,0}, {next_seq_id,2}, {persistent_count,0}, {avg_ingress_rate,0.0}, {avg_egress_rate,0.0}, {avg_ack_ingress_rate,0.0},

 {avg_ack_egress_rate,0.0}]<br>

<br>

<b>C&nbsp;</b>&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; <br>

[{q1,0}, {q2,15}, {delta,{delta,16384,7688256,7704640}}, {q3,15}, {q4,0}, {len,7688286}, {pending_acks,0}, {target_ram_count,infinity}, {ram_msg_count,0}, {ram_ack_count,0}, {next_seq_id,7704655}, {persistent_count,7688286}, {avg_ingress_rate,0.0}, {avg_egress_rate,0.0},

 {avg_ack_ingress_rate,0.0}, {avg_ack_egress_rate,0.0}]<br>

<br>

<b>D</b>&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; <br>

[{q1,0}, {q2,38}, {delta,{delta,16384,3830784,3847168}}, {q3,16384}, {q4,0}, {len,3847206}, {pending_acks,0}, {target_ram_count,infinity}, {ram_msg_count,0}, {ram_ack_count,0}, {next_seq_id,3847206}, {persistent_count,0}, {avg_ingress_rate,0.0}, {avg_egress_rate,0.0},

 {avg_ack_ingress_rate,0.0}, {avg_ack_egress_rate,0.0}]<br>

<br>

<b>E</b>&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; <br>

[{q1,0}, {q2,45}, {delta,{delta,1671936,2138780,3810716}}, {q3,36988}, {q4,396922}, {len,2572735}, {pending_acks,0}, {target_ram_count,infinity}, {ram_msg_count,396922}, {ram_ack_count,0}, {next_seq_id,3810761}, {persistent_count,2572735}, {avg_ingress_rate,0.0},

 {avg_egress_rate,0.0}, {avg_ack_ingress_rate,0.0}, {avg_ack_egress_rate,0.0}]<br>

<br>

<b>F&nbsp;</b>&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; <br>

[{q1,0}, {q2,0}, {delta,{delta,undefined,0,undefined}}, {q3,9334}, {q4,0}, {len,9334}, {pending_acks,0}, {target_ram_count,infinity}, {ram_msg_count,0}, {ram_ack_count,0}, {next_seq_id,17426}, {persistent_count,9334}, {avg_ingress_rate,0.0}, {avg_egress_rate,0.0},

 {avg_ack_ingress_rate,0.0}, {avg_ack_egress_rate,0.0}]</font><br>

<br>

<div style="font-family:Tahoma; font-size:13px"><font style="font-family:Arial" size="1"><font size="2"><span style="font-weight:bold"><br>

<br>

Logan Rodrian</span></font></font><font size="1"><span style="font-family:Arial; color:rgb(128,128,128)"></span><br>

</font></div>

</div>

</div>

</body>

</html>