Hi,&nbsp;<div><br></div><div>I just wanted to mention that we are seeing the same behavior, but we don't have any mirrored queues. We have had to disable the management interface and the memory usage gradually dropped.</div><div><br></div><div>We are using 3.1.1 on R13B04 on some machines, and a few others with Erlang R16B.</div><div><br></div><div>I looked into the code, and it creates some ets tables in the rabbit_mgmt_db module. The first snippet is memory usage with the management plugin:</div><div><br></div><div><blockquote style="margin: 0 0 0 40px; border: none; padding: 0px;"><div><div>&nbsp;{memory,</div><div>&nbsp; &nbsp; &nbsp;[{total,1417822136},</div><div>&nbsp; &nbsp; &nbsp; {connection_procs,37788152},</div><div>&nbsp; &nbsp; &nbsp; {queue_procs,6659896},</div><div>&nbsp; &nbsp; &nbsp; {plugins,686592},</div><div>&nbsp; &nbsp; &nbsp; {other_proc,11236576},</div><div>&nbsp; &nbsp; &nbsp; {mnesia,855184},</div><div>&nbsp; &nbsp; &nbsp; {mgmt_db,935311000},</div><div>&nbsp; &nbsp; &nbsp; {msg_index,7976224},</div><div>&nbsp; &nbsp; &nbsp; {other_ets,70559680},</div><div>&nbsp; &nbsp; &nbsp; {binary,13529704},</div><div>&nbsp; &nbsp; &nbsp; {code,19001963},</div><div>&nbsp; &nbsp; &nbsp; {atom,1601817},</div><div>&nbsp; &nbsp; &nbsp; {other_system,312615348}]},</div></div></blockquote><div><br></div><div>This second snippet is after disabling the management plugin and restarting one of the nodes:</div><div>&nbsp;</div></div><blockquote style="margin: 0 0 0 40px; border: none; padding: 0px;">[{total,190412936},</blockquote><blockquote style="margin: 0 0 0 40px; border: none; padding: 0px;"> {memory,<br>          {connection_procs,34512200},<br>           {queue_procs,8970352},<br>           {plugins,0},<br>           {other_proc,9246776},<br>           {mnesia,794776},<br>           {mgmt_db,0},<br>           {msg_index,1650736},<br>           {other_ets,6406656},<br>           {binary,63363448},<br>           {code,16232973},<br>           {atom,594537},<br>           {other_system,48640482}]}</blockquote><div><br></div><div>You'll notice that the memory used by mgmt_db is not 0 and other_system is around 48MB, while before mgmt_db was over 935MB, and other_system over 300MB. Unfortunately, I don't have any growth trends for the DB size as we have had to disable management on all nodes and we weren't tracking this memory usage.</div><div><br></div><div>I'm not very familiar with RabbitMQ, but if I have some time I will try and dig more deeply into it and run some tests.</div><div><br></div><div>- Joe</div><div><br>On Saturday, June 15, 2013 10:09:21 AM UTC+8, Travis Mehlinger wrote:<blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;">We recently upgraded RabbitMQ from 3.0.4 to 3.1.1 after noticing two bug fixes in 3.1.0 related to our RabbitMQ deployment:<div><ul><li><span style="color:rgb(0,0,0);white-space:pre-wrap">25524 fix memory leak in mirror queue slave with many short-lived publishing </span><span style="color:rgb(0,0,0);white-space:pre-wrap">channel</span></li><li><span style="line-height:normal;white-space:pre-wrap;color:rgb(0,0,0)">25290 fix per-queue memory leak recording stats for mirror queue slaves</span></li></ul><div>However, in our case, it seems that the management plugin may still have a memory leak. We have a monitoring agent that hits the REST API to gather information about the broker (number of queues, queue depth, etc.). With the monitoring agent running and making requests against the API, memory consumption steadily increased; when we stopped the agent, memory consumption in the management plugin leveled off.</div></div><div><br></div><div>Here a couple graphs detailing memory consumption in the broker (the figures are parsed from <font face="courier new, monospace">rabbitmqctl report</font><font face="arial, sans-serif">). The first graph shows the ebb and flow of memory consumption in a number of components and the second shows just consumption by the management plugin. You can see pretty clearly where we stopped the monitoring agent at 1:20.</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif"><a href="https://dl.dropboxusercontent.com/u/7022167/Screenshots/n-np6obt-m9f.png" target="_blank">https://dl.dropboxusercontent.<wbr>com/u/7022167/Screenshots/n-<wbr>np6obt-m9f.png</a><br></font></div><div><font face="arial, sans-serif"><a href="https://dl.dropboxusercontent.com/u/7022167/Screenshots/an6dpup33xvx.png" target="_blank">https://dl.dropboxusercontent.<wbr>com/u/7022167/Screenshots/<wbr>an6dpup33xvx.png</a><br></font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">We have two clustered brokers, both running RabbitMQ 3.1.1 on Erlang R14B-04.1. There are typically around 200 queues, about 20 of which are mirrored. There are generally about 200 consumers. Messages are rarely queued and most queues typically sit idle.</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">I'll be happy to provide any further diagnostic information.</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">Thanks!</font></div></blockquote></div>