<div dir="ltr">Certainly. There is overhead.<div><br></div><div>But if there is roughly 2 gigs of memory "in use" according to RabbitMQ's management plugin, with some 6 gigs free... and equally as much memory on the system in general... are you suggesting that that 2 gigs of messages is also consuming 6 gigs of overhead? Or that I need more than 6 gigs of free space in RabbitMQ at all times?</div>
</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Sun, Feb 16, 2014 at 2:22 PM, Alvaro Videla <span dir="ltr"><<a href="mailto:videlalvaro@gmail.com" target="_blank">videlalvaro@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Erlang processes also consume memory, atoms consume memory as well,<br>
plus a data structure here and there I would say.<br>
<div><div class="h5"><br>
On Sun, Feb 16, 2014 at 10:04 PM, Greg Poirier <<a href="mailto:greg.poirier@opower.com">greg.poirier@opower.com</a>> wrote:<br>
> So I am using the management interface to verify that the memory utilization<br>
> is as I expect. We do not page messages to disk (set the paging watermark to<br>
> 1.1) so the management plugin should be reporting a number similar to<br>
> message size * number of messages.<br>
><br>
><br>
> On Sunday, February 16, 2014, Alvaro Videla <<a href="mailto:videlalvaro@gmail.com">videlalvaro@gmail.com</a>> wrote:<br>
>><br>
>> What do you mean by RabbitMQ inaccurately reporting the memory that is<br>
>> using?<br>
>><br>
>> On Sun, Feb 16, 2014 at 8:57 PM, Greg Poirier <<a href="mailto:greg.poirier@opower.com">greg.poirier@opower.com</a>><br>
>> wrote:<br>
>> > If Rabbit inaccurately reports the amount of memory it's using, how are<br>
>> > we<br>
>> > to provision systems? With some understanding of normal load, however<br>
>> > suboptimal the use case may be, we should have an understanding of<br>
>> > memory<br>
>> > requirements... Particularly when rabbit provided a reporting mechanism<br>
>> > to<br>
>> > confirm out expected memory usage.<br>
>> ><br>
>> > I guess I am confused.<br>
>> ><br>
>> ><br>
>> > On Sunday, February 16, 2014, Alvaro Videla <<a href="mailto:videlalvaro@gmail.com">videlalvaro@gmail.com</a>><br>
>> > wrote:<br>
>> >><br>
>> >> Hi,<br>
>> >><br>
>> >> Keep in mind that there's small memory footprint per message, even if<br>
>> >> the message has been paged to disk.<br>
>> >><br>
>> >> Regards,<br>
>> >><br>
>> >> Alvaro<br>
>> >><br>
>> >> On Sun, Feb 16, 2014 at 8:28 PM, Greg Poirier <<a href="mailto:greg.poirier@opower.com">greg.poirier@opower.com</a>><br>
>> >> wrote:<br>
>> >> > They are many small messages. Each node in the cluster has 8 gigs but<br>
>> >> > is<br>
>> >> > only using maybe 2. Is memory really the problem?<br>
>> >> ><br>
>> >> ><br>
>> >> > On Sunday, February 16, 2014, Michael Klishin<br>
>> >> > <<a href="mailto:michael.s.klishin@gmail.com">michael.s.klishin@gmail.com</a>><br>
>> >> > wrote:<br>
>> >> >><br>
>> >> >><br>
>> >> >> 2014-02-16 22:32 GMT+04:00 Greg Poirier <<a href="mailto:greg.poirier@opower.com">greg.poirier@opower.com</a>>:<br>
>> >> >>><br>
>> >> >>> In our current configuration, we have a 3-node cluster with 2 disc<br>
>> >> >>> and<br>
>> >> >>> 1<br>
>> >> >>> ram node with HA mirroring to all nodes in the cluster. In periods<br>
>> >> >>> of<br>
>> >> >>> high<br>
>> >> >>> utilization of the cluster, we are noticing frequent partitioning.<br>
>> >> >>> We<br>
>> >> >>> have<br>
>> >> >>> narrowed it down to this particular use case as none of our other<br>
>> >> >>> clusters<br>
>> >> >>> (running on the same physical hardware with the same cluster<br>
>> >> >>> configuration)<br>
>> >> >>> experience this kind of partitioning.<br>
>> >> >>><br>
>> >> >>> Is there some better way that we can configure RabbitMQ to handle<br>
>> >> >>> this<br>
>> >> >>> kind of load pattern? I understand this is perhaps not the best way<br>
>> >> >>> to<br>
>> >> >>> use<br>
>> >> >>> RabbitMQ, but it is unavoidable for the time being. Any suggestions<br>
>> >> >>> would be<br>
>> >> >>> appreciated.<br>
>> >> >><br>
>> >> >><br>
>> >> >> Short answer is: give it more RAM.<br>
>> >> >><br>
>> >> >> Relevant blog posts:<br>
>> >> >><br>
>> >> >><br>
>> >> >><br>
>> >> >><br>
>> >> >> <a href="http://blog.travis-ci.com/2013-08-08-solving-the-puzzle-of-scalable-log-processing/" target="_blank">http://blog.travis-ci.com/2013-08-08-solving-the-puzzle-of-scalable-log-processing/</a><br>

>> >> >><br>
>> >> >><br>
>> >> >><br>
>> >> >> <a href="http://www.rabbitmq.com/blog/2014/01/23/preventing-unbounded-buffers-with-rabbitmq/" target="_blank">http://www.rabbitmq.com/blog/2014/01/23/preventing-unbounded-buffers-with-rabbitmq/</a><br>

>> >> >> --<br>
>> >> >> MK<br>
>> >> >><br>
>> >> >> <a href="http://github.com/michaelklishin" target="_blank">http://github.com/michaelklishin</a><br>
>> >> >> <a href="http://twitter.com/michaelklishin" target="_blank">http://twitter.com/michaelklishin</a><br>
>> >> ><br>
>> >> ><br>
>> >> > _______________________________________________<br>
>> >> > rabbitmq-discuss mailing list<br>
>> >> > <a href="mailto:rabbitmq-discuss@lists.rabbitmq.com">rabbitmq-discuss@lists.rabbitmq.com</a><br>
>> >> > <a href="https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss" target="_blank">https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss</a><br>
>> >> ><br>
>> >> _______________________________________________<br>
>> >> rabbitmq-discuss mailing list<br>
>> >> <a href="mailto:rabbitmq-discuss@lists.rabbitmq.com">rabbitmq-discuss@lists.rabbitmq.com</a><br>
>> >><br>
><br>
><br>
> _______________________________________________<br>
> rabbitmq-discuss mailing list<br>
> <a href="mailto:rabbitmq-discuss@lists.rabbitmq.com">rabbitmq-discuss@lists.rabbitmq.com</a><br>
> <a href="https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss" target="_blank">https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss</a><br>
><br>
_______________________________________________<br>
rabbitmq-discuss mailing list<br>
<a href="mailto:rabbitmq-discuss@lists.rabbitmq.com">rabbitmq-discuss@lists.rabbitmq.com</a><br>
</div></div><a href="https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss" target="_blank">https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss</a><br>
</blockquote></div><br></div>