<html>
  <head>

    <meta http-equiv="content-type" content="text/html; charset=ISO-8859-1">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    We are seeing weird issues with RabbmitMQ and CPU/Memory. Basically,
    we run tests locally and on our build server. In both cases, we
    create a couple of queues, push messages through (not many, maybe a
    few hundred), and consume them. This works fine for a few days.<br>
    <br>
    Then, all of a sudden, RabbitMQ goes nuts. It consumes all available
    CPU and memory until it crashes the server. As far as we can tell,
    nothing is different right before this happens. We have to manually
    kill RabbitMQ, and when it comes back up, the queue has less than 10
    messages. The last time this happened, the only thing in the log was
    "Mnesia is overloaded."<br>
    <br>
    This happens both locally on a MacPro (10.7.3) and on our build
    server (Ubuntu 10.04).<br>
    <br>
    These images are from munin, and give an idea of what's going on:<br>
    <br>
    <a class="moz-txt-link-freetext" href="http://dl.dropbox.com/u/15440955/rabbitmq-cpu.png">http://dl.dropbox.com/u/15440955/rabbitmq-cpu.png</a><br>
    <a class="moz-txt-link-freetext" href="http://dl.dropbox.com/u/15440955/rabbitmq-memory.png">http://dl.dropbox.com/u/15440955/rabbitmq-memory.png</a><br>
    <br>
    We are looking for help on how to debug this problem. We cannot
    directly reproduce the problem, but it happens every couple of days.<br>
    <br>
    Here is our setup on the build server:<br>
    <br>
    <blockquote>$ sudo rabbitmqctl status<br>
      Status of node 'rabbit@ci-rabbitmq' ...<br>
      [{pid,31302},<br>
      &nbsp;{running_applications,[{rabbit,"RabbitMQ","2.7.1"},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {os_mon,"CPO&nbsp; CXC 138 46","2.2.4"},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {sasl,"SASL&nbsp; CXC 138 11","2.1.8"},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {mnesia,"MNESIA&nbsp; CXC 138 12","4.4.12"},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {stdlib,"ERTS&nbsp; CXC 138 10","1.16.4"},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {kernel,"ERTS&nbsp; CXC 138 10","2.13.4"}]},<br>
      &nbsp;{os,{unix,linux}},<br>
      &nbsp;{erlang_version,"Erlang R13B03 (erts-5.7.4) [source] [64-bit]
      [smp:4:4] [rq:4] [async-threads:30] [h<br>
      ipe] [kernel-poll:true]\n"},<br>
      &nbsp;{memory,[{total,40501088},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {processes,15379528},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {processes_used,15355904},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {system,25121560},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {atom,1113129},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {atom_used,1103706},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {binary,8548768},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {code,11903849},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {ets,1436704}]},<br>
      &nbsp;{vm_memory_high_watermark,0.19999999923056544},<br>
      &nbsp;{vm_memory_limit,207944908}]<br>
      ...done.<br>
    </blockquote>
    <br>
    And here is our setup on the MacPro:<br>
    <br>
    <blockquote>Status of node rabbit@yoshi ...<br>
      [{pid,70356},<br>
      &nbsp;{running_applications,[{rabbit,"RabbitMQ","2.7.1"},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {mnesia,"MNESIA&nbsp; CXC 138 12","4.6"},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {os_mon,"CPO&nbsp; CXC 138 46","2.2.8"},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {sasl,"SASL&nbsp; CXC 138 11","2.2"},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {stdlib,"ERTS&nbsp; CXC 138 10","1.18"},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {kernel,"ERTS&nbsp; CXC 138 10","2.15"}]},<br>
      &nbsp;{os,{unix,darwin}},<br>
      &nbsp;{erlang_version,"Erlang R15B (erts-5.9) [source] [64-bit]
      [smp:16:16] [async-threads:30] [hipe] [kernel-poll:true]\n"},<br>
      &nbsp;{memory,[{total,39776688},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {processes,13068508},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {processes_used,13068480},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {system,26708180},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {atom,504409},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {atom_used,475853},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {binary,8659336},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {code,11916223},<br>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {ets,1464712}]},<br>
      &nbsp;{vm_memory_high_watermark,0.3999999999026046},<br>
      &nbsp;{vm_memory_limit,3285576908}]<br>
      ...done.<br>
    </blockquote>
    <br>
  </body>
</html>