<br><div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Are you using Linux? If so, did the Linux OOM killer maybe zap the Erlang node?<br>
</blockquote><div><br>That&#39;s what I thought, but can&#39;t find any trace of it. <br><br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
You could try this:<br><br>$ sudo sysctl vm.overcommit_memory=2<br>vm.overcommit_memory = 2<br></blockquote><div><br>Interesting, this helped a bit. Got up to 2.7GB in persister, then killed the Erlang node once again. No kernel logs, no nothing. Grrr!<br>
<br>Another interesting observation (not surprising), while swapping to disk, the accept throughput drops to the floor. I&#39;m sending messages with ack&#39;s disabled, so I&#39;m assuming the vast majority simply never make it to the queue, here&#39;s a quick snapshot (9th column is the KBin .. top half shows swapping to disk, then once some memory is available it once again resumes at ~3.5mbs/):<br>
<br>&nbsp;&nbsp; 4&nbsp;&nbsp; 3&nbsp; 2191&nbsp;&nbsp;&nbsp; 995&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 9224&nbsp;&nbsp; 1036&nbsp;&nbsp; 1458&nbsp;&nbsp; 1098&nbsp;&nbsp;&nbsp;&nbsp; 36&nbsp;&nbsp;&nbsp;&nbsp; 562<br>&nbsp;&nbsp; 2&nbsp;&nbsp; 2&nbsp; 1257&nbsp;&nbsp;&nbsp; 212&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 6636&nbsp;&nbsp;&nbsp; 599&nbsp;&nbsp;&nbsp;&nbsp; 49&nbsp;&nbsp;&nbsp;&nbsp; 49&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29<br>&nbsp;&nbsp; 0&nbsp;&nbsp; 0&nbsp;&nbsp; 305&nbsp;&nbsp;&nbsp;&nbsp; 90&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 2399&nbsp;&nbsp;&nbsp; 148&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6<br>
&nbsp;&nbsp; 7&nbsp;&nbsp; 7&nbsp; 1247&nbsp;&nbsp;&nbsp; 336&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 7323&nbsp;&nbsp;&nbsp; 523&nbsp;&nbsp;&nbsp;&nbsp; 87&nbsp;&nbsp;&nbsp;&nbsp; 79&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42<br>&nbsp;&nbsp; 3&nbsp;&nbsp; 3&nbsp; 2729&nbsp;&nbsp; 1023&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 8192&nbsp;&nbsp; 1137&nbsp;&nbsp;&nbsp; 986&nbsp;&nbsp;&nbsp; 901&nbsp;&nbsp;&nbsp;&nbsp; 34&nbsp;&nbsp;&nbsp;&nbsp; 481<br>&nbsp;&nbsp; 6&nbsp;&nbsp; 6&nbsp; 1024&nbsp;&nbsp;&nbsp; 320&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 10760&nbsp;&nbsp;&nbsp; 620&nbsp;&nbsp;&nbsp; 248&nbsp;&nbsp;&nbsp; 220&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp; 119<br>
&nbsp;&nbsp; 2&nbsp;&nbsp; 2&nbsp;&nbsp; 630&nbsp;&nbsp;&nbsp; 146&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 7544&nbsp;&nbsp;&nbsp; 596&nbsp;&nbsp;&nbsp; 824&nbsp;&nbsp;&nbsp; 667&nbsp;&nbsp;&nbsp;&nbsp; 28&nbsp;&nbsp;&nbsp;&nbsp; 354<br>&nbsp;&nbsp; 0&nbsp;&nbsp; 0&nbsp; 1617&nbsp;&nbsp;&nbsp; 683&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 3712&nbsp;&nbsp;&nbsp; 918&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1<br>&nbsp;&nbsp; 2&nbsp;&nbsp; 2&nbsp;&nbsp; 889&nbsp;&nbsp;&nbsp; 125&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 9280&nbsp;&nbsp;&nbsp; 881&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10<br>
#&lt;--------CPU--------&gt;&lt;----------Disks-----------&gt;&lt;----------Network----------&gt;<br>#cpu sys inter&nbsp; ctxsw KBRead&nbsp; Reads KBWrit Writes&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp; KBOut&nbsp; PktOut<br>&nbsp;&nbsp; 9&nbsp;&nbsp; 8&nbsp;&nbsp; 902&nbsp;&nbsp;&nbsp; 355&nbsp;&nbsp;&nbsp;&nbsp; 94&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp; 11713&nbsp;&nbsp;&nbsp; 775&nbsp;&nbsp;&nbsp;&nbsp; 17&nbsp;&nbsp;&nbsp;&nbsp; 21&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 19<br>
&nbsp; 37&nbsp; 24&nbsp; 1807&nbsp;&nbsp;&nbsp; 478&nbsp;&nbsp;&nbsp; 503&nbsp;&nbsp;&nbsp;&nbsp; 33&nbsp;&nbsp; 2974&nbsp;&nbsp;&nbsp; 145&nbsp;&nbsp;&nbsp; 172&nbsp;&nbsp;&nbsp; 153&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 82<br>&nbsp; 21&nbsp; 20&nbsp; 1221&nbsp;&nbsp;&nbsp; 944&nbsp;&nbsp;&nbsp; 448&nbsp;&nbsp;&nbsp;&nbsp; 14&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 1600&nbsp;&nbsp; 1187&nbsp;&nbsp;&nbsp;&nbsp; 40&nbsp;&nbsp;&nbsp;&nbsp; 589<br>&nbsp;&nbsp; 4&nbsp;&nbsp; 3&nbsp; 2443&nbsp;&nbsp; 1881&nbsp;&nbsp;&nbsp; 669&nbsp;&nbsp;&nbsp;&nbsp; 21&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 2750&nbsp;&nbsp; 2289&nbsp;&nbsp;&nbsp;&nbsp; 78&nbsp;&nbsp;&nbsp; 1169<br>
&nbsp;&nbsp; 0&nbsp;&nbsp; 0&nbsp; 3624&nbsp;&nbsp; 2931&nbsp;&nbsp; 1865&nbsp;&nbsp;&nbsp;&nbsp; 58&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 4444&nbsp;&nbsp; 3772&nbsp;&nbsp;&nbsp; 126&nbsp;&nbsp;&nbsp; 1926<br>&nbsp;&nbsp; 0&nbsp;&nbsp; 0&nbsp; 2060&nbsp;&nbsp; 1660&nbsp;&nbsp; 1726&nbsp;&nbsp;&nbsp;&nbsp; 54&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 2704&nbsp;&nbsp; 2148&nbsp;&nbsp;&nbsp;&nbsp; 71&nbsp;&nbsp;&nbsp; 1059<br>&nbsp;&nbsp; 2&nbsp;&nbsp; 1&nbsp; 2872&nbsp;&nbsp; 2361&nbsp;&nbsp; 1791&nbsp;&nbsp;&nbsp;&nbsp; 57&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 3728&nbsp;&nbsp; 2963&nbsp;&nbsp;&nbsp;&nbsp; 99&nbsp;&nbsp;&nbsp; 1497<br>
&nbsp;&nbsp; 2&nbsp;&nbsp; 1&nbsp; 3299&nbsp;&nbsp; 2679&nbsp;&nbsp; 1821&nbsp;&nbsp;&nbsp;&nbsp; 61&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 3927&nbsp;&nbsp; 3325&nbsp;&nbsp;&nbsp; 112&nbsp;&nbsp;&nbsp; 1688<br><br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Also take a look at overcommit_ratio and swappiness.<br>
</blockquote><div><br>Swappiness is at default (60), and overcommit_ratio at 50.<br><br></div></div><br>