<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 14 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri","sans-serif";}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal>Hi All,<o:p></o:p></p><p class=MsoNormal>We are using RabbitMQ 3.1.3. It was running fine, but recently it couldn’t recover itself after the free disk space went below the threshold limit. We didn’t modify the default threshold. I have appended few excerpts from the logs, which I thought are relevant; let me know if you need any other information or logs.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Thanks in Advance!<o:p></o:p></p><p class=MsoNormal>Punit<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=INFO REPORT==== 18-Jan-2014::11:29:38 ===<o:p></o:p></p><p class=MsoNormal>accepting AMQP connection <0.6291.2> (127.0.0.1:8198 -> 127.0.0.1:5672)<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=INFO REPORT==== 18-Jan-2014::11:29:52 ===<o:p></o:p></p><p class=MsoNormal>Disk free space insufficient. Free bytes:994299904 Limit:1000000000<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 18-Jan-2014::11:29:52 ===<o:p></o:p></p><p class=MsoNormal>disk resource limit alarm set on node rabbit@localhost.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>**********************************************************<o:p></o:p></p><p class=MsoNormal>*** Publishers will be blocked until this alarm clears ***<o:p></o:p></p><p class=MsoNormal>**********************************************************<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 18-Jan-2014::11:30:10 ===<o:p></o:p></p><p class=MsoNormal>closing AMQP connection <0.6280.2> (127.0.0.1:8181 -> 127.0.0.1:5672):<o:p></o:p></p><p class=MsoNormal>connection_closed_abruptly<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>** Generic server mnesia_sync terminating<o:p></o:p></p><p class=MsoNormal>** Last message in was timeout<o:p></o:p></p><p class=MsoNormal>** When Server state == {state,[{<0.1100.2>,#Ref<0.0.16.193586>}],true}<o:p></o:p></p><p class=MsoNormal>** Reason for termination ==<o:p></o:p></p><p class=MsoNormal>** {{badmatch,{error,{file_error,"/var/lib/rabbitmq/mnesia/rabbit@localhost/LATEST.LOG",<o:p></o:p></p><p class=MsoNormal> enospc}}},<o:p></o:p></p><p class=MsoNormal> [{mnesia_sync,handle_info,2,[]},<o:p></o:p></p><p class=MsoNormal> {gen_server,handle_msg,5,[{file,"gen_server.erl"},{line,607}]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,227}]}]}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>webmachine error: path="/api/parameters/federation-upstream/%2f/LocalDir_Upstream"<o:p></o:p></p><p class=MsoNormal>{error,<o:p></o:p></p><p class=MsoNormal> {exit,<o:p></o:p></p><p class=MsoNormal> {{{badmatch,<o:p></o:p></p><p class=MsoNormal> {error,<o:p></o:p></p><p class=MsoNormal> {file_error,<o:p></o:p></p><p class=MsoNormal> "/var/lib/rabbitmq/mnesia/rabbit@localhost/LATEST.LOG",<o:p></o:p></p><p class=MsoNormal> enospc}}},<o:p></o:p></p><p class=MsoNormal> [{mnesia_sync,handle_info,2,[]},<o:p></o:p></p><p class=MsoNormal> {gen_server,handle_msg,5,[{file,"gen_server.erl"},{line,607}]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,227}]}]},<o:p></o:p></p><p class=MsoNormal> {gen_server,call,[mnesia_sync,sync,infinity]}},<o:p></o:p></p><p class=MsoNormal> [{gen_server,call,3,[{file,"gen_server.erl"},{line,188}]},<o:p></o:p></p><p class=MsoNormal> {rabbit_misc,execute_mnesia_transaction,1,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_runtime_parameters,set_any0,4,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_runtime_parameters,set_any,4,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_mgmt_wm_parameter,'-accept_content/2-fun-0-',5,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_mgmt_util,with_decode,5,[]},<o:p></o:p></p><p class=MsoNormal> {webmachine_resource,resource_call,3,[]},<o:p></o:p></p><p class=MsoNormal> {webmachine_resource,do,3,[]}]}}<o:p></o:p></p><p class=MsoNormal>=WARNING REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>Connection (<0.7261.2>) closing: internal error in channel (<0.7268.2>): shutdown<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>Connection (<0.7318.2>) closing: internal error in channel (<0.7344.2>): shutdown<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>Connection (<0.7310.2>) closing: internal error in channel (<0.7335.2>): shutdown<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>Connection (<0.7328.2>) closing: internal error in channel (<0.7353.2>): shutdown<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=INFO REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>stopped TCP Listener on [::]:5672<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>Connection (<0.7305.2>) closing: internal error in channel (<0.7323.2>): shutdown<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>AMQP connection <0.20548.1> (blocking), channel 1 - error:<o:p></o:p></p><p class=MsoNormal>shutdown<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>Non-AMQP exit reason 'shutdown'<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>AMQP connection <0.11369.2> (blocked), channel 3 - error:<o:p></o:p></p><p class=MsoNormal>shutdown<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>Non-AMQP exit reason 'shutdown'<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>AMQP connection <0.6437.2> (blocked), channel 3 - error:<o:p></o:p></p><p class=MsoNormal>shutdown<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=WARNING REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>Non-AMQP exit reason 'shutdown'<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>closing AMQP connection <0.6437.2> (127.0.0.1:8950 -> 127.0.0.1:5672):<o:p></o:p></p><p class=MsoNormal>{inet_error,enotconn}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 18-Jan-2014::14:38:54 ===<o:p></o:p></p><p class=MsoNormal>** Generic server msg_store_persistent terminating<o:p></o:p></p><p class=MsoNormal>** Last message in was {'EXIT',<0.166.0>,shutdown}<o:p></o:p></p><p class=MsoNormal>** When Server state == {msstate,<o:p></o:p></p><p class=MsoNormal> "/var/lib/rabbitmq/mnesia/rabbit@localhost/msg_store_persistent",<o:p></o:p></p><p class=MsoNormal> rabbit_msg_store_ets_index,<o:p></o:p></p><p class=MsoNormal> {state,241739,<o:p></o:p></p><p class=MsoNormal> "/var/lib/rabbitmq/mnesia/rabbit@localhost/msg_store_persistent"},<o:p></o:p></p><p class=MsoNormal> 0,#Ref<0.0.0.1083>,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> undefined,657,7536,[],<0.229.0>,245836,237642,<o:p></o:p></p><p class=MsoNormal> 249933,254030,<o:p></o:p></p><p class=MsoNormal> {set,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}},<o:p></o:p></p><p class=MsoNormal> {dict,4,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [[<<47,239,116,176,238,253,171,103,27,228,<o:p></o:p></p><p class=MsoNormal> 101,97,202,108,131,196>>|<o:p></o:p></p><p class=MsoNormal> {<0.233.0>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.1.98519756>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.13.110761503>}]],<o:p></o:p></p><p class=MsoNormal> [],<o:p></o:p></p><p class=MsoNormal> [[<<245,14,237,152,23,39,217,67,22,170,155,<o:p></o:p></p><p class=MsoNormal> 57,40,30,29,108>>|<o:p></o:p></p><p class=MsoNormal> {<0.234.0>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.1.98519756>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.13.110761503>}]],<o:p></o:p></p><p class=MsoNormal> [[<<3,56,140,195,127,215,175,32,168,21,13,<o:p></o:p></p><p class=MsoNormal> 192,178,56,76,211>>|<o:p></o:p></p><p class=MsoNormal> {<0.4047.0>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.1.98519756>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.13.110761503>}]],<o:p></o:p></p><p class=MsoNormal> [[<<71,36,220,167,246,169,123,248,249,183,<o:p></o:p></p><p class=MsoNormal> 209,118,140,198,38,8>>|<o:p></o:p></p><p class=MsoNormal> {<0.4010.0>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.1.98519756>,<o:p></o:p></p><p class=MsoNormal> #Fun<rabbit_variable_queue.13.110761503>}]],<o:p></o:p></p><p class=MsoNormal> [],[],[],[]}}},<o:p></o:p></p><p class=MsoNormal> false,16777216,<o:p></o:p></p><p class=MsoNormal> {dict,0,16,16,8,80,48,<o:p></o:p></p><p class=MsoNormal> {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],<o:p></o:p></p><p class=MsoNormal> [],[]}}}}<o:p></o:p></p><p class=MsoNormal>** Reason for termination ==<o:p></o:p></p><p class=MsoNormal>** {{badmatch,{error,{file_error,"/var/lib/rabbitmq/mnesia/rabbit@localhost/msg_store_persistent/file_summary.ets",<o:p></o:p></p><p class=MsoNormal> enospc}}},<o:p></o:p></p><p class=MsoNormal> [{rabbit_msg_store,store_file_summary,2,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_msg_store,terminate,2,[]},<o:p></o:p></p><p class=MsoNormal> {gen_server2,terminate,3,[]},<o:p></o:p></p><p class=MsoNormal> {proc_lib,wake_up,3,[{file,"proc_lib.erl"},{line,237}]}]}<o:p></o:p></p><p class=MsoNormal>** In 'terminate' callback with reason ==<o:p></o:p></p><p class=MsoNormal>** shutdown<o:p></o:p></p><p class=MsoNormal>=ERROR REPORT==== 18-Jan-2014::14:38:58 ===<o:p></o:p></p><p class=MsoNormal>** Generic server rabbit_mgmt_external_stats terminating<o:p></o:p></p><p class=MsoNormal>** Last message in was emit_update<o:p></o:p></p><p class=MsoNormal>** When Server state == {state,1024}<o:p></o:p></p><p class=MsoNormal>** Reason for termination ==<o:p></o:p></p><p class=MsoNormal>** {noproc,{gen_server,call,[rabbit_node_monitor,partitions,infinity]}}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=ERROR REPORT==== 18-Jan-2014::14:38:59 ===<o:p></o:p></p><p class=MsoNormal>webmachine error: path="/api/parameters/federation-upstream/%2f/LocalDir_Upstream"<o:p></o:p></p><p class=MsoNormal>{error,{error,badarg,<o:p></o:p></p><p class=MsoNormal> [{ets,lookup,<o:p></o:p></p><p class=MsoNormal> [rabbit_registry,<o:p></o:p></p><p class=MsoNormal> {runtime_parameter,'federation-upstream'}],<o:p></o:p></p><p class=MsoNormal> []},<o:p></o:p></p><p class=MsoNormal> {rabbit_registry,lookup_module,2,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_runtime_parameters,lookup_component,1,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_runtime_parameters,set_any0,4,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_runtime_parameters,set_any,4,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_mgmt_wm_parameter,'-accept_content/2-fun-0-',5,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_mgmt_util,with_decode,5,[]},<o:p></o:p></p><p class=MsoNormal> {webmachine_resource,resource_call,3,[]}]}}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=INFO REPORT==== 18-Jan-2014::15:20:52 ===<o:p></o:p></p><p class=MsoNormal>Error description:<o:p></o:p></p><p class=MsoNormal> {error,{could_not_write_file,"/var/lib/rabbitmq/mnesia/rabbit@localhost/cluster_nodes.config",<o:p></o:p></p><p class=MsoNormal> enospc}}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Log files (may contain more information):<o:p></o:p></p><p class=MsoNormal> /var/log/rabbitmq/rabbit@localhost.log<o:p></o:p></p><p class=MsoNormal> /var/log/rabbitmq/rabbit@localhost-sasl.log<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Stack trace:<o:p></o:p></p><p class=MsoNormal> [{rabbit_node_monitor,write_cluster_status,1,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_node_monitor,prepare_cluster_status_files,0,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit,'-boot/0-fun-1-',0,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit,start_it,1,[]},<o:p></o:p></p><p class=MsoNormal> {init,start_it,1,[]},<o:p></o:p></p><p class=MsoNormal> {init,start_em,1,[]}]<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>=INFO REPORT==== 18-Jan-2014::15:32:08 ===<o:p></o:p></p><p class=MsoNormal>Error description:<o:p></o:p></p><p class=MsoNormal> {error,corrupt_cluster_status_files,[]}<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Log files (may contain more information):<o:p></o:p></p><p class=MsoNormal> /var/log/rabbitmq/rabbit@localhost.log<o:p></o:p></p><p class=MsoNormal> /var/log/rabbitmq/rabbit@localhost-sasl.log<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Stack trace:<o:p></o:p></p><p class=MsoNormal> [{rabbit_node_monitor,'-prepare_cluster_status_files/0-fun-0-',1,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit_node_monitor,prepare_cluster_status_files,0,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit,'-boot/0-fun-1-',0,[]},<o:p></o:p></p><p class=MsoNormal> {rabbit,start_it,1,[]},<o:p></o:p></p><p class=MsoNormal> {init,start_it,1,[]},<o:p></o:p></p><p class=MsoNormal> {init,start_em,1,[]}]<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p></div></body></html>