<div dir="ltr">Hello,<div><br></div><div>While testing disk-based flow control, the queue my test client was consuming from suddenly got deleted and the user permissions appeared to get corrupted.  I was running the broker on a CentOS 6.5 VM and had recently upgraded the broker from 3.2.1 to 3.3.0.  The broker had 32 GB of available disk space with a 48 MB low watermark.  The performed the test as follows:</div><div><br></div><div>1) Start a producer that sends 4 million persistent, 10 kb messages to a durable queue</div><div>2) Wait for the producer to block due to disk-based flow control (right around 3.1 million messages)</div><div>3) Start a consumer to drain the queue (prefetch count of 8, acknowledges one message at a time), allowing the producer to continue to send messages</div><div><br></div><div>About 1 minute into step 3, the producer and consumer stopped suddenly and were disconnected about 1 minute later (the consumer received a Cancel).  The queue disappeared from the management dashboard around the same time.  About 30 seconds later, I was unable to use the dashboard at all -- my credentials appeared to be invalid and I was seeing 500 errors in the browser.</div><div><br></div><div>The 500 error was as follows:</div><div><font face="courier new, monospace">{error,badarg,</font></div><div><font face="courier new, monospace">       [{gen_event,send,2},</font></div><div><font face="courier new, monospace">        {rabbit_access_control,check_user_login,2},</font></div><div><font face="courier new, monospace">        {rabbit_mgmt_util,is_authorized,6},</font></div><div><font face="courier new, monospace">        {webmachine_resource,resource_call,3},</font></div><div><span style="font-family: 'courier new', monospace;">        {webmachine_resource,do,3}</span><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">        </font><span style="font-family: 'courier new', monospace;">{webmachine_decision_core,resource_call,1},</span></div><div><font face="courier new, monospace">        </font><span style="font-family: 'courier new', monospace;">{webmachine_decision_core,decision,1},</span></div><div><span style="font-family: 'courier new', monospace;">        </span><span style="font-family: 'courier new', monospace;">{webmachine_decision_core,handle_request,2}]}</span></div><div><span style="font-family: 'courier new', monospace;"><br></span></div><div>I ran rabbitmqctl and saw that the users and virtual hosts I had created still existed.  However, all exchanges and queues were no longer listed.  Additionally, rabbitmqctl appeared to crash whenever I ran "list_user_permissions" or "list_permissions":</div><div><div><font face="courier new, monospace">[root@pnewellrabbitmqvm ~]# rabbitmqctl list_user_permissions admin</font></div><div><font face="courier new, monospace">Listing permissions for user "admin" ...</font></div><div><font face="courier new, monospace">Error: {noproc,{gen_server2,call,</font></div><div><font face="courier new, monospace">                            [worker_pool,{next_free,<4967.1308.0>},infinity]}}</font></div></div><div><div style="font-family: 'courier new', monospace;">[root@pnewellrabbitmqvm ~]# rabbitmqctl list_permissions</div><div style="font-family: 'courier new', monospace;">Listing permissions in vhost "/" ...</div><div style="font-family: 'courier new', monospace;">Error: {noproc,{gen_server2,call,</div><div style="font-family: 'courier new', monospace;">                            [worker_pool,{next_free,<4967.1317.0>},infinity]}}</div><div style="font-family: 'courier new', monospace;"><br></div><div><font face="arial, sans-serif">The sasl.log file listed several crash reports.  It looks like the persistent message store process(?) crashed when it was reading a message from disk, which caused subsequent crashes.  I included the log output below.</font></div></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">After resetting the broker (rabbitmqctl stop_app, reset, start_app) and recreating the objects, I ran the same test again and reproduced the same issue.  This time, however, the producer had managed to finish sending its messages and the consumer had received about 1.3 million messages before the queue and permissions crashed.  I re-ran the same test 3 or 4 more times, but did not reproduce the issue.</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">Any idea what might have caused this?  My best guess is that something might have gotten corrupted when I originally performed the upgrade -- I stopped the service (/sbin/service rabbitmq-server stop), upgraded the broker and restarted it.  The broker was empty with no messages persisted at the time of the upgrade.</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">Any help would be much appreciated.</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">Thanks,</font></div><div><font face="arial, sans-serif">-Pat</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">Here's the cleaned up sasl-log output (if I took out anything important, please let me know):</font></div><div><div><font face="courier new, monospace">=CRASH REPORT==== 9-Apr-2014::18:42:05 ===</font></div><div><font face="courier new, monospace">  crasher:</font></div><div><font face="courier new, monospace">    initial call: gen:init_it/6</font></div><div><font face="courier new, monospace">    pid: <0.214.0></font></div><div><font face="courier new, monospace">    registered_name: []</font></div><div><font face="courier new, monospace">    exception exit: {{badmatch,</font></div><div><font face="courier new, monospace">                      {error,</font></div><div><font face="courier new, monospace">                       {misread,</font></div><div><font face="courier new, monospace">                        [{old_state,</font></div><div><font face="courier new, monospace">                          {client_msstate,msg_store_persistent,</font></div><div><font face="courier new, monospace">                           <<184,251,38,246,192,82,244,149,210,80,115,109,162,</font></div><div><font face="courier new, monospace">                             244,176,61>>,</font></div><div><font face="courier new, monospace">                           {dict,1,16,16,8,80,48,</font></div><div><font face="courier new, monospace">                            {[],[],[],[],'...'},</font></div><div><font face="courier new, monospace">                            {{'...'}}},</font></div><div><font face="courier new, monospace">                           {state,233544,"/data..."},</font></div><div><font face="courier new, monospace">                           rabbit_msg_store_ets_index,"/data/rabbit...",</font></div><div><font face="courier new, monospace">                           <0.210.0>,237641,229447,241738,245835}},</font></div><div><font face="courier new, monospace">                         {file_num,681},</font></div><div><font face="courier new, monospace">                         {offset,16669770},</font></div><div><font face="courier new, monospace">                         {msg_id,</font></div><div><font face="courier new, monospace">                          <<160,82,77,79,243,175,93,42,1,219,170,168,159,121,</font></div><div><font face="courier new, monospace">                            222,119>>},</font></div><div><font face="courier new, monospace">                         {read,</font></div><div><font face="courier new, monospace">                          {ok,</font></div><div><font face="courier new, monospace">                           <<0,0,0,0,0,0,41,160,160,82,77,79,243,175,93,42,1,</font></div><div><font face="courier new, monospace">                             219,170,168,159,121,222,119,131,104,6,100,0,13,</font></div><div><font face="courier new, monospace">                             98,97,115,105,99,95,109,101,115,115,97,103,101,</font></div><div><font face="courier new, monospace">                             104,4,100,0,8,114,101,115,111,117,114,99,101,</font></div><div><font face="courier new, monospace">                             109,0,0,0,2,100,49,100,0,8,101,120,99,104,97,</font></div><div><font face="courier new, monospace">                             110,103,101,109,0,0,0,19,66,105,108,108,105,110,</font></div><div><font face="courier new, monospace">                             103,78,111,116,105,102,105,99,97,116,105,111,</font></div><div><font face="courier new, monospace">                             110,108,0,0,0,1,109,0,0,0,10,97,112,112,49,46,</font></div><div><font face="courier new, monospace">                             100,101,98,117,103,106,104,6,100,0,7,99,111,110,</font></div><div><font face="courier new, monospace">                             116,101,110,116,97,60,100,0,4,110,111,110,101,</font></div><div><font face="courier new, monospace">                             109,0,0,0,29,152,0,24,97,112,112,108,105,99,97,</font></div><div><font face="courier new, monospace">                             116,105,111,110,47,111,99,116,101,116,45,115,</font></div><div><font face="courier new, monospace">                             116,114,101,97,109,2,0,100,0,25,114,97,98,98,</font></div><div><font face="courier new, monospace">                             105,116,95,102,114,97,109,105,110,103,95,97,109,</font></div><div><font face="courier new, monospace">                             113,112,95,48,95,57,95,49,108,0,0,0,1,109,0,0,</font></div><div><font face="courier new, monospace">                             40,183,123,34,117,117,105,100,34,58,34,52,48,53,</font></div><div><font face="courier new, monospace">                             97,98,51,48,97,45,53,57,55,98,45,52,102,97,57,</font></div><div><font face="courier new, monospace">                             45,57,101,100,100,45,50,102,100,97,51,56,57,50,</font></div><div><font face="courier new, monospace">                             57,100,51,50,34,44,34,115,101,113,117,101,110,</font></div><div><font face="courier new, monospace">                             99,101,34,58,49,56,55,53,54,56,44,34,97,112,112,</font></div><div><font face="courier new, monospace">                             108,105,99,97,116,105,111,110,34,58,34,97,112,</font></div><div><font face="courier new, monospace">                             112,48,34,44,34,101,118,101,110,116,34,58,34,69,</font></div><div><font face="courier new, monospace">                             82,82,79,82,34,44,34,100,97,116,97,34,58,123,34,</font></div><div><font face="courier new, monospace">                             115,116,114,105,110,103,34,58,34,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                             97,97,97,97,46,46,46>>}},</font></div><div><font face="courier new, monospace">                         {proc_dict,</font></div><div><font face="courier new, monospace">                          [{random_seed,{1397,21447,511}},</font></div><div><font face="courier new, monospace">                           {{"...",fhc_file},{file,1,true}},</font></div><div><font face="courier new, monospace">                           {'$ancestors',</font></div><div><font face="courier new, monospace">                            [rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]},</font></div><div><font face="courier new, monospace">                           {process_name,{rabbit_amqqueue_process,{'...'}}},</font></div><div><font face="courier new, monospace">                           {fhc_age_tree,{2,{'...'}}},</font></div><div><font face="courier new, monospace">                           {{ch,<0.901.0>},</font></div><div><font face="courier new, monospace">                            {cr,<0.901.0>,#Ref<0.0.0.27418>,'...'}},</font></div><div><font face="courier new, monospace">                           {credit_blocked,[]},</font></div><div><font face="courier new, monospace">                           {{#Ref<0.0.0.1152>,fhc_handle},{handle,'...'}},</font></div><div><font face="courier new, monospace">                           {{"...",'...'},{'...'}},</font></div><div><font face="courier new, monospace">                           {{'...'},{'...'}},</font></div><div><font face="courier new, monospace">                           {{'...'},50},</font></div><div><font face="courier new, monospace">                           {'$initial_call',{'...'}},</font></div><div><font face="courier new, monospace">                           {guid,{'...'}},</font></div><div><font face="courier new, monospace">                           {{'...'},1350}]}]}}},</font></div><div><font face="courier new, monospace">                     [{rabbit_msg_store,read_from_disk,2},</font></div><div><font face="courier new, monospace">                      {rabbit_msg_store,client_read3,3},</font></div><div><font face="courier new, monospace">                      {rabbit_msg_store,safe_ets_update_counter,5},</font></div><div><font face="courier new, monospace">                      {rabbit_variable_queue,with_msg_store_state,3},</font></div><div><font face="courier new, monospace">                      {rabbit_variable_queue,read_msg,3},</font></div><div><font face="courier new, monospace">                      {rabbit_variable_queue,fetch,2},</font></div><div><font face="courier new, monospace">                      {rabbit_mirror_queue_master,fetch,2},</font></div><div><font face="courier new, monospace">                      {rabbit_amqqueue_process,fetch,2}]}</font></div><div><font face="courier new, monospace">      in function  gen_server2:terminate/3</font></div><div><font face="courier new, monospace">    ancestors: [rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]</font></div><div><font face="courier new, monospace">    messages: [{'$gen_cast',</font></div><div><font face="courier new, monospace">                   {deliver,</font></div><div><font face="courier new, monospace">                    {delivery,false,false,<0.552.0>,</font></div><div><font face="courier new, monospace">                     {basic_message,</font></div><div><font face="courier new, monospace">                      {resource,<<"d1">>,exchange,<<"BillingNotification">>},</font></div><div><font face="courier new, monospace">                      [<<"app1.debug">>],</font></div><div><font face="courier new, monospace">                      {content,60,</font></div><div><font face="courier new, monospace">                       {'P_basic',<<"application/octet-stream">>,undefined,</font></div><div><font face="courier new, monospace">                        undefined,2,0,undefined,undefined,undefined,undefined,</font></div><div><font face="courier new, monospace">                        undefined,undefined,undefined,undefined,undefined},</font></div><div><font face="courier new, monospace">                       <<152,0,24,97,112,112,108,105,99,97,116,105,111,110,47,</font></div><div><font face="courier new, monospace">                         111,99,116,101,116,45,115,116,114,101,97,109,2,0>>,</font></div><div><font face="courier new, monospace">                       rabbit_framing_amqp_0_9_1,</font></div><div><font face="courier new, monospace">                       [<<"{\"uuid\":\"dae09ba7-bf47-455c-b512-49d434fb7c3f\",\"sequence\":2363388,\"application\":\"app2\",\"event\":\"DEBUG\",\"data\":{\"string\":\"aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa...">>]},</font></div><div><font face="courier new, monospace">                      <<30,161,133,41,140,102,238,100,34,46,141,56,48,162,217,</font></div><div><font face="courier new, monospace">                        14>>,</font></div><div><font face="courier new, monospace">                      true},</font></div><div><font face="courier new, monospace">                     undefined},</font></div><div><font face="courier new, monospace">                    false,flow}},</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">                    // Lots of queued up messages, acks, etc...</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">                  '...']</font></div><div><font face="courier new, monospace">    links: [<0.211.0>]</font></div><div><font face="courier new, monospace">    dictionary: [{random_seed,{1397,21447,511}},</font></div><div><font face="courier new, monospace">                  {process_name,</font></div><div><font face="courier new, monospace">                      {rabbit_amqqueue_process,</font></div><div><font face="courier new, monospace">                          {resource,<<"d1">>,queue,<<"Appconnect">>}}},</font></div><div><font face="courier new, monospace">                  {fhc_age_tree,{0,nil}},</font></div><div><font face="courier new, monospace">                  {{ch,<0.901.0>},</font></div><div><font face="courier new, monospace">                   {cr,<0.901.0>,#Ref<0.0.0.27418>,</font></div><div><font face="courier new, monospace">                       {[{187567,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>},</font></div><div><font face="courier new, monospace">                         {187566,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>}],</font></div><div><font face="courier new, monospace">                        [{187561,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>},</font></div><div><font face="courier new, monospace">                         {187562,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>},</font></div><div><font face="courier new, monospace">                         {187563,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>},</font></div><div><font face="courier new, monospace">                         {187564,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>},</font></div><div><font face="courier new, monospace">                         {187565,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>}]},</font></div><div><font face="courier new, monospace">                       1,</font></div><div><font face="courier new, monospace">                       {queue,[],[],0},</font></div><div><font face="courier new, monospace">                       {qstate,<0.900.0>,dormant,</font></div><div><font face="courier new, monospace">                           {1,</font></div><div><font face="courier new, monospace">                            {<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>,</font></div><div><font face="courier new, monospace">                             {credit,1,auto},</font></div><div><font face="courier new, monospace">                             nil,nil}}},</font></div><div><font face="courier new, monospace">                       168}},</font></div><div><font face="courier new, monospace">                  {credit_blocked,[]},</font></div><div><font face="courier new, monospace">                  {{xtype_to_module,direct},rabbit_exchange_type_direct},</font></div><div><font face="courier new, monospace">                  {{xtype_to_module,topic},rabbit_exchange_type_topic},</font></div><div><font face="courier new, monospace">                  {{credit_to,<0.552.0>},50},</font></div><div><font face="courier new, monospace">                  {guid,{{230980502,69406936,3284697005,3000754076},0}},</font></div><div><font face="courier new, monospace">                  {{credit_from,<0.205.0>},1350}]</font></div><div><font face="courier new, monospace">    trap_exit: true</font></div><div><font face="courier new, monospace">    status: running</font></div><div><font face="courier new, monospace">    heap_size: 1346269</font></div><div><font face="courier new, monospace">    stack_size: 24</font></div><div><font face="courier new, monospace">    reductions: 1748356441</font></div><div><font face="courier new, monospace">  neighbours:</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=SUPERVISOR REPORT==== 9-Apr-2014::18:42:05 ===</font></div><div><font face="courier new, monospace">     Supervisor: {local,rabbit_amqqueue_sup}</font></div><div><font face="courier new, monospace">     Context:    child_terminated</font></div><div><font face="courier new, monospace">     Reason:     {{badmatch,</font></div><div><font face="courier new, monospace">                   {error,</font></div><div><font face="courier new, monospace">                    {misread,</font></div><div><font face="courier new, monospace">                     [{old_state,</font></div><div><font face="courier new, monospace">                       {client_msstate,msg_store_persistent,</font></div><div><font face="courier new, monospace">                        <<184,251,38,246,192,82,244,149,210,80,115,109,162,244,</font></div><div><font face="courier new, monospace">                          176,61>>,</font></div><div><font face="courier new, monospace">                        {dict,1,16,16,8,80,48,</font></div><div><font face="courier new, monospace">                         {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},</font></div><div><font face="courier new, monospace">                         {{[],[],[],[],[],[],[],[],[],</font></div><div><font face="courier new, monospace">                           [['...']],</font></div><div><font face="courier new, monospace">                           [],[],[],[],[],[]}}},</font></div><div><font face="courier new, monospace">                        {state,233544,"/data/rabbitmq/mnesia/rabbit@pn..."},</font></div><div><font face="courier new, monospace">                        rabbit_msg_store_ets_index,</font></div><div><font face="courier new, monospace">                        "/data/rabbitmq/mnesia/rabbit@pnewellra...",<0.210.0>,</font></div><div><font face="courier new, monospace">                        237641,229447,241738,245835}},</font></div><div><font face="courier new, monospace">                      {file_num,681},</font></div><div><font face="courier new, monospace">                      {offset,16669770},</font></div><div><font face="courier new, monospace">                      {msg_id,</font></div><div><font face="courier new, monospace">                       <<160,82,77,79,243,175,93,42,1,219,170,168,159,121,222,</font></div><div><font face="courier new, monospace">                         119>>},</font></div><div><font face="courier new, monospace">                      {read,</font></div><div><font face="courier new, monospace">                       {ok,</font></div><div><font face="courier new, monospace">                        <<0,0,0,0,0,0,41,160,160,82,77,79,243,175,93,42,1,</font></div><div><font face="courier new, monospace">                          219,170,168,159,121,222,119,131,104,6,100,0,13,98,</font></div><div><font face="courier new, monospace">                          97,115,105,99,95,109,101,115,115,97,103,101,104,4,</font></div><div><font face="courier new, monospace">                          100,0,8,114,101,115,111,117,114,99,101,109,0,0,0,2,</font></div><div><font face="courier new, monospace">                          100,49,100,0,8,101,120,99,104,97,110,103,101,109,0,</font></div><div><font face="courier new, monospace">                          0,0,19,66,105,108,108,105,110,103,78,111,116,105,</font></div><div><font face="courier new, monospace">                          102,105,99,97,116,105,111,110,108,0,0,0,1,109,0,0,</font></div><div><font face="courier new, monospace">                          0,10,97,112,112,49,46,100,101,98,117,103,106,104,6,</font></div><div><font face="courier new, monospace">                          100,0,7,99,111,110,116,101,110,116,97,60,100,0,4,</font></div><div><font face="courier new, monospace">                          110,111,110,101,109,0,0,0,29,152,0,24,97,112,112,</font></div><div><font face="courier new, monospace">                          108,105,99,97,116,105,111,110,47,111,99,116,101,</font></div><div><font face="courier new, monospace">                          116,45,115,116,114,101,97,109,2,0,100,0,25,114,97,</font></div><div><font face="courier new, monospace">                          98,98,105,116,95,102,114,97,109,105,110,103,95,97,</font></div><div><font face="courier new, monospace">                          109,113,112,95,48,95,57,95,49,108,0,0,0,1,109,0,0,</font></div><div><font face="courier new, monospace">                          40,183,123,34,117,117,105,100,34,58,34,52,48,53,97,</font></div><div><font face="courier new, monospace">                          98,51,48,97,45,53,57,55,98,45,52,102,97,57,45,57,</font></div><div><font face="courier new, monospace">                          101,100,100,45,50,102,100,97,51,56,57,50,57,100,51,</font></div><div><font face="courier new, monospace">                          50,34,44,34,115,101,113,117,101,110,99,101,34,58,</font></div><div><font face="courier new, monospace">                          49,56,55,53,54,56,44,34,97,112,112,108,105,99,97,</font></div><div><font face="courier new, monospace">                          116,105,111,110,34,58,34,97,112,112,48,34,44,34,</font></div><div><font face="courier new, monospace">                          101,118,101,110,116,34,58,34,69,82,82,79,82,34,44,</font></div><div><font face="courier new, monospace">                          34,100,97,116,97,34,58,123,34,115,116,114,105,110,</font></div><div><font face="courier new, monospace">                          103,34,58,34,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                          97,46,46,46>>}},</font></div><div><font face="courier new, monospace">                      {proc_dict,</font></div><div><font face="courier new, monospace">                       [{random_seed,{1397,21447,511}},</font></div><div><font face="courier new, monospace">                        {{"/data/rabbitmq/mnesia/ra...",fhc_file},</font></div><div><font face="courier new, monospace">                         {file,1,true}},</font></div><div><font face="courier new, monospace">                        {'$ancestors',</font></div><div><font face="courier new, monospace">                         [rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]},</font></div><div><font face="courier new, monospace">                        {process_name,</font></div><div><font face="courier new, monospace">                         {rabbit_amqqueue_process,</font></div><div><font face="courier new, monospace">                          {resource,<<"d1">>,queue,<<"Appconnect">>}}},</font></div><div><font face="courier new, monospace">                        {fhc_age_tree,</font></div><div><font face="courier new, monospace">                         {2,</font></div><div><font face="courier new, monospace">                          {{1397,83251,807183},</font></div><div><font face="courier new, monospace">                           #Ref<0.0.0.1152>,nil,</font></div><div><font face="courier new, monospace">                           {{1397,83251,808277},#Ref<0.0.0.31857>,nil,nil}}}},</font></div><div><font face="courier new, monospace">                        {{ch,<0.901.0>},</font></div><div><font face="courier new, monospace">                         {cr,<0.901.0>,#Ref<0.0.0.27418>,</font></div><div><font face="courier new, monospace">                          {[{187567,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>},</font></div><div><font face="courier new, monospace">                            {187566,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>}],</font></div><div><font face="courier new, monospace">                           [{187561,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>},</font></div><div><font face="courier new, monospace">                            {187562,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>},</font></div><div><font face="courier new, monospace">                            {187563,<<"amq.ctag-UzwVuTVR7OxfhipZ4Nls1Q">>},</font></div><div><font face="courier new, monospace">                            {187564,'...'},</font></div><div><font face="courier new, monospace">                            {'...'}]},</font></div><div><font face="courier new, monospace">                          1,</font></div><div><font face="courier new, monospace">                          {queue,[],[],0},</font></div><div><font face="courier new, monospace">                          {qstate,<0.900.0>,dormant,{1,{'...'}}},</font></div><div><font face="courier new, monospace">                          168}},</font></div><div><font face="courier new, monospace">                        {credit_blocked,[]},</font></div><div><font face="courier new, monospace">                        {{#Ref<0.0.0.1152>,fhc_handle},</font></div><div><font face="courier new, monospace">                         {handle,</font></div><div><font face="courier new, monospace">                          {file_descriptor,prim_file,{#Port<0.13248>,15}},</font></div><div><font face="courier new, monospace">                          0,false,291048,infinity,</font></div><div><font face="courier new, monospace">                          [[<<192,0,0,0,0,2,220,168>>],</font></div><div><font face="courier new, monospace">                           [<<128,0,0,0,0,2,220,175>>],</font></div><div><font face="courier new, monospace">                           [<<192,0,0,0,0,2,220,167>>],</font></div><div><font face="courier new, monospace">                           [<<128,0,0,0,0,2,220,174>>],</font></div><div><font face="courier new, monospace">                           [<<192,0,0,0,0,2,220,166>>],</font></div><div><font face="courier new, monospace">                           [<<128,0,0,0,0,2,220,173>>],</font></div><div><font face="courier new, monospace">                           [<<192,0,0,0,0,2,220,165>>],</font></div><div><font face="courier new, monospace">                           ['...'],</font></div><div><font face="courier new, monospace">                           ['...'],</font></div><div><font face="courier new, monospace">                           ['...'],</font></div><div><font face="courier new, monospace">                           ['...'],</font></div><div><font face="courier new, monospace">                           ['...'],</font></div><div><font face="courier new, monospace">                           ['...'],</font></div><div><font face="courier new, monospace">                           ['...'],</font></div><div><font face="courier new, monospace">                           '...'],</font></div><div><font face="courier new, monospace">                          true,"/data/rab...",</font></div><div><font face="courier new, monospace">                          [write,binary,raw,read],</font></div><div><font face="courier new, monospace">                          [{write_buffer,infinity}],</font></div><div><font face="courier new, monospace">                          true,true,</font></div><div><font face="courier new, monospace">                          {1397,83251,807183}}},</font></div><div><font face="courier new, monospace">                        {{"/data/rabbitmq/mn...",fhc_file},{file,1,false}},</font></div><div><font face="courier new, monospace">                        {{#Ref<0.0.0.31857>,fhc_handle},</font></div><div><font face="courier new, monospace">                         {handle,</font></div><div><font face="courier new, monospace">                          {file_descriptor,prim_file,{#Port<0.18591>,23}},</font></div><div><font face="courier new, monospace">                          16680435,false,0,1048576,[],false,"/data/r...",</font></div><div><font face="courier new, monospace">                          [raw,binary,read],</font></div><div><font face="courier new, monospace">                          [{write_buffer,'...'}],</font></div><div><font face="courier new, monospace">                          false,true,</font></div><div><font face="courier new, monospace">                          {1397,83251,808277}}},</font></div><div><font face="courier new, monospace">                        {{credit_to,<0.552.0>},50},</font></div><div><font face="courier new, monospace">                        {'$initial_call',{gen,init_it,6}},</font></div><div><font face="courier new, monospace">                        {guid,{{230980502,69406936,3284697005,3000754076},0}},</font></div><div><font face="courier new, monospace">                        {{credit_from,<0.205.0>},1350}]}]}}},</font></div><div><font face="courier new, monospace">                  [{rabbit_msg_store,read_from_disk,2},</font></div><div><font face="courier new, monospace">                   {rabbit_msg_store,client_read3,3},</font></div><div><font face="courier new, monospace">                   {rabbit_msg_store,safe_ets_update_counter,5},</font></div><div><font face="courier new, monospace">                   {rabbit_variable_queue,with_msg_store_state,3},</font></div><div><font face="courier new, monospace">                   {rabbit_variable_queue,read_msg,3},</font></div><div><font face="courier new, monospace">                   {rabbit_variable_queue,fetch,2},</font></div><div><font face="courier new, monospace">                   {rabbit_mirror_queue_master,fetch,2},</font></div><div><font face="courier new, monospace">                   {rabbit_amqqueue_process,fetch,2}]}</font></div><div><font face="courier new, monospace">     Offender:   [{pid,<0.214.0>},</font></div><div><font face="courier new, monospace">                  {name,rabbit_amqqueue},</font></div><div><font face="courier new, monospace">                  {mfargs,{rabbit_amqqueue_process,start_link,undefined}},</font></div><div><font face="courier new, monospace">                  {restart_type,temporary},</font></div><div><font face="courier new, monospace">                  {shutdown,4294967295},</font></div><div><font face="courier new, monospace">                  {child_type,worker}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=CRASH REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">  crasher:</font></div><div><font face="courier new, monospace">    initial call: gen:init_it/7</font></div><div><font face="courier new, monospace">    pid: <0.205.0></font></div><div><font face="courier new, monospace">    registered_name: msg_store_persistent</font></div><div><font face="courier new, monospace">    exception exit: {{case_clause,</font></div><div><font face="courier new, monospace">                         {false,</font></div><div><font face="courier new, monospace">                             {msg_location,</font></div><div><font face="courier new, monospace">                                 <<94,44,8,71,59,30,61,222,43,254,204,232,194,</font></div><div><font face="courier new, monospace">                                   42,158,238>>,</font></div><div><font face="courier new, monospace">                                 0,681,16584450,10665}}},</font></div><div><font face="courier new, monospace">                     [{rabbit_msg_store,remove_message,3},</font></div><div><font face="courier new, monospace">                      {rabbit_msg_store,'-handle_cast/2-fun-0-',3},</font></div><div><font face="courier new, monospace">                      {lists,foldl,3},</font></div><div><font face="courier new, monospace">                      {rabbit_msg_store,handle_cast,2},</font></div><div><font face="courier new, monospace">                      {gen_server2,handle_msg,2},</font></div><div><font face="courier new, monospace">                      {proc_lib,wake_up,3}]}</font></div><div><font face="courier new, monospace">      in function  gen_server2:terminate/3</font></div><div><font face="courier new, monospace">    ancestors: [rabbit_sup,<0.145.0>]</font></div><div><font face="courier new, monospace">    messages: [{'$gen_cast',{delete_file,1634,16787111}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1654,16787101}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',</font></div><div><font face="courier new, monospace">                   {client_dying,</font></div><div><font face="courier new, monospace">                    <<184,251,38,246,192,82,244,149,210,80,115,109,162,244,</font></div><div><font face="courier new, monospace">                      176,61>>}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',</font></div><div><font face="courier new, monospace">                   {client_delete,</font></div><div><font face="courier new, monospace">                    <<184,251,38,246,192,82,244,149,210,80,115,109,162,244,</font></div><div><font face="courier new, monospace">                      176,61>>}},</font></div><div><font face="courier new, monospace">                  {'DOWN',#Ref<0.0.0.1105>,process,<0.214.0>,</font></div><div><font face="courier new, monospace">                   {{badmatch,</font></div><div><font face="courier new, monospace">                     {error,</font></div><div><font face="courier new, monospace">                      {misread,</font></div><div><font face="courier new, monospace">                       [{old_state,</font></div><div><font face="courier new, monospace">                         {client_msstate,msg_store_persistent,</font></div><div><font face="courier new, monospace">                          <<184,251,38,246,192,82,244,149,210,80,115,109,162,</font></div><div><font face="courier new, monospace">                            244,176,61>>,</font></div><div><font face="courier new, monospace">                          {dict,1,'...'},</font></div><div><font face="courier new, monospace">                          {state,'...'},</font></div><div><font face="courier new, monospace">                          rabbit_msg_store_ets_index,"...",<0.210.0>,237641,</font></div><div><font face="courier new, monospace">                          229447,241738,245835}},</font></div><div><font face="courier new, monospace">                        {file_num,681},</font></div><div><font face="courier new, monospace">                        {offset,16669770},</font></div><div><font face="courier new, monospace">                        {msg_id,</font></div><div><font face="courier new, monospace">                         <<160,82,77,79,243,175,93,42,1,219,170,168,159,121,</font></div><div><font face="courier new, monospace">                           222,119>>},</font></div><div><font face="courier new, monospace">                        {read,</font></div><div><font face="courier new, monospace">                         {ok,</font></div><div><font face="courier new, monospace">                          <<0,0,0,0,0,0,41,160,160,82,77,79,243,175,93,42,1,</font></div><div><font face="courier new, monospace">                            219,170,168,159,121,222,119,131,104,6,100,0,13,</font></div><div><font face="courier new, monospace">                            98,97,115,105,99,95,109,101,115,115,97,103,101,</font></div><div><font face="courier new, monospace">                            104,4,100,0,8,114,101,115,111,117,114,99,101,109,</font></div><div><font face="courier new, monospace">                            0,0,0,2,100,49,100,0,8,101,120,99,104,97,110,103,</font></div><div><font face="courier new, monospace">                            101,109,0,0,0,19,66,105,108,108,105,110,103,78,</font></div><div><font face="courier new, monospace">                            111,116,105,102,105,99,97,116,105,111,110,108,0,</font></div><div><font face="courier new, monospace">                            0,0,1,109,0,0,0,10,97,112,112,49,46,100,101,98,</font></div><div><font face="courier new, monospace">                            117,103,106,104,6,100,0,7,99,111,110,116,101,110,</font></div><div><font face="courier new, monospace">                            116,97,60,100,0,4,110,111,110,101,109,0,0,0,29,</font></div><div><font face="courier new, monospace">                            152,0,24,97,112,112,108,105,99,97,116,105,111,</font></div><div><font face="courier new, monospace">                            110,47,111,99,116,101,116,45,115,116,114,101,97,</font></div><div><font face="courier new, monospace">                            109,2,0,100,0,25,114,97,98,98,105,116,95,102,114,</font></div><div><font face="courier new, monospace">                            97,109,105,110,103,95,97,109,113,112,95,48,95,57,</font></div><div><font face="courier new, monospace">                            95,49,108,0,0,0,1,109,0,0,40,183,123,34,117,117,</font></div><div><font face="courier new, monospace">                            105,100,34,58,34,52,48,53,97,98,51,48,97,45,53,</font></div><div><font face="courier new, monospace">                            57,55,98,45,52,102,97,57,45,57,101,100,100,45,50,</font></div><div><font face="courier new, monospace">                            102,100,97,51,56,57,50,57,100,51,50,34,44,34,115,</font></div><div><font face="courier new, monospace">                            101,113,117,101,110,99,101,34,58,49,56,55,53,54,</font></div><div><font face="courier new, monospace">                            56,44,34,97,112,112,108,105,99,97,116,105,111,</font></div><div><font face="courier new, monospace">                            110,34,58,34,97,112,112,48,34,44,34,101,118,101,</font></div><div><font face="courier new, monospace">                            110,116,34,58,34,69,82,82,79,82,34,44,34,100,97,</font></div><div><font face="courier new, monospace">                            116,97,34,58,123,34,115,116,114,105,110,103,34,</font></div><div><font face="courier new, monospace">                            58,34,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,97,</font></div><div><font face="courier new, monospace">                            97,97,97,97,97,97,97,46,46,46>>}},</font></div><div><font face="courier new, monospace">                        {proc_dict,</font></div><div><font face="courier new, monospace">                         [{'...'},</font></div><div><font face="courier new, monospace">                          {'...'},</font></div><div><font face="courier new, monospace">                          {'...'},</font></div><div><font face="courier new, monospace">                          {'...'},</font></div><div><font face="courier new, monospace">                          {'...'},</font></div><div><font face="courier new, monospace">                          {'...'},</font></div><div><font face="courier new, monospace">                          {'...'},</font></div><div><font face="courier new, monospace">                          '...']}]}}},</font></div><div><font face="courier new, monospace">                    [{rabbit_msg_store,read_from_disk,2},</font></div><div><font face="courier new, monospace">                     {rabbit_msg_store,client_read3,3},</font></div><div><font face="courier new, monospace">                     {rabbit_msg_store,safe_ets_update_counter,5},</font></div><div><font face="courier new, monospace">                     {rabbit_variable_queue,with_msg_store_state,3},</font></div><div><font face="courier new, monospace">                     {rabbit_variable_queue,read_msg,3},</font></div><div><font face="courier new, monospace">                     {rabbit_variable_queue,fetch,2},</font></div><div><font face="courier new, monospace">                     {rabbit_mirror_queue_master,fetch,2},</font></div><div><font face="courier new, monospace">                     {rabbit_amqqueue_process,fetch,2}]}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1653,16787145}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1652,16787106}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1651,16787067}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1650,16787153}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1649,16787131}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1648,16787160}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1647,16787155}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1646,16787099}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1645,16787086}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1665,16787076}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1664,16787088}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1663,16787115}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1662,16787099}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1661,16787074}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1660,16787049}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1659,16787133}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1658,16787128}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1657,16787110}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1656,16787049}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1655,16787126}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1675,16787031}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1674,16787101}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1673,16787040}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1672,16787094}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1671,16787100}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1670,16787017}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1669,16787096}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1668,16787175}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1667,16787143}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1666,16787019}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1686,16787085}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1685,16787079}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1684,16787117}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1683,16787198}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1682,16787109}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1681,16787141}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1680,16787142}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1679,16787100}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1678,16787137}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1677,16787122}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1676,16787092}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1696,16787007}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1695,16787153}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1694,16787025}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1693,16787045}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1692,16787134}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1691,16787109}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1690,16787153}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1689,16787121}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1688,16787109}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1687,16787047}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1706,16787131}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1705,16787087}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1704,16787098}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1703,16787121}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1702,16787086}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1701,16787059}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1700,16787084}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,1699,'...'}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{delete_file,'...'}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{'...'}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{'...'}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{'...'}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{'...'}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{'...'}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{'...'}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast',{'...'}},</font></div><div><font face="courier new, monospace">                  {'$gen_cast','...'},</font></div><div><font face="courier new, monospace">                  {'...'},</font></div><div><font face="courier new, monospace">                  {'...'},</font></div><div><font face="courier new, monospace">                  {'...'},</font></div><div><font face="courier new, monospace">                  {'...'},</font></div><div><font face="courier new, monospace">                  {'...'},</font></div><div><font face="courier new, monospace">                  {'...'},</font></div><div><font face="courier new, monospace">                  {'...'},</font></div><div><font face="courier new, monospace">                  '...']</font></div><div><font face="courier new, monospace">    links: [<0.146.0>]</font></div><div><font face="courier new, monospace">    dictionary: [{{credit_to,<0.214.0>},350},{fhc_age_tree,{0,nil}}]</font></div><div><font face="courier new, monospace">    trap_exit: true</font></div><div><font face="courier new, monospace">    status: running</font></div><div><font face="courier new, monospace">    heap_size: 832040</font></div><div><font face="courier new, monospace">    stack_size: 24</font></div><div><font face="courier new, monospace">    reductions: 790489983</font></div><div><font face="courier new, monospace">  neighbours:</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=SUPERVISOR REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">     Supervisor: {local,rabbit_sup}</font></div><div><font face="courier new, monospace">     Context:    child_terminated</font></div><div><font face="courier new, monospace">     Reason:     {{case_clause,</font></div><div><font face="courier new, monospace">                      {false,</font></div><div><font face="courier new, monospace">                          {msg_location,</font></div><div><font face="courier new, monospace">                              <<94,44,8,71,59,30,61,222,43,254,204,232,194,42,</font></div><div><font face="courier new, monospace">                                158,238>>,</font></div><div><font face="courier new, monospace">                              0,681,16584450,10665}}},</font></div><div><font face="courier new, monospace">                  [{rabbit_msg_store,remove_message,3},</font></div><div><font face="courier new, monospace">                   {rabbit_msg_store,'-handle_cast/2-fun-0-',3},</font></div><div><font face="courier new, monospace">                   {lists,foldl,3},</font></div><div><font face="courier new, monospace">                   {rabbit_msg_store,handle_cast,2},</font></div><div><font face="courier new, monospace">                   {gen_server2,handle_msg,2},</font></div><div><font face="courier new, monospace">                   {proc_lib,wake_up,3}]}</font></div><div><font face="courier new, monospace">     Offender:   [{pid,<0.205.0>},</font></div><div><font face="courier new, monospace">                  {name,msg_store_persistent},</font></div><div><font face="courier new, monospace">                  {mfargs,</font></div><div><font face="courier new, monospace">                      {rabbit_msg_store,start_link,</font></div><div><font face="courier new, monospace">                          [msg_store_persistent,</font></div><div><font face="courier new, monospace">                           "/data/rabbitmq/mnesia/rabbit@pnewellrabbitmqvm",</font></div><div><font face="courier new, monospace">                           [<<197,113,14,78,169,98,103,74,158,178,5,165,183,</font></div><div><font face="courier new, monospace">                              174,221,28>>,</font></div><div><font face="courier new, monospace">                            <<186,194,196,141,2,108,179,221,99,117,59,65,250,</font></div><div><font face="courier new, monospace">                              235,145,61>>,</font></div><div><font face="courier new, monospace">                            <<184,251,38,246,192,82,244,149,210,80,115,109,162,</font></div><div><font face="courier new, monospace">                              244,176,61>>,</font></div><div><font face="courier new, monospace">                            <<123,55,234,4,244,110,71,11,21,208,154,4,170,7,65,</font></div><div><font face="courier new, monospace">                              98>>,</font></div><div><font face="courier new, monospace">                            <<245,180,254,87,28,109,130,169,124,40,55,231,11,</font></div><div><font face="courier new, monospace">                              150,52,177>>,</font></div><div><font face="courier new, monospace">                            <<162,87,146,34,151,178,125,226,157,199,2,24,48,</font></div><div><font face="courier new, monospace">                              57,175,102>>],</font></div><div><font face="courier new, monospace">                           {#Fun<rabbit_queue_index.2.111155628>,</font></div><div><font face="courier new, monospace">                            {start,</font></div><div><font face="courier new, monospace">                                [{resource,<<"d1-cbs">>,queue,</font></div><div><font face="courier new, monospace">                                     <<"Appconnect">>},</font></div><div><font face="courier new, monospace">                                 {resource,<<"/">>,queue,<<"Appconnect">>},</font></div><div><font face="courier new, monospace">                                 {resource,<<"d1">>,queue,<<"Appconnect">>},</font></div><div><font face="courier new, monospace">                                 {resource,<<"d1-cbs">>,queue,<<"ApiUsage">>},</font></div><div><font face="courier new, monospace">                                 {resource,<<"/">>,queue,<<"ApiUsage">>},</font></div><div><font face="courier new, monospace">                                 {resource,<<"d1">>,queue,</font></div><div><font face="courier new, monospace">                                     <<"ApiUsage">>}]}}]}},</font></div><div><font face="courier new, monospace">                  {restart_type,transient},</font></div><div><font face="courier new, monospace">                  {shutdown,4294967295},</font></div><div><font face="courier new, monospace">                  {child_type,worker}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=SUPERVISOR REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">     Supervisor: {local,rabbit_sup}</font></div><div><font face="courier new, monospace">     Context:    shutdown</font></div><div><font face="courier new, monospace">     Reason:     reached_max_restart_intensity</font></div><div><font face="courier new, monospace">     Offender:   [{pid,<0.205.0>},</font></div><div><font face="courier new, monospace">                  {name,msg_store_persistent},</font></div><div><font face="courier new, monospace">                  {mfargs,</font></div><div><font face="courier new, monospace">                      {rabbit_msg_store,start_link,</font></div><div><font face="courier new, monospace">                          [msg_store_persistent,</font></div><div><font face="courier new, monospace">                           "/data/rabbitmq/mnesia/rabbit@pnewellrabbitmqvm",</font></div><div><font face="courier new, monospace">                           [<<197,113,14,78,169,98,103,74,158,178,5,165,183,</font></div><div><font face="courier new, monospace">                              174,221,28>>,</font></div><div><font face="courier new, monospace">                            <<186,194,196,141,2,108,179,221,99,117,59,65,250,</font></div><div><font face="courier new, monospace">                              235,145,61>>,</font></div><div><font face="courier new, monospace">                            <<184,251,38,246,192,82,244,149,210,80,115,109,162,</font></div><div><font face="courier new, monospace">                              244,176,61>>,</font></div><div><font face="courier new, monospace">                            <<123,55,234,4,244,110,71,11,21,208,154,4,170,7,65,</font></div><div><font face="courier new, monospace">                              98>>,</font></div><div><font face="courier new, monospace">                            <<245,180,254,87,28,109,130,169,124,40,55,231,11,</font></div><div><font face="courier new, monospace">                              150,52,177>>,</font></div><div><font face="courier new, monospace">                            <<162,87,146,34,151,178,125,226,157,199,2,24,48,</font></div><div><font face="courier new, monospace">                              57,175,102>>],</font></div><div><font face="courier new, monospace">                           {#Fun<rabbit_queue_index.2.111155628>,</font></div><div><font face="courier new, monospace">                            {start,</font></div><div><font face="courier new, monospace">                                [{resource,<<"d1-cbs">>,queue,</font></div><div><font face="courier new, monospace">                                     <<"Appconnect">>},</font></div><div><font face="courier new, monospace">                                 {resource,<<"/">>,queue,<<"Appconnect">>},</font></div><div><font face="courier new, monospace">                                 {resource,<<"d1">>,queue,<<"Appconnect">>},</font></div><div><font face="courier new, monospace">                                 {resource,<<"d1-cbs">>,queue,<<"ApiUsage">>},</font></div><div><font face="courier new, monospace">                                 {resource,<<"/">>,queue,<<"ApiUsage">>},</font></div><div><font face="courier new, monospace">                                 {resource,<<"d1">>,queue,</font></div><div><font face="courier new, monospace">                                     <<"ApiUsage">>}]}}]}},</font></div><div><font face="courier new, monospace">                  {restart_type,transient},</font></div><div><font face="courier new, monospace">                  {shutdown,4294967295},</font></div><div><font face="courier new, monospace">                  {child_type,worker}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=CRASH REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">  crasher:</font></div><div><font face="courier new, monospace">    initial call: gen:init_it/6</font></div><div><font face="courier new, monospace">    pid: <0.217.0></font></div><div><font face="courier new, monospace">    registered_name: []</font></div><div><font face="courier new, monospace">    exception exit: {noproc,</font></div><div><font face="courier new, monospace">                        {gen_server2,call,</font></div><div><font face="courier new, monospace">                            [msg_store_persistent,</font></div><div><font face="courier new, monospace">                             {client_terminate,</font></div><div><font face="courier new, monospace">                                 <<162,87,146,34,151,178,125,226,157,199,2,24,</font></div><div><font face="courier new, monospace">                                   48,57,175,102>>},</font></div><div><font face="courier new, monospace">                             infinity]}}</font></div><div><font face="courier new, monospace">      in function  gen_server2:terminate/3</font></div><div><font face="courier new, monospace">    ancestors: [rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]</font></div><div><font face="courier new, monospace">    messages: []</font></div><div><font face="courier new, monospace">    links: [<0.223.0>]</font></div><div><font face="courier new, monospace">    dictionary: [{random_seed,{1397,21447,29346}},</font></div><div><font face="courier new, monospace">                  {process_name,</font></div><div><font face="courier new, monospace">                      {rabbit_amqqueue_process,</font></div><div><font face="courier new, monospace">                          {resource,<<"d1">>,queue,<<"ApiUsage">>}}},</font></div><div><font face="courier new, monospace">                  {guid,{{2720735611,2534855728,3608505330,4142421861},0}}]</font></div><div><font face="courier new, monospace">    trap_exit: true</font></div><div><font face="courier new, monospace">    status: running</font></div><div><font face="courier new, monospace">    heap_size: 1597</font></div><div><font face="courier new, monospace">    stack_size: 24</font></div><div><font face="courier new, monospace">    reductions: 49987</font></div><div><font face="courier new, monospace">  neighbours:</font></div><div><font face="courier new, monospace">    neighbour: [{pid,<0.226.0>},</font></div><div><font face="courier new, monospace">                  {registered_name,[]},</font></div><div><font face="courier new, monospace">                  {initial_call,</font></div><div><font face="courier new, monospace">                      {gen,init_it,</font></div><div><font face="courier new, monospace">                          ['Argument__1','Argument__2','Argument__3',</font></div><div><font face="courier new, monospace">                           'Argument__4','Argument__5','Argument__6']}},</font></div><div><font face="courier new, monospace">                  {current_function,{erlang,hibernate,3}},</font></div><div><font face="courier new, monospace">                  {ancestors,</font></div><div><font face="courier new, monospace">                      [<0.223.0>,<0.217.0>,rabbit_amqqueue_sup,rabbit_sup,</font></div><div><font face="courier new, monospace">                       <0.145.0>]},</font></div><div><font face="courier new, monospace">                  {messages,[]},</font></div><div><font face="courier new, monospace">                  {links,[<0.223.0>]},</font></div><div><font face="courier new, monospace">                  {dictionary,</font></div><div><font face="courier new, monospace">                      [{random_seed,{1397,21447,25352}},</font></div><div><font face="courier new, monospace">                       {process_name,</font></div><div><font face="courier new, monospace">                           {gm,{resource,<<"d1">>,queue,<<"ApiUsage">>}}}]},</font></div><div><font face="courier new, monospace">                  {trap_exit,false},</font></div><div><font face="courier new, monospace">                  {status,waiting},</font></div><div><font face="courier new, monospace">                  {heap_size,233},</font></div><div><font face="courier new, monospace">                  {stack_size,0},</font></div><div><font face="courier new, monospace">                  {reductions,244}]</font></div><div><font face="courier new, monospace">    neighbour: [{pid,<0.223.0>},</font></div><div><font face="courier new, monospace">                  {registered_name,[]},</font></div><div><font face="courier new, monospace">                  {initial_call,</font></div><div><font face="courier new, monospace">                      {gen,init_it,</font></div><div><font face="courier new, monospace">                          ['Argument__1','Argument__2','Argument__3',</font></div><div><font face="courier new, monospace">                           'Argument__4','Argument__5','Argument__6']}},</font></div><div><font face="courier new, monospace">                  {current_function,{erlang,hibernate,3}},</font></div><div><font face="courier new, monospace">                  {ancestors,</font></div><div><font face="courier new, monospace">                      [<0.217.0>,rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]},</font></div><div><font face="courier new, monospace">                  {messages,[]},</font></div><div><font face="courier new, monospace">                  {links,[<0.217.0>,<0.226.0>]},</font></div><div><font face="courier new, monospace">                  {dictionary,</font></div><div><font face="courier new, monospace">                      [{process_name,</font></div><div><font face="courier new, monospace">                           {rabbit_mirror_queue_coordinator,</font></div><div><font face="courier new, monospace">                               {resource,<<"d1">>,queue,<<"ApiUsage">>}}}]},</font></div><div><font face="courier new, monospace">                  {trap_exit,false},</font></div><div><font face="courier new, monospace">                  {status,waiting},</font></div><div><font face="courier new, monospace">                  {heap_size,377},</font></div><div><font face="courier new, monospace">                  {stack_size,0},</font></div><div><font face="courier new, monospace">                  {reductions,120}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=CRASH REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">  crasher:</font></div><div><font face="courier new, monospace">    initial call: gen:init_it/6</font></div><div><font face="courier new, monospace">    pid: <0.216.0></font></div><div><font face="courier new, monospace">    registered_name: []</font></div><div><font face="courier new, monospace">    exception exit: {noproc,</font></div><div><font face="courier new, monospace">                        {gen_server2,call,</font></div><div><font face="courier new, monospace">                            [msg_store_persistent,</font></div><div><font face="courier new, monospace">                             {client_terminate,</font></div><div><font face="courier new, monospace">                                 <<245,180,254,87,28,109,130,169,124,40,55,</font></div><div><font face="courier new, monospace">                                   231,11,150,52,177>>},</font></div><div><font face="courier new, monospace">                             infinity]}}</font></div><div><font face="courier new, monospace">      in function  gen_server2:terminate/3</font></div><div><font face="courier new, monospace">    ancestors: [rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]</font></div><div><font face="courier new, monospace">    messages: []</font></div><div><font face="courier new, monospace">    links: [<0.221.0>]</font></div><div><font face="courier new, monospace">    dictionary: [{random_seed,{1397,21447,28485}},</font></div><div><font face="courier new, monospace">                  {process_name,</font></div><div><font face="courier new, monospace">                      {rabbit_amqqueue_process,</font></div><div><font face="courier new, monospace">                          {resource,<<"/">>,queue,<<"ApiUsage">>}}},</font></div><div><font face="courier new, monospace">                  {guid,{{2480445846,550087633,2809237486,3458201455},0}}]</font></div><div><font face="courier new, monospace">    trap_exit: true</font></div><div><font face="courier new, monospace">    status: running</font></div><div><font face="courier new, monospace">    heap_size: 1597</font></div><div><font face="courier new, monospace">    stack_size: 24</font></div><div><font face="courier new, monospace">    reductions: 6301</font></div><div><font face="courier new, monospace">  neighbours:</font></div><div><font face="courier new, monospace">    neighbour: [{pid,<0.224.0>},</font></div><div><font face="courier new, monospace">                  {registered_name,[]},</font></div><div><font face="courier new, monospace">                  {initial_call,</font></div><div><font face="courier new, monospace">                      {gen,init_it,</font></div><div><font face="courier new, monospace">                          ['Argument__1','Argument__2','Argument__3',</font></div><div><font face="courier new, monospace">                           'Argument__4','Argument__5','Argument__6']}},</font></div><div><font face="courier new, monospace">                  {current_function,{erlang,hibernate,3}},</font></div><div><font face="courier new, monospace">                  {ancestors,</font></div><div><font face="courier new, monospace">                      [<0.221.0>,<0.216.0>,rabbit_amqqueue_sup,rabbit_sup,</font></div><div><font face="courier new, monospace">                       <0.145.0>]},</font></div><div><font face="courier new, monospace">                  {messages,[]},</font></div><div><font face="courier new, monospace">                  {links,[<0.221.0>]},</font></div><div><font face="courier new, monospace">                  {dictionary,</font></div><div><font face="courier new, monospace">                      [{random_seed,{1397,21447,25330}},</font></div><div><font face="courier new, monospace">                       {process_name,</font></div><div><font face="courier new, monospace">                           {gm,{resource,<<"/">>,queue,<<"ApiUsage">>}}}]},</font></div><div><font face="courier new, monospace">                  {trap_exit,false},</font></div><div><font face="courier new, monospace">                  {status,waiting},</font></div><div><font face="courier new, monospace">                  {heap_size,233},</font></div><div><font face="courier new, monospace">                  {stack_size,0},</font></div><div><font face="courier new, monospace">                  {reductions,244}]</font></div><div><font face="courier new, monospace">    neighbour: [{pid,<0.221.0>},</font></div><div><font face="courier new, monospace">                  {registered_name,[]},</font></div><div><font face="courier new, monospace">                  {initial_call,</font></div><div><font face="courier new, monospace">                      {gen,init_it,</font></div><div><font face="courier new, monospace">                          ['Argument__1','Argument__2','Argument__3',</font></div><div><font face="courier new, monospace">                           'Argument__4','Argument__5','Argument__6']}},</font></div><div><font face="courier new, monospace">                  {current_function,{erlang,hibernate,3}},</font></div><div><font face="courier new, monospace">                  {ancestors,</font></div><div><font face="courier new, monospace">                      [<0.216.0>,rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]},</font></div><div><font face="courier new, monospace">                  {messages,[]},</font></div><div><font face="courier new, monospace">                  {links,[<0.216.0>,<0.224.0>]},</font></div><div><font face="courier new, monospace">                  {dictionary,</font></div><div><font face="courier new, monospace">                      [{process_name,</font></div><div><font face="courier new, monospace">                           {rabbit_mirror_queue_coordinator,</font></div><div><font face="courier new, monospace">                               {resource,<<"/">>,queue,<<"ApiUsage">>}}}]},</font></div><div><font face="courier new, monospace">                  {trap_exit,false},</font></div><div><font face="courier new, monospace">                  {status,waiting},</font></div><div><font face="courier new, monospace">                  {heap_size,377},</font></div><div><font face="courier new, monospace">                  {stack_size,0},</font></div><div><font face="courier new, monospace">                  {reductions,120}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=CRASH REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">  crasher:</font></div><div><font face="courier new, monospace">    initial call: gen:init_it/6</font></div><div><font face="courier new, monospace">    pid: <0.215.0></font></div><div><font face="courier new, monospace">    registered_name: []</font></div><div><font face="courier new, monospace">    exception exit: {noproc,</font></div><div><font face="courier new, monospace">                        {gen_server2,call,</font></div><div><font face="courier new, monospace">                            [msg_store_persistent,</font></div><div><font face="courier new, monospace">                             {client_terminate,</font></div><div><font face="courier new, monospace">                                 <<123,55,234,4,244,110,71,11,21,208,154,4,</font></div><div><font face="courier new, monospace">                                   170,7,65,98>>},</font></div><div><font face="courier new, monospace">                             infinity]}}</font></div><div><font face="courier new, monospace">      in function  gen_server2:terminate/3</font></div><div><font face="courier new, monospace">    ancestors: [rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]</font></div><div><font face="courier new, monospace">    messages: []</font></div><div><font face="courier new, monospace">    links: [<0.222.0>]</font></div><div><font face="courier new, monospace">    dictionary: [{random_seed,{1397,21447,29365}},</font></div><div><font face="courier new, monospace">                  {process_name,</font></div><div><font face="courier new, monospace">                      {rabbit_amqqueue_process,</font></div><div><font face="courier new, monospace">                          {resource,<<"d1-cbs">>,queue,<<"ApiUsage">>}}},</font></div><div><font face="courier new, monospace">                  {guid,{{1612108673,2871644604,1399026086,1533985467},0}}]</font></div><div><font face="courier new, monospace">    trap_exit: true</font></div><div><font face="courier new, monospace">    status: running</font></div><div><font face="courier new, monospace">    heap_size: 1597</font></div><div><font face="courier new, monospace">    stack_size: 24</font></div><div><font face="courier new, monospace">    reductions: 49896</font></div><div><font face="courier new, monospace">  neighbours:</font></div><div><font face="courier new, monospace">    neighbour: [{pid,<0.225.0>},</font></div><div><font face="courier new, monospace">                  {registered_name,[]},</font></div><div><font face="courier new, monospace">                  {initial_call,</font></div><div><font face="courier new, monospace">                      {gen,init_it,</font></div><div><font face="courier new, monospace">                          ['Argument__1','Argument__2','Argument__3',</font></div><div><font face="courier new, monospace">                           'Argument__4','Argument__5','Argument__6']}},</font></div><div><font face="courier new, monospace">                  {current_function,{erlang,hibernate,3}},</font></div><div><font face="courier new, monospace">                  {ancestors,</font></div><div><font face="courier new, monospace">                      [<0.222.0>,<0.215.0>,rabbit_amqqueue_sup,rabbit_sup,</font></div><div><font face="courier new, monospace">                       <0.145.0>]},</font></div><div><font face="courier new, monospace">                  {messages,[]},</font></div><div><font face="courier new, monospace">                  {links,[<0.222.0>]},</font></div><div><font face="courier new, monospace">                  {dictionary,</font></div><div><font face="courier new, monospace">                      [{random_seed,{1397,21447,25344}},</font></div><div><font face="courier new, monospace">                       {process_name,</font></div><div><font face="courier new, monospace">                           {gm,{resource,<<"d1-cbs">>,queue,</font></div><div><font face="courier new, monospace">                                   <<"ApiUsage">>}}}]},</font></div><div><font face="courier new, monospace">                  {trap_exit,false},</font></div><div><font face="courier new, monospace">                  {status,waiting},</font></div><div><font face="courier new, monospace">                  {heap_size,233},</font></div><div><font face="courier new, monospace">                  {stack_size,0},</font></div><div><font face="courier new, monospace">                  {reductions,244}]</font></div><div><font face="courier new, monospace">    neighbour: [{pid,<0.222.0>},</font></div><div><font face="courier new, monospace">                  {registered_name,[]},</font></div><div><font face="courier new, monospace">                  {initial_call,</font></div><div><font face="courier new, monospace">                      {gen,init_it,</font></div><div><font face="courier new, monospace">                          ['Argument__1','Argument__2','Argument__3',</font></div><div><font face="courier new, monospace">                           'Argument__4','Argument__5','Argument__6']}},</font></div><div><font face="courier new, monospace">                  {current_function,{erlang,hibernate,3}},</font></div><div><font face="courier new, monospace">                  {ancestors,</font></div><div><font face="courier new, monospace">                      [<0.215.0>,rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]},</font></div><div><font face="courier new, monospace">                  {messages,[]},</font></div><div><font face="courier new, monospace">                  {links,[<0.215.0>,<0.225.0>]},</font></div><div><font face="courier new, monospace">                  {dictionary,</font></div><div><font face="courier new, monospace">                      [{process_name,</font></div><div><font face="courier new, monospace">                           {rabbit_mirror_queue_coordinator,</font></div><div><font face="courier new, monospace">                               {resource,<<"d1-cbs">>,queue,</font></div><div><font face="courier new, monospace">                                   <<"ApiUsage">>}}}]},</font></div><div><font face="courier new, monospace">                  {trap_exit,false},</font></div><div><font face="courier new, monospace">                  {status,waiting},</font></div><div><font face="courier new, monospace">                  {heap_size,377},</font></div><div><font face="courier new, monospace">                  {stack_size,0},</font></div><div><font face="courier new, monospace">                  {reductions,120}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=CRASH REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">  crasher:</font></div><div><font face="courier new, monospace">    initial call: gen:init_it/6</font></div><div><font face="courier new, monospace">    pid: <0.213.0></font></div><div><font face="courier new, monospace">    registered_name: []</font></div><div><font face="courier new, monospace">    exception exit: {noproc,</font></div><div><font face="courier new, monospace">                        {gen_server2,call,</font></div><div><font face="courier new, monospace">                            [msg_store_persistent,</font></div><div><font face="courier new, monospace">                             {client_terminate,</font></div><div><font face="courier new, monospace">                                 <<186,194,196,141,2,108,179,221,99,117,59,65,</font></div><div><font face="courier new, monospace">                                   250,235,145,61>>},</font></div><div><font face="courier new, monospace">                             infinity]}}</font></div><div><font face="courier new, monospace">      in function  gen_server2:terminate/3</font></div><div><font face="courier new, monospace">    ancestors: [rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]</font></div><div><font face="courier new, monospace">    messages: []</font></div><div><font face="courier new, monospace">    links: [<0.227.0>]</font></div><div><font face="courier new, monospace">    dictionary: [{random_seed,{1397,21447,30135}},</font></div><div><font face="courier new, monospace">                  {process_name,</font></div><div><font face="courier new, monospace">                      {rabbit_amqqueue_process,</font></div><div><font face="courier new, monospace">                          {resource,<<"/">>,queue,<<"Appconnect">>}}},</font></div><div><font face="courier new, monospace">                  {guid,{{2712885445,3207113857,3507961840,57524982},0}}]</font></div><div><font face="courier new, monospace">    trap_exit: true</font></div><div><font face="courier new, monospace">    status: running</font></div><div><font face="courier new, monospace">    heap_size: 2584</font></div><div><font face="courier new, monospace">    stack_size: 24</font></div><div><font face="courier new, monospace">    reductions: 51725</font></div><div><font face="courier new, monospace">  neighbours:</font></div><div><font face="courier new, monospace">    neighbour: [{pid,<0.228.0>},</font></div><div><font face="courier new, monospace">                  {registered_name,[]},</font></div><div><font face="courier new, monospace">                  {initial_call,</font></div><div><font face="courier new, monospace">                      {gen,init_it,</font></div><div><font face="courier new, monospace">                          ['Argument__1','Argument__2','Argument__3',</font></div><div><font face="courier new, monospace">                           'Argument__4','Argument__5','Argument__6']}},</font></div><div><font face="courier new, monospace">                  {current_function,{erlang,hibernate,3}},</font></div><div><font face="courier new, monospace">                  {ancestors,</font></div><div><font face="courier new, monospace">                      [<0.227.0>,<0.213.0>,rabbit_amqqueue_sup,rabbit_sup,</font></div><div><font face="courier new, monospace">                       <0.145.0>]},</font></div><div><font face="courier new, monospace">                  {messages,[]},</font></div><div><font face="courier new, monospace">                  {links,[<0.227.0>]},</font></div><div><font face="courier new, monospace">                  {dictionary,</font></div><div><font face="courier new, monospace">                      [{random_seed,{1397,21447,25502}},</font></div><div><font face="courier new, monospace">                       {process_name,</font></div><div><font face="courier new, monospace">                           {gm,{resource,<<"/">>,queue,<<"Appconnect">>}}}]},</font></div><div><font face="courier new, monospace">                  {trap_exit,false},</font></div><div><font face="courier new, monospace">                  {status,waiting},</font></div><div><font face="courier new, monospace">                  {heap_size,233},</font></div><div><font face="courier new, monospace">                  {stack_size,0},</font></div><div><font face="courier new, monospace">                  {reductions,245}]</font></div><div><font face="courier new, monospace">    neighbour: [{pid,<0.227.0>},</font></div><div><font face="courier new, monospace">                  {registered_name,[]},</font></div><div><font face="courier new, monospace">                  {initial_call,</font></div><div><font face="courier new, monospace">                      {gen,init_it,</font></div><div><font face="courier new, monospace">                          ['Argument__1','Argument__2','Argument__3',</font></div><div><font face="courier new, monospace">                           'Argument__4','Argument__5','Argument__6']}},</font></div><div><font face="courier new, monospace">                  {current_function,{erlang,hibernate,3}},</font></div><div><font face="courier new, monospace">                  {ancestors,</font></div><div><font face="courier new, monospace">                      [<0.213.0>,rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]},</font></div><div><font face="courier new, monospace">                  {messages,[]},</font></div><div><font face="courier new, monospace">                  {links,[<0.213.0>,<0.228.0>]},</font></div><div><font face="courier new, monospace">                  {dictionary,</font></div><div><font face="courier new, monospace">                      [{process_name,</font></div><div><font face="courier new, monospace">                           {rabbit_mirror_queue_coordinator,</font></div><div><font face="courier new, monospace">                               {resource,<<"/">>,queue,<<"Appconnect">>}}}]},</font></div><div><font face="courier new, monospace">                  {trap_exit,false},</font></div><div><font face="courier new, monospace">                  {status,waiting},</font></div><div><font face="courier new, monospace">                  {heap_size,377},</font></div><div><font face="courier new, monospace">                  {stack_size,0},</font></div><div><font face="courier new, monospace">                  {reductions,119}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=CRASH REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">  crasher:</font></div><div><font face="courier new, monospace">    initial call: gen:init_it/6</font></div><div><font face="courier new, monospace">    pid: <0.212.0></font></div><div><font face="courier new, monospace">    registered_name: []</font></div><div><font face="courier new, monospace">    exception exit: {noproc,</font></div><div><font face="courier new, monospace">                        {gen_server2,call,</font></div><div><font face="courier new, monospace">                            [msg_store_persistent,</font></div><div><font face="courier new, monospace">                             {client_terminate,</font></div><div><font face="courier new, monospace">                                 <<197,113,14,78,169,98,103,74,158,178,5,165,</font></div><div><font face="courier new, monospace">                                   183,174,221,28>>},</font></div><div><font face="courier new, monospace">                             infinity]}}</font></div><div><font face="courier new, monospace">      in function  gen_server2:terminate/3</font></div><div><font face="courier new, monospace">    ancestors: [rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]</font></div><div><font face="courier new, monospace">    messages: []</font></div><div><font face="courier new, monospace">    links: [<0.219.0>]</font></div><div><font face="courier new, monospace">    dictionary: [{random_seed,{1397,21447,24766}},</font></div><div><font face="courier new, monospace">                  {process_name,</font></div><div><font face="courier new, monospace">                      {rabbit_amqqueue_process,</font></div><div><font face="courier new, monospace">                          {resource,<<"d1-cbs">>,queue,<<"Appconnect">>}}},</font></div><div><font face="courier new, monospace">                  {guid,{{3043230381,2235775552,2320571086,906396196},0}}]</font></div><div><font face="courier new, monospace">    trap_exit: true</font></div><div><font face="courier new, monospace">    status: running</font></div><div><font face="courier new, monospace">    heap_size: 2584</font></div><div><font face="courier new, monospace">    stack_size: 24</font></div><div><font face="courier new, monospace">    reductions: 6321</font></div><div><font face="courier new, monospace">  neighbours:</font></div><div><font face="courier new, monospace">    neighbour: [{pid,<0.220.0>},</font></div><div><font face="courier new, monospace">                  {registered_name,[]},</font></div><div><font face="courier new, monospace">                  {initial_call,</font></div><div><font face="courier new, monospace">                      {gen,init_it,</font></div><div><font face="courier new, monospace">                          ['Argument__1','Argument__2','Argument__3',</font></div><div><font face="courier new, monospace">                           'Argument__4','Argument__5','Argument__6']}},</font></div><div><font face="courier new, monospace">                  {current_function,{erlang,hibernate,3}},</font></div><div><font face="courier new, monospace">                  {ancestors,</font></div><div><font face="courier new, monospace">                      [<0.219.0>,<0.212.0>,rabbit_amqqueue_sup,rabbit_sup,</font></div><div><font face="courier new, monospace">                       <0.145.0>]},</font></div><div><font face="courier new, monospace">                  {messages,[]},</font></div><div><font face="courier new, monospace">                  {links,[<0.219.0>]},</font></div><div><font face="courier new, monospace">                  {dictionary,</font></div><div><font face="courier new, monospace">                      [{random_seed,{1397,21447,23446}},</font></div><div><font face="courier new, monospace">                       {process_name,</font></div><div><font face="courier new, monospace">                           {gm,{resource,<<"d1-cbs">>,queue,</font></div><div><font face="courier new, monospace">                                   <<"Appconnect">>}}}]},</font></div><div><font face="courier new, monospace">                  {trap_exit,false},</font></div><div><font face="courier new, monospace">                  {status,waiting},</font></div><div><font face="courier new, monospace">                  {heap_size,233},</font></div><div><font face="courier new, monospace">                  {stack_size,0},</font></div><div><font face="courier new, monospace">                  {reductions,245}]</font></div><div><font face="courier new, monospace">    neighbour: [{pid,<0.219.0>},</font></div><div><font face="courier new, monospace">                  {registered_name,[]},</font></div><div><font face="courier new, monospace">                  {initial_call,</font></div><div><font face="courier new, monospace">                      {gen,init_it,</font></div><div><font face="courier new, monospace">                          ['Argument__1','Argument__2','Argument__3',</font></div><div><font face="courier new, monospace">                           'Argument__4','Argument__5','Argument__6']}},</font></div><div><font face="courier new, monospace">                  {current_function,{erlang,hibernate,3}},</font></div><div><font face="courier new, monospace">                  {ancestors,</font></div><div><font face="courier new, monospace">                      [<0.212.0>,rabbit_amqqueue_sup,rabbit_sup,<0.145.0>]},</font></div><div><font face="courier new, monospace">                  {messages,[]},</font></div><div><font face="courier new, monospace">                  {links,[<0.212.0>,<0.220.0>]},</font></div><div><font face="courier new, monospace">                  {dictionary,</font></div><div><font face="courier new, monospace">                      [{process_name,</font></div><div><font face="courier new, monospace">                           {rabbit_mirror_queue_coordinator,</font></div><div><font face="courier new, monospace">                               {resource,<<"d1-cbs">>,queue,</font></div><div><font face="courier new, monospace">                                   <<"Appconnect">>}}}]},</font></div><div><font face="courier new, monospace">                  {trap_exit,false},</font></div><div><font face="courier new, monospace">                  {status,waiting},</font></div><div><font face="courier new, monospace">                  {heap_size,377},</font></div><div><font face="courier new, monospace">                  {stack_size,0},</font></div><div><font face="courier new, monospace">                  {reductions,119}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=SUPERVISOR REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">     Supervisor: {local,rabbit_amqqueue_sup}</font></div><div><font face="courier new, monospace">     Context:    shutdown_error</font></div><div><font face="courier new, monospace">     Reason:     {noproc,</font></div><div><font face="courier new, monospace">                     {gen_server2,call,</font></div><div><font face="courier new, monospace">                         [msg_store_persistent,</font></div><div><font face="courier new, monospace">                          {client_terminate,</font></div><div><font face="courier new, monospace">                              <<186,194,196,141,2,108,179,221,99,117,59,65,</font></div><div><font face="courier new, monospace">                                250,235,145,61>>},</font></div><div><font face="courier new, monospace">                          infinity]}}</font></div><div><font face="courier new, monospace">     Offender:   [{nb_children,1},</font></div><div><font face="courier new, monospace">                  {name,rabbit_amqqueue},</font></div><div><font face="courier new, monospace">                  {mfargs,{rabbit_amqqueue_process,start_link,[]}},</font></div><div><font face="courier new, monospace">                  {restart_type,temporary},</font></div><div><font face="courier new, monospace">                  {shutdown,4294967295},</font></div><div><font face="courier new, monospace">                  {child_type,worker}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=SUPERVISOR REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">     Supervisor: {local,rabbit_amqqueue_sup}</font></div><div><font face="courier new, monospace">     Context:    shutdown_error</font></div><div><font face="courier new, monospace">     Reason:     {noproc,</font></div><div><font face="courier new, monospace">                     {gen_server2,call,</font></div><div><font face="courier new, monospace">                         [msg_store_persistent,</font></div><div><font face="courier new, monospace">                          {client_terminate,</font></div><div><font face="courier new, monospace">                              <<162,87,146,34,151,178,125,226,157,199,2,24,48,</font></div><div><font face="courier new, monospace">                                57,175,102>>},</font></div><div><font face="courier new, monospace">                          infinity]}}</font></div><div><font face="courier new, monospace">     Offender:   [{nb_children,1},</font></div><div><font face="courier new, monospace">                  {name,rabbit_amqqueue},</font></div><div><font face="courier new, monospace">                  {mfargs,{rabbit_amqqueue_process,start_link,[]}},</font></div><div><font face="courier new, monospace">                  {restart_type,temporary},</font></div><div><font face="courier new, monospace">                  {shutdown,4294967295},</font></div><div><font face="courier new, monospace">                  {child_type,worker}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=SUPERVISOR REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">     Supervisor: {local,rabbit_amqqueue_sup}</font></div><div><font face="courier new, monospace">     Context:    shutdown_error</font></div><div><font face="courier new, monospace">     Reason:     {noproc,</font></div><div><font face="courier new, monospace">                     {gen_server2,call,</font></div><div><font face="courier new, monospace">                         [msg_store_persistent,</font></div><div><font face="courier new, monospace">                          {client_terminate,</font></div><div><font face="courier new, monospace">                              <<197,113,14,78,169,98,103,74,158,178,5,165,183,</font></div><div><font face="courier new, monospace">                                174,221,28>>},</font></div><div><font face="courier new, monospace">                          infinity]}}</font></div><div><font face="courier new, monospace">     Offender:   [{nb_children,1},</font></div><div><font face="courier new, monospace">                  {name,rabbit_amqqueue},</font></div><div><font face="courier new, monospace">                  {mfargs,{rabbit_amqqueue_process,start_link,[]}},</font></div><div><font face="courier new, monospace">                  {restart_type,temporary},</font></div><div><font face="courier new, monospace">                  {shutdown,4294967295},</font></div><div><font face="courier new, monospace">                  {child_type,worker}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=SUPERVISOR REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">     Supervisor: {local,rabbit_amqqueue_sup}</font></div><div><font face="courier new, monospace">     Context:    shutdown_error</font></div><div><font face="courier new, monospace">     Reason:     {noproc,</font></div><div><font face="courier new, monospace">                     {gen_server2,call,</font></div><div><font face="courier new, monospace">                         [msg_store_persistent,</font></div><div><font face="courier new, monospace">                          {client_terminate,</font></div><div><font face="courier new, monospace">                              <<245,180,254,87,28,109,130,169,124,40,55,231,</font></div><div><font face="courier new, monospace">                                11,150,52,177>>},</font></div><div><font face="courier new, monospace">                          infinity]}}</font></div><div><font face="courier new, monospace">     Offender:   [{nb_children,1},</font></div><div><font face="courier new, monospace">                  {name,rabbit_amqqueue},</font></div><div><font face="courier new, monospace">                  {mfargs,{rabbit_amqqueue_process,start_link,[]}},</font></div><div><font face="courier new, monospace">                  {restart_type,temporary},</font></div><div><font face="courier new, monospace">                  {shutdown,4294967295},</font></div><div><font face="courier new, monospace">                  {child_type,worker}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">=SUPERVISOR REPORT==== 9-Apr-2014::18:44:04 ===</font></div><div><font face="courier new, monospace">     Supervisor: {local,rabbit_amqqueue_sup}</font></div><div><font face="courier new, monospace">     Context:    shutdown_error</font></div><div><font face="courier new, monospace">     Reason:     {noproc,</font></div><div><font face="courier new, monospace">                     {gen_server2,call,</font></div><div><font face="courier new, monospace">                         [msg_store_persistent,</font></div><div><font face="courier new, monospace">                          {client_terminate,</font></div><div><font face="courier new, monospace">                              <<123,55,234,4,244,110,71,11,21,208,154,4,170,7,</font></div><div><font face="courier new, monospace">                                65,98>>},</font></div><div><font face="courier new, monospace">                          infinity]}}</font></div><div><font face="courier new, monospace">     Offender:   [{nb_children,1},</font></div><div><font face="courier new, monospace">                  {name,rabbit_amqqueue},</font></div><div><font face="courier new, monospace">                  {mfargs,{rabbit_amqqueue_process,start_link,[]}},</font></div><div><font face="courier new, monospace">                  {restart_type,temporary},</font></div><div><font face="courier new, monospace">                  {shutdown,4294967295},</font></div><div><font face="courier new, monospace">                  {child_type,worker}]</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">(This same crash report is repeated several times afterwards)</font></div><div><font face="courier new, monospace">=CRASH REPORT==== 9-Apr-2014::18:44:08 ===</font></div><div><font face="courier new, monospace">  crasher:</font></div><div><font face="courier new, monospace">    initial call: rabbit_mgmt_external_stats:init/1</font></div><div><font face="courier new, monospace">    pid: <0.248.0></font></div><div><font face="courier new, monospace">    registered_name: rabbit_mgmt_external_stats</font></div><div><font face="courier new, monospace">    exception exit: {noproc,</font></div><div><font face="courier new, monospace">                        {gen_server,call,</font></div><div><font face="courier new, monospace">                            [rabbit_node_monitor,partitions,infinity]}}</font></div><div><font face="courier new, monospace">      in function  gen_server:terminate/6</font></div><div><font face="courier new, monospace">    ancestors: [rabbit_mgmt_agent_sup,<0.246.0>]</font></div><div><font face="courier new, monospace">    messages: []</font></div><div><font face="courier new, monospace">    links: [<0.247.0>]</font></div><div><font face="courier new, monospace">    dictionary: []</font></div><div><font face="courier new, monospace">    trap_exit: false</font></div><div><font face="courier new, monospace">    status: running</font></div><div><font face="courier new, monospace">    heap_size: 1597</font></div><div><font face="courier new, monospace">    stack_size: 24</font></div><div><font face="courier new, monospace">    reductions: 375236</font></div><div><font face="courier new, monospace">  neighbours:</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace"><br></font></div></div><div><font face="courier new, monospace">        </font></div></div>