<div dir="ltr">I do this sort of thing in pika using an asynchronous connection. I would suggest tornado_connection.<div><br></div><div>Then use pika's connection.add_timeout method.</div><div><br></div><div>While doing any operation, like the summarization, you won't be yielding to pika's event loop. This can cause heartbeat problems if the time taken goes over the heartbeat interval, so watch for that.</div>
<div><br></div><div>ml</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Jan 17, 2014 at 8:07 PM,  <span dir="ltr"><<a href="mailto:kgoess@bepress.com" target="_blank">kgoess@bepress.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">We've been wrestling with this for a couple days and aren't any nearer a solution, so any suggestions would be helpful.<div>
<br></div><div>We have a queue of unaggregated data, hits per article.  We'd like to have a listener on that queue collect messages for, say 10,000 messages, or ten minutes, whichever comes first, before aggregating/coalescing the data and submitting that to a second queue.</div>
<div><br></div><div>We've been working with python AMQP (pika) code using the pika.BlockingConnection and basic_consume, using a SIGALRM timer. We're seeing lots of conflicts between the basic_consume callback, the SIGALRM callback, sending acknowledgments on the incoming data, and sending the outgoing aggregated data to the second queue. </div>
<div><br></div><div>After a couple days experimenting with different approaches, we thought it might be productive to ask if anybody else has already solved this problem and can suggest a strategy, or if anybody things pika.BlockingConnection is even the right tool for this?</div>
<div><br></div><div>Thanks for any suggestions...</div></div><br>_______________________________________________<br>
rabbitmq-discuss mailing list<br>
<a href="mailto:rabbitmq-discuss@lists.rabbitmq.com">rabbitmq-discuss@lists.rabbitmq.com</a><br>
<a href="https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss" target="_blank">https://lists.rabbitmq.com/cgi-bin/mailman/listinfo/rabbitmq-discuss</a><br>
<br></blockquote></div><br></div>