我正在尝试使用Celery和Django使RabbitMQ与EC2实例一起进行一些非常基本的后台处理。我在大型EC2实例上运行Rabbitmq-server 2.5.0。 我按照此处的说明（在页面底部）下载并安装了测试客户端。我只是放开测试脚本，并获得了预期的输出： 接收速度：2350 msg / s，最小/平均/最大延迟：588078478/588352905/588588968微秒 接收速度：1844 msg / s，最小/平均/最大延迟：588589350/588845737/589195341微秒 接收速度：1562 msg / s，最小/平均/最大延迟：589182735/589571192/589959071微秒 接收速度：2080毫秒/秒，最小/平均/最大延迟：589959557/590284302/590679611微秒 问题在于它消耗了大量的CPU： PID用户PR NI VIRT RES SHR S％CPU％MEM TIME +命令 668 Rabbitmq 20 0 618m 506m 2340 S 166 6.8 2：31.53 beam.smp 1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0：24.75 java 我之前在微实例上进行测试，它完全消耗了实例上的所有资源。 这是可以预期的吗？难道我做错了什么？ 谢谢。 编辑： 这篇文章的真正原因是celerybeat似乎可以运行一段时间，然后突然消耗了系统上的所有资源。我安装了rabbitmq管理工具，并一直在研究如何从芹菜和rabbitmq测试套件中创建队列。在我看来，芹菜正在孤立这些队列，并且它们并没有消失。 这是测试套件生成的队列。创建一个队列，所有消息进入并发出： Celerybeat每次运行任务时都会创建一个新队列： 它将auto-delete参数设置为true，但是我不确定这些队列何时被删除。他们似乎只是慢慢地积累和消耗资源。 有人有主意吗？ 谢谢。
2021-01-29 08:15:56
好的，我知道了。
这是相关的文档：
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
旧结果将不会自动清除，因此您必须确保使用结果，否则队列数最终将失去控制。如果您运行的是RabbitMQ 2.1.1或更高版本，则可以将x-expires参数用于队列，队列将在未使用后的特定时间限制后过期。队列到期时间可以通过CELERY_AMQP_TASK_RESULT_EXPIRES设置（以秒为单位）设置（默认情况下未启用）。
|
要添加到Eric Conner自己的问题的解决方案中，http：//docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices指出：
忽略不需要的结果
如果您不关心任务的结果，请务必设置ignore_result选项，因为存储结果会浪费时间和资源。
@ app.task（ignore_result =真实）
def mytask（…）：
东西（）
甚至可以使用CELERY_IGNORE_RESULT设置全局禁用结果。
加上Eric的答案，可能是管理结果后端的最低限度的最佳实践。
如果您不需要结果后端，请设置CELERY_IGNORE_RESULT或根本不设置结果后端。如果确实需要结果后端，请设置CELERY_AMQP_TASK_RESULT_EXPIRES以防止未使用的结果累积。如果您不需要特定的应用程序，请按上述设置本地忽略。
|
你的答案
StackExchange.ifUsing（“ editor”，function（）{
StackExchange.using（“ externalEditor”，function（）{
StackExchange.using（“ snippets”，function（）{
StackExchange.snippets.init（）;
}）;
}）;
}，“代码段”）；
StackExchange.ready（function（）{
var channelOptions = {
标签：“” .split（“”），
id：“ 1”
};
initTagRenderer（“”。split（“”），“” .split（“”），channelOptions）;
StackExchange.using（“ externalEditor”，function（）{
//如果启用了摘要，则必须在摘要后触发编辑器
如果（StackExchange.settings.snippets.snippetsEnabled）{
StackExchange.using（“ snippets”，function（）{
createEditor（）;
}）;
}
其他{
createEditor（）;
}
}）;
函数createEditor（）{
StackExchange.prepareEditor（{
useStacksEditor：否，
heartbeatType：“答案”，
autoActivateHeartbeat：否，
convertImagesToLinks：是，
noModals：是的，
showLowRepImageUploadWarning：是的，
声望：ToPostImages：10，
bindNavPrevention：是的，
后缀：“”，
imageUploader：{
brandingHtml：“采用\ u003ca href = \“ https：//imgur.com/ \” \ u003e \ u003csvg class = \“ svg-icon \” width = \“ 50 \” height = \“ 18 \” viewBox = \“ 0 0 50 18 \” fill = \“ none \” xmlns = \“ http：//www.w3.org/2000/svg \” \ u003e \ u003cpath d = \“ M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.7256 4.91628 46.0943 5.50789C45.74.6 4.313.6412 4.313.6662 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \“ / \ u003e \ u003cpath d = \” M32.492 10.1419C32.492 12.6954 34.1182 14.048437.0451 14.0484 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.5455C35.8209 11.5455 35.4954 10.8 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \“ / \ u003e \ u003cpath fill-rule = \” evenodd \“ clip-rule = \” evenodd \“ d = \“ M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913 4.66231 28.4555 4.94978 28.1109 5.50789C6.723 4.5608.787 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8346C28.1256 12.8854 28.1301 12.9342 28.1301 12.983C28.14.8349 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6335ZM24.1317 9.27932C24.1317 7.94324 24.9928 7.09766 26.1024 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \“ / \ u003e \ u003cpath d = \” M16.8045 11.9512C16.8045 13.2535 17.2637 13.89629.31965 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.62866 8.57809 4.89931 7.9466 5.5079C7.5835066.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5。893 13.2535 11.3711 13.8962 12.4044 13.8962 13.8962C13.4375 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 7.58817 14.3365 6.91179 15.4269 16.8045 6.91179C16.402791179 7.58817 d 16.8045 8.94108 \ 6.91179 3。 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676 3.57676C2.90056 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209＃0.400291Z \ UB =填充\ u003e \ U003 C / A \ u003e”，
contentPolicyHtml：//stackoverflow.com/help/licensing“\ u003ecc BY-SA \ u003c / A \ u003e \ u003ca HREF =” https://stackoverflow.com /法律/：https“开头用户贡献的\ u003ca HREF =许可” content-policy \“ \ u003e（内容策略）\ u003c / a \ u003e”，
allowUrls：是
}，
onDemand：是的，
throwSelector：“。discard-answer”
，immediatelyShowMarkdownHelp：真，enableTables：真，enableSnippets：真
}）;
}
}）;
感谢您为Stack Overflow提供答案！
请务必回答问题。提供详细信息并分享您的研究！
但是要避免...
寻求帮助，澄清或回答其他答案。
根据意见发表声明；用参考或个人经验来备份它们。
要了解更多信息，请参阅有关编写出色答案的提示。
草稿已保存
草稿丢弃
注册或登录
StackExchange.ready（function（）{
StackExchange.helpers.onClickDraftSave（ '＃登录链接'）;
}）;
使用Google注册
注册使用Facebook的
使用电子邮件和密码注册
提交
以访客身份发布
名称
电子邮件
必需，但从未显示
StackExchange.ready（
函数（）{
StackExchange.openid.initPostLogin（'。 question_page'）;
}
）;
出任嘉宾
名称
电子邮件
必需，但从未显示
发表您的答案
丢弃
点击“发布答案”，即表示您同意我们的服务条款，隐私政策和Cookie政策
不是您要找的答案？浏览标记为django rabbitmq celery的其他问题或询问您自己的问题。