23503
13432
CeleryとDjangoを使用してRabbitMQをEC2インスタンスで実行し、かなり基本的なバックグラウンド処理を実行しようとしています。大規模なEC2インスタンスでrabbitmq-server2.5.0を実行しています。
こちらの手順(ページの一番下)に従って、テストクライアントをダウンロードしてインストールしました。テストスクリプトを手放したところ、期待どおりの出力が得られました。
回復速度:2350 msg / s、最小/平均/最大遅延:588078478/588352905/588588968マイクロ秒
回復速度:1844 msg / s、最小/平均/最大遅延:588589350/588845737/589195341マイクロ秒
回復速度:1562 msg / s、最小/平均/最大遅延:589182735/589571192/589959071マイクロ秒
回復速度:2080 msg / s、最小/平均/最大遅延:589959557/590284302/590679611マイクロ秒
問題は、それが信じられないほどの量のCPUを消費していることです。
PIDユーザーPRNI VIRT RES SHR S%CPU%MEM TIME +コマンド
668rabbitmq 20 0 618m 506m 2340 S 166 6.8 2:31.53beam.smp
1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0:24.75 java
以前にマイクロインスタンスでテストしていましたが、インスタンス上のすべてのリソースを完全に消費していました。
これは予想されることですか?私は何か間違ったことをしていますか?
ありがとう。
編集:
この投稿の本当の理由は、celerybeatがしばらくは正常に動作しているように見えた後、突然システム上のすべてのリソースを消費したためです。私はrabbitmq管理ツールをインストールし、セロリとrabbitmqテストスイートからキューがどのように作成されるかを調査してきました。セロリがこれらの列を孤立させており、それらが消えることはないように私には思えます。
これは、テストスイートによって生成されたキューです。 1つのキューが作成され、すべてのメッセージがそのキューに入り、出てきます。
Celerybeatは、タスクを実行するたびに新しいキューを作成します。
自動削除パラメーターをtrueに設定しますが、これらのキューがいつ削除されるかは完全にはわかりません。彼らはゆっくりと蓄積し、資源を食べているようです。
誰かアイデアがありますか?
ありがとう。 
わかりました、わかりました。
関連するドキュメントは次のとおりです。
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
古い結果は自動的に消去されないため、必ず結果を消費する必要があります。そうしないと、キューの数が最終的に制御不能になります。 RabbitMQ 2.1.1以降を実行している場合は、キューのx-expires引数を利用できます。これにより、キューは未使用になってから一定の制限時間後に期限切れになります。キューの有効期限は、CELERY_AMQP_TASK_RESULT_EXPIRES設定(デフォルトでは有効になっていません)によって設定できます(秒単位)。
|
エリックコナーの彼自身の問題に対する解決策に追加するには、http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practicesは次のように述べています。
不要な結果は無視してください
タスクの結果を気にしない場合は、必ずignore_resultオプションを設定してください。結果を保存すると、時間とリソースが無駄になります。
@ app.task(ignore_result = True)
def mytask(…):
何か()
CELERY_IGNORE_RESULT設定を使用して、結果をグローバルに無効にすることもできます。
それとエリックの答えは、おそらく結果のバックエンドを管理するための最低限のベストプラクティスです。
結果バックエンドが必要ない場合は、CELERY_IGNORE_RESULTを設定するか、結果バックエンドをまったく設定しないでください。結果のバックエンドが必要な場合は、CELERY_AMQP_TASK_RESULT_EXPIRESを設定して、未使用の結果が蓄積しないように保護します。特定のアプリで必要ない場合は、上記のようにローカル無視を設定します。
|
あなたの答え
StackExchange.ifUsing( "editor"、function(){
StackExchange.using( "externalEditor"、function(){
StackExchange.using( "スニペット"、function(){
StackExchange.snippets.init();
});
});
}、 "コードスニペット");
StackExchange.ready(function(){
var channelOptions = {
タグ: "" .split( "")、
id: "1"
};
initTagRenderer( ""。split( "")、 "" .split( "")、channelOptions);
StackExchange.using( "externalEditor"、function(){
//スニペットが有効になっている場合は、スニペットの後にエディターを起動する必要があります
if(StackExchange.settings.snippets.snippetsEnabled){
StackExchange.using( "スニペット"、function(){
createEditor();
});
}
そうしないと {
createEditor();
}
});
function createEditor(){
StackExchange.prepareEditor({
useStacksEditor:false、
heartbeatType: '回答'、
autoActivateHeartbeat:false、
convertImagesToLinks:true、
noModals:true、
showLowRepImageUploadWarning:true、
レピュテーションToPostImages:10、
bindNavPrevention:true、
後置: ""、
imageUploader:{
brandingHtml: "Powered by \ u003ca href = \" https://imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http://www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.7256 4.91628 46.0943 5.50789C45.7 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1419C32.492 12.6954 34.1182 14.0484 37.0451 14.0484C39.9723 14.0 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.5455C35.8209 11.5455 35.495410.8 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evenodd \ "d = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913 4.66231 28.4555 4.94978 28.1109 5.50789C27 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8346C28.1256 12.8854 28.1301 12.9342 28.1301 12.983C 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6335ZM24.1317 9.27932C24.1317 7.94324 24.9928 7.0976626 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.8045 11.9512C16.8045 13.2535 17.2637 13.8962 18.2 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.62866 8.57809 4.89931 7.9466 5.5079C7.5836.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5。893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 7.58817 14.3365 6.91179 15.4269 6.91179C16.402791179 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209#0.400291Z \ uB =塗りつぶし\ u003e \ u003 c / a \ u003e "、
contentPolicyHtml:「\ u003ca href =でライセンスされたユーザー投稿」https://stackoverflow.com/help/licensing“ \ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =” https://stackoverflow.com / legal / content-policy \ "\ u003e(コンテンツポリシー)\ u003c / a \ u003e"、
allowUrls:true
}、
オンデマンド:true、
DiscardSelector: ".discard-answer"
、immediatelyShowMarkdownHelp:true、enableTables:true、enableSnippets:true
});
}
});
Stack Overflowへの回答を提供していただきありがとうございます!
必ず質問に答えてください。詳細を提供し、あなたの研究を共有してください!
しかし避けてください…
助けを求める、説明する、または他の答えに答える。
意見に基づいて発言する。参照または個人的な経験でそれらをバックアップします。
詳細については、優れた回答を書くためのヒントをご覧ください。
ドラフトを保存しました
ドラフトは破棄されました
サインアップまたはログイン
StackExchange.ready(function(){
StackExchange.helpers.onClickDraftSave( '#login-link');
});
Googleを使用してサインアップ
Facebookを使用してサインアップ
Eメールとパスワードを使用してサインアップ
参加する
ゲストとして投稿
名前
Eメール
必須ですが、表示されません
StackExchange.ready(
関数 () {
StackExchange.openid.initPostLogin( '。new-post-login'、 'https%3a%2f%2fstackoverflow.com%2fquestions%2f6362829%2frabbitmq-on-ec2-棒を消費するトン%23new-answer'、 ' question_page ');
}
);
ゲストとして投稿
名前
Eメール
必須ですが、表示されません
あなたの答えを投稿してください
破棄
「回答を投稿」をクリックすると、利用規約、プライバシーポリシー、Cookieポリシーに同意したことになります。
あなたが探している答えではありませんか? djangorabbitmqセロリのタグが付いた他の質問を閲覧するか、独自の質問をしてください。