http://blog.mizzy.org/articles/2007/05/25/linux-disk-io-01 en-us 40 <p><a href="http://blog.mizzy.org/articles/2007/05/23/linux-disk-io-00">前回のエントリ</a> について、naoya さんから<a href="http://d.hatena.ne.jp/naoya/20070523/1179938637">僕の期待以上の素晴らしい回答</a>を頂きました。感謝感謝です。</p> <p>詳細は上記エントリをじっくり読んで頂きたいのですが、僕の疑問への直接の答えとなるのが、まとめにある</p> <blockquote> <ul> <li>write はプロセスを待たせない</li> <li>ただし明示的に sync する場合は待たせる</li> </ul> </blockquote> <p>ですね。「write はプロセスを待たせない」が正しい、というのは naoya さんの解説を読んで納得しました。プロセスが write するということと、それが実際にディスクに書き出されることを、区別しないで考えていたのが僕の敗因ですね。</p> <p>また、こちらの環境で kjournald や qmail-queue プロセスが待たされていたのは、sync してるから、ということでした。kjournald は確かめていないのですが、qmail-queue のソースの中では確かに fsync() が実行されていました。考えてみれば当然ですよね。ジャーナルのメタデータやメールキューなど、大事なデータを write して sync しないなんてことはあり得ないでしょうし。</p> <p>なので、<a href="http://d.hatena.ne.jp/hirose31/">id:hirose31</a>さんからのコメント「fsync(2)のせい？」がずばり回答になっていました。ありがとうございます。今度カレーおごらせてください。</p> <p>というわけで、「write はユーザプロセスを待たせない？」は「待たせない」が答え、ということで完結です。</p> <p>あと、</p> <blockquote> <p>ということですが free の結果では、プロセスに割り当てるためのメモリが足りてるかどうかはわかりますが、ページキャッシュ用にメモリが足りてるかどうかはわかりません。</p> <p>実際そのサーバーが主な仕事で使っているデータは、合計でどのぐらいのサイズでしょう。おそらく、キューに溜まったメールその他 OS 上で必要なデータのサイズをあわせると 800MB を超えるんではないかなあと思います。外してたらごめん。</p> </blockquote> <p>もおっしゃるとおりですね。プロセスに必要なメモリ容量と、キャッシュに必要なメモリ容量をちゃんと区別していませんでした。</p> <p>となると、メモリを増やせば書き込み性能が向上する可能性があるのでは、と思ったのですが、今回のケースではおそらく向上することはなさそうです。というのも、iostat の値を見てると、avgqu-sz が 1 日平均でおよそ 5、短時間で見ると 10 とか 20 あるいはそれ以上ということがざらにあります。avgqu-sz はキューに入っていて待ちとなっている I/O リクエストの数なので、常に処理待ちとなっている I/O リクエストが存在する、ということなります。なので、ページキャッシュの容量の問題ではなく、ディスクの性能がボトルネックになっている、と言えそうです。（これも自分の勘違いなら恥ずかしいなー…メモリを簡単に増やせるなら、試してみたいんですけどね。）</p> <p>naoya さん、詳細な解説ありがとうございました。大変勉強になりました。僕のために時間を割いて長文エントリ書いてくれた、と思うとちょっと萌えました。（べっ、別にあんたのために…、とか言われそうですが。）</p> Fri, 25 May 2007 20:03:00 +0900 urn:uuid:07d4b168-273f-43ef-a3be-1508b1b1efe8 Gosuke Miyashita http://blog.mizzy.org/articles/2007/05/25/linux-disk-io-01 linux http://blog.mizzy.org/articles/trackback/513 <p>はじめまして。</p> <p>そうですね。メモリ減らしても性能が悪化しないようであればディスクがボトルネック、更に悪化するようならページキャッシュ容量がネック、ということになりそうですね。</p> <p>ですが、メモリ増やす以上に、こちらも難しいですねー。本番稼動しているサーバで性能低下させるようなことをしたら、怒られてしまいます。</p> Tue, 29 May 2007 18:50:23 +0900 urn:uuid:8c608098-b803-4832-8441-c67930aa68a7 http://blog.mizzy.org/articles/2007/05/25/linux-disk-io-01#comment-3123 <p>初めまして。楽しく読ませていただいています。</p> <blockquote> <p>メモリを簡単に増やせるなら、試してみたいんですけどね。</p> </blockquote> <p>ふと思ったのですが、メモリを増やすのは大変ですが、減らすのはどうでしょうか。 kernelを起動するときにメモリサイズを明示的に指定することで、実際に搭載しているメモリよりも少ないメモリだけを使うように制限することができます。 これによる性能の悪化の様子を観測すれば、ボトルネックがディスクなのかページキャッシュ容量なのか推測できないでしょうか。あくまで推測ですが。</p> Sun, 27 May 2007 02:02:39 +0900 urn:uuid:ba7508e3-94c8-4cce-ab97-07955c65247e http://blog.mizzy.org/articles/2007/05/25/linux-disk-io-01#comment-2925