2012-10-25
Linuxが管理するキャッシュ領域には、バッファキャッシュとページキャッシュ領域があって、topコマンドや/proc/meminfoの「bufferes」「cached」という項目を見れば、現在のそれぞれのキャッシュ領域がどの程度なのかを確認することができる。
どちらも、ディスクの読み書きをキャッシュしてデータへのアクセスを高速化するという点では同じだが、それぞれがどのような意味で、どういう違いがあるのかについて、Quoraに分かりやすい解説 があったので、翻訳してみた。
ページキャッシュは、ファイルI/Oを最適化するために、ファイルのページをキャッシュする。バッファキャッシュは、ブロックI/Oを最適化するために、ディスクブロックをキャッシュする。
Linuxカーネル2.4よりも前では、2つのキャッシュは明白に違うものだった。ファイルはページキャッシュに、ディスクブロックはバッファキャッシュに載せられていた。ほとんどのファイルがディスク上のファイルシステムによって扱われているとすると、データは2回、すなわち両方のキャッシュそれぞれに取り扱われる。多くのUnixシステムはこれと同じようなパターンを採用している。
これはシンプルな実装だが、明らかに洗練されていないし、非効率である。Linuxカーネル2.4からは、2つのキャッシュのコンテンツは統合された。VM(Virtual Memory)サブシステムがI/Oを司るようになり、それはページキャッシュからデータを取り出す。キャッシュされたデータがファイルとブロックの両方のかたちをとる(ほとんどのデータがそうだが)場合、バッファキャッシュは単純にページキャッシュを指し示す。つまり、データは1つだけがメモリにキャッシュされていることになる。ページキャッシュは、ディスクキャッシュのことを考えた通りのものだ。それは、後続のI/Oを高速化するために、ディスクからデータをキャッシュする。
バッファキャッシュはいまだに残っているが、それは、カーネルは現在もページ単位ではなくブロック単位のブロックI/Oを行う必要があるからだ。ほとんどのブロックはファイルデータのかたちを取っているため、バッファキャッシュの多くはページキャッシュと同等である。しかし、少量のブロックデータ、例えばメタデータやrawブロックI/Oなどは、ファイルを前提にしたものではなく、もっぱらバッファキャッシュによって取り扱われる。
現在のかたちに至った経緯まで含めて説明できるのは、経験豊かな人ならではというべきか。
2012-10-21
ということで、調べたついでなのでreadlineのキーボードショートカットをまとめてみた。知らなかったのもあって意外と勉強になる。なお、使っているターミナルによってはAltの代わりに”Esc→キー”を使う必要がある。
ちなみに、readlineを使っているのはbash, zsh, ksh, mysql, psql, ftp, bcなど色々あるがこれらのコマンドラインツールでは基本的に以下のショートカットキーが使える(ソフトウェアによっては全部が全部使えるわけではない)。
カーソル移動系
さすがにここは定番すぎる。
キー入力
動作
Ctrl-b
カーソルを左に1文字移動
Ctrl-f
カーソルを右に1文字移動
Alt-b
カーソルを左に1単語移動
Alt-f
カーソルを右に1単語移動
Ctrl-a
カーソルを行頭に移動
Ctrl-e
カーソルを行末に移動
Ctrl-x-x
入力を始めた位置と現時点のカーソル位置を交互に移動
削除系
この辺は、知っておくと素早くコマンドを修正できるがなかなか覚えられない。
キー入力
動作
Back space
カーソルの左の文字を削除
Delete
カーソル位置の文字を削除
Ctrl-u
行頭からカーソル位置までの文字を削除
Ctrl-k
カーソル位置から行末までの文字を削除
Alt-d
カーソル位置から次のスペースまでの文字を削除
Ctrl-w
直前の空白からカーソル位置の1文字前までの文字を削除
Ctrl-y
直前に上の削除コマンドで削除した文字をカーソル位置にペースト
Alt-y
n回前に削除した文字をカーソル位置にペースト(入力するたびに前に戻っていく)
ヒストリ系
最後の2つ、引数をペーストするのは知らなかった。そんなに使う感じしないけど。
キー入力
動作
Ctrl-p
1回前に実行されたコマンドを表示
Ctrl-n
1回後に実行されたコマンドを表示
Alt->
元々入力されていたコマンドを表示
Ctrl-r
現在表示されているものより前に実行されたコマンドをインクリメンタルサーチ
Ctrl-s
現在表示されているものより後に実行されたコマンドをインクリメンタルサーチ
Ctrl-J
インクリメンタルサーチを終了
Ctrl-G
インクリメンタルサーチを中止して元に戻る
Alt-Ctrl-y
直前のコマンドの第1引数をカーソル位置にペースト
Alt-.
直前のコマンドの最後の引数をカーソル位置にペースト
Undo系
キー入力
動作
Ctrl-_
入力しているコマンドを全部削除
Alt-r
入力している行を全部削除(複数行入力している時にその行だけを消す)
Ctrl-l
表示を全部消して現在入力している行を一番上に表示
オートコンプリート系
Alt-*とかどういう時に使う想定なんだろうか。
キー入力
動作
Tab
入力をオートコンプリート
Alt-?
オートコンプリートの候補を表示
Alt-*
オートコンプリートの候補を全部入力
入れ替え系
このコマンドどちらも知らなかったが、オプションの順序を間違えた時に簡単に入れ替えたりするのにとても重宝する！
キー入力
動作
Ctrl-t
カーソルの直前の文字とカーソル位置の文字を入れ替える
Alt-t
カーソル位置の前の単語とカーソル位置の単語を入れ替える
その他編集系
これも知らなかった。そんなに使用頻度多くない人もいるだろうが、SQLを入力する時に予約語を大文字で入力したい人とか便利なんじゃないか。
キー入力
動作
Alt-u
カーソル位置の単語の、カーソル位置より後を大文字にし、カーソルは単語の最後に移動
Alt-l
カーソル位置の単語の、カーソル位置より後を小文字にし、カーソルは単語の最後に移動
Alt-c
カーソル位置の単語の先頭文字を大文字にし、カーソルは単語の最後に移動
参考1 : Readline shortcuts
参考2 : GNU Readline Library Documentation
2012-06-18
Linuxでは、自動的にメモリの空き容量をファイルシステムキャッシュ(以下単にキャッシュ)として使用するような仕組みが用意されている。MySQLでMyISAMを使う時のようにOSのキャッシュを使用するような仕組みを使っていたり、単にファイルをNFSで公開しているファイルサーバなどでは、このキャッシュがどの程度効くかによってかなりパフォーマンスが違ってくる。
多数のファイルが読みだされ、かつ読み出し対象ファイルの総容量が物理メモリ容量より多い場合(普通そうだと思うが)、どのくらいのキャッシュヒット率になっているかを知っておくのは、パフォーマンス改善の一助になる。しかし、あるファイルがキャッシュに載っているかどうかを調べたり、ファイルをキャッシュに載せたりするための単純なコマンドというのは実は存在していない(はず)。それで、
とつぶやいたら、
と教えてもらったので、リンク先のサイト にあるスクリプトでキャッシュヒット率を確認してみた。@ishikawa84g 先生ありがとうございます～。
systemtapは、カーネル内部の挙動をトレースするためのツールの一種で、特別なスクリプトを書いてそれに従ってトレースすることができるので、色々な情報を取得することができる。
試してみたのはCentOS 6.2のマシン。systemtapがインストールされてなければインストールする。kernel-develも入っていないようであれば一緒に入れてしまうべし。
$ sudo yum install systemtap kernel-devel
上記リンク先にあるスクリプトをファイルに保存し、そのまま実行するとエラーになってしまう。
$ sudo stap cache-hit-rate.stp
semantic error: libdwfl failure (missing x86\_64 kernel/module debuginfo under '/lib/modules/2.6.18-164.el5/build'): No such file or directory while resolving probe point kernel.function("vfs\_read")
semantic error: no match while resolving probe point vfs.read
semantic error: no match while resolving probe point kernel.function("generic\_make\_request")
semantic error: no match while resolving probe point ioblock.request
Pass 2: analysis failed. Try again with another '-vp 01' option.
カーネルのdebuginfoがないためのエラーのようだ。debuginfoは専用のリポジトリからダウンロードする必要があるため、CentOSのdebuginfoリポジトリを登録する。debuginfoはそれなりにサイズもあるので、既に運用しているサーバにこれから入れるのは少しためらわれることもありそうだ。
/etc/yum.repos.d/CentOS-debuginfo.repo に以下の内容を書き込んで保存する。
[debuginfo]
name=CentOS-$releasever - DebugInfo
baseurl=http://debuginfo.centos.org/$releasever/$basearch/
gpgcheck=0
enabled=0
kernel-debuginfoをインストールする。
$ uname -a
Linux centos62-64-01 2.6.32-220.el6.x86\_64 #1 SMP Tue Dec 6 19:48:22 GMT 2011 x86\_64 x86\_64 x86\_64 GNU/Linux
$ sudo yum install -enablerepo=debuginfo kernel-debuginfo-2.6.32-220.el6.x86_64
パッケージが大きいので時間がかかる。この時、unameでカーネルバージョンを調べて使用しているカーネルと同じバージョンのdebuginfoを指定すること。指定しないとリポジトリにある最新のカーネルのdebuginfoがインストールされてしまう。
この状態でstapコマンドを実行すると、キャッシュのヒット率が5秒おきに15回表示される。
$ sudo stap cache-hit-rate.stp
Starting…
Total Reads (KB) Cache Reads (KB) Disk Reads (KB) Miss Rate Hit Rate
0 0 0 0.00% 0.00%
0 0 0 0.00% 0.00%
0 0 0 0.00% 0.00%
58802 66 58736 99.88% 0.11%
0 0 0 0.00% 0.00%
0 0 0 0.00% 0.00%
58785 58345 440 0.74% 99.25%
0 0 0 0.00% 0.00%
0 0 0 0.00% 0.00%
^C
Average Hit Rate: 49.67
Average Miss Rate: 50.32
キャッシュに読み込まれていないファイルを
$ cat bigfile > /dev/null
とやって読みだしたのが8行目で、ここではファイルのほぼ全てをディスクから読みだしている。もう一度同じコマンドを実行すると、1度目に実行したcatで読みだされた際にファイルがキャッシュに読み込まれているので、ほとんどディスクからの読み出しがなく、11行目のようにほぼキャッシュヒット率100%となり一瞬でファイルの全てにアクセスできる。
スクリプトの作者も書いているが、LVMを使用している場合などにはヒット率が正しく出ない場合があるので、値は参考程度に考えておくべし。
参考
SystemTap
Linux のイントロスペクションと SystemTap
SystemTapでMySQLのDisk I/Oを分析する
