日記/2013/02/07/今日の調査メモ(Grails + MongoDB, alter table と PostgreSQL, gzip,bzip2,xz,lzop,lzmaパフォーマンス比較記事)

• Grails Plugin 探訪 第3回 ～MongoDB GORMプラグイン～ - MyBetaBook
  • http://beta.mybetabook.com/showpage/4f27cf020cf26106dca875d4

GrailsでのDB Migration Plugin : Liquibaseを使ってる。

• 1 Introduction to the Database Migration Plugin 1.3.2
  • http://grails-plugins.github.com/grails-database-migration/docs/manual/guide/1%20Introduction%20to%20the%20Database%20Migration%20Plugin.html

Groovy でメール送信

• groovyあれこれ: groovyとjavamailで添付ファイル付のメールを送信する
  • http://groovyarekore.blogspot.jp/2011/09/groovyjavamail_29.html
• Groovy から e-mail を送信するには？：experiment：So-net blog
  • http://experiment.blog.so-net.ne.jp/2010-01-20

PostgreSQLでのALTER TABLEのパフォーマンス

• Flexible Schemas and PostgreSQL
  • http://thoughts.j-davis.com/2010/05/06/flexible-schemas-and-postgresql/
• PostgreSQL - general - alter table performance
  • http://postgresql.1045698.n5.nabble.com/alter-table-performance-td1878005.html

基本的には、一旦テーブルのINDEXを全部DROPしてからALTER TABLE ADD COLUMNして、終わったらINDEX付け直すのが王道みたい。この辺、内部のストレージの使用方法的にはどんな工夫をしてるのかちょっと気になる。
また、Liquibaseでテーブル列を追加するようなmigrationを行うとき、上記のようにINDEXのDROPと付け直し処理を省力化してくれるのかも検証ポイントか。

Groovy の Process クラスが、 "|" でパイプをつなげられる仕組み：

• GroovyのJDKのJavaDoc参照。java.lang.Processクラスに "Process or(Process right)" メソッドが追加されている。
  • →これにより、"|"→orメソッドの呼び出しで、パイプがつなげられる仕組みになってるみたい。

unix上での圧縮系コマンドいろいろ：gzip, bzip2, xz, lzop, lzma

• Man page of GZIP
  • http://linuxjm.sourceforge.jp/html/GNU_gzip/man1/gzip.1.html
• Man page of bzip2
  • http://linuxjm.sourceforge.jp/html/bzip2/man1/bzip2.1.html
• XZ Utils
  • http://tukaani.org/xz/
• [linux] xz、bzip2、gzipの圧縮率、圧縮展開速度の比較 - 綾小路龍之介の素人思考
  • http://za.toypark.in/html/2010/01-01.html
• gzip・bzip2・lzmaの比較 - masakiの雑記帳
  • http://d.hatena.ne.jp/quox/20080329/p1
• gzip/bzip2/xz/lzop比較． - なぜか数学者にはワイン好きが多い
  • http://d.hatena.ne.jp/tullio/20110515

今探してるのは、テキスト（それも同じフレーズが隣接して多数散らばってる）と、一部でJPEG画像などのバイナリデータが混在する1GB - 10GB(まれに30GB over)なアーカイブファイルにたいして、とにかく圧縮率が良い物。圧縮自体は夜間バッチ処理などで動作させる予定なので、CPU/メモリは、圧縮時は潤沢に使える。伸長は夜間じゃないかもしれないが、伸長速度は遅くても問題ないユースケース。
そうなってくると、xz か lzma という感じになりそう。ただ、xzのサイトの解説見ると "XZ Utils are the successor to LZMA Utils." とあるので、名前的にlzmaは実質、今ならxzで良いのかもしれない。(実際、gzip/bzip2/lzmaの比較記事は2008年、gzip/bzip2/xz/lzopの比較記事は2011年と、タイムラグがある。)

マルチコアを有効活用するpigz/pbzip2の話：

• pigzで巨大ファイル圧縮の並列化 - /var/log/blog.log
  • http://d.hatena.ne.jp/mujiryouhin/20121106/1352182007
• gzip vs. pigz vs. bzip2 vs. pbzip2 - s9y testdrive
  • http://nerdbynature.de/s9y/?251
• マルチコアCPUで 圧縮・解凍をする方法 | さぶみっと！JAPAN
  • http://www.submit.ne.jp/1500
• pbzip2 を使う | Carpe Diem
  • http://www.sssg.org/blogs/naoya/archives/1747