ニュース

pg_bulkload は PostgreSQL 専用の高速データロードツールです。 PostgreSQL デフォルトのローダと比べて3倍以上に高速にデータを投入できます。 高速化のために、オーバーヘッドの少ないバッファ管理、WAL 書き出しの省略、既存のインデックスを再利用したインデックスの再作成などを利用しています。

pg_bulkload 2.4.0 と 3.0alpha1 は PostgreSQL 8.4, 8.3, 8.2 をサポートしており、Windows と POSIX プラットホームで動作します。 両バージョンにはそれぞれ新機能も追加されています。

pg_bulkload 2.4.0

• 2.4.0 リリースノート

PostgreSQL 8.4 を新たにサポートし、使いやすさも向上しています。 読み込みエラーのスキップ、一意性制約違反のレポート、新しいコマンドラインオプションが追加されています。

• PostgreSQL 8.4, 8.3, 8.2 をサポートしました。
• 読み込みエラーのスキップをサポートしました。最大 MAX_ERR_CNT 個のエラーを無視し、データロードを続行します。
• 20億行を超える行数のデータを一度にロードできるようになりました。
• pgxs (USE_PGXS) 環境をつかったコンパイルをサポートしました。
• 一意制約違反の際に、競合したキーの値をログに出力します。
• ロード状態を管理するためのディレクトリ $PGDATA/pg_bulkload を自動的に作成します。
• クライアントコマンド pg_bulkload にコマンドラインオプションを追加しました。
  • -i, --infile=INFILE : 入力ファイルを指定します。(相対パスも可)
  • -o="key=value" : 追加のロードオプションです。
• 改行文字が CR+LF である CSV ファイルを扱えるようになりました。

pg_bulkload 3.0 alpha 1

• 3.0 alpha 1 リリースノート

このリリースは技術評価版です。 新機能として、一意性制約違反の自動解消、パラレルロード、リモートからのデータロードをサポートします。

• 一意性制約違反を解消できます。動作は ON_DUPLICATE オプションで制御できます。
• パラレルローダが追加されました。WRITER=PARALLEL を指定すると、入力ファイルの読み込みとテーブルへの書き出しをそれぞれ別プロセスで行います。
• リモートからのデータロードを COPY FROM プロトコルを介して行います。このモードは非管理者ユーザでも利用できます。