作業メタデータ
書き込みをする場所です。SQLite の DuckLake メタデータで、バージョンからクローンし、次のバージョンに固めます。
作業メタデータは、書き手のディスクかコンテナにある、SQLite ファイルの DuckLake メタデータです。書き込むのはここだけです。Git の作業ツリーにあたり、バージョンから作り、自由に変え、変更ができたら次のバージョンにします。
流れ
| 段階 | コマンド | すること |
|---|---|---|
| クローン | fdl clone |
ブランチのバージョンのメタデータを SQLite に写し、そのバージョンを覚える |
| 書く | DuckDB のクライアント | DuckLake が Parquet をリポジトリへ、管理用の行を SQLite へ書く |
| コミット | fdl commit |
最後のスナップショットを新しいバージョンに固め、作業メタデータの隣に置く |
| push | fdl push |
バージョンをアップロードし、ブランチをそこへ動かす |
クローンでは、DuckLake の管理用の表を、固めた DuckDB ファイルから SQLite へそのまま写します。固めるときはその逆です。どちらも Parquet ファイルは書き換えないので、大きなデータセットでもすぐ終わります。メタデータは小さく、データはその場に残ります。
SQLite を使う理由
作業メタデータは、DuckDB から書けて、作業をまたいで残せる必要があります。SQLite はデータベースサーバーなしでその両方ができ、手元のパソコンでもコンテナでも同じように動き、DuckDB の形式との間で欠けなく写せます。
作業メタデータは 1 種類です。利用者の代わりに書くホスト(定期の取り込みや Web のフォームなど)も、人がパソコンでするのと同じ手順でクローンし、書き、コミットして push します。2 つが同時に push したときは、ref の条件付き書き込みで決まります。一方が通り、もう一方はクローンし直します。
ATTACH の仕方
fdl clone が、作業メタデータを ATTACH する文を表示します。
ATTACH 'ducklake:work/lake.sqlite' AS lake (
DATA_PATH 's3://my-bucket/towns/data/', OVERRIDE_DATA_PATH true,
META_TYPE 'sqlite', DATA_INLINING_ROW_LIMIT 0,
META_JOURNAL_MODE 'WAL', BUSY_TIMEOUT 5000
);
DATA_PATHはリポジトリのデータフォルダです。新しい Parquet ファイルは、読み手が探す場所に書かれます。HTTP 越しのリポジトリでは、かわりに作業メタデータの隣のフォルダになり、新しいファイルはfdl pushが上げます(HTTP での push)DATA_INLINING_ROW_LIMIT 0で、行をメタデータの中に入れないようにします。バージョンはメタデータの中に行を持てないので、行を持つ作業メタデータはfdl commitが断りますMETA_TYPE 'sqlite'は省略できません。省くと DuckDB がファイルから種類を推測し、SQLite が受け付けないオプションを渡してしまいます
push 前に書かれたデータファイル
DuckLake は書くそばから Parquet を書くので、データファイルは、それを参照するバージョンより先にリポジトリに届きます。読み手には見えません。読み手はバージョンのメタデータしか開かず、まだどのバージョンもそのファイルを参照していないからです。
どこからも参照されないまま猶予期間(既定で 7 日)を過ぎたファイルは、保守で消されることがあります。その前に push してください。参照しているファイルが無いと言われて push が断られたら、作業メタデータで表を作り直し、コミットと push をやり直してください。コミットしたまま push しなかったバージョンは手元でしかファイルを参照していないので、そのファイルも同じように消されます。
作業メタデータのスナップショット
作業メタデータで ducklake_expire_snapshots や ducklake_cleanup_old_files を流さないでください。これらは作業メタデータしか見ないので、ほかのバージョンが参照しているファイルまで消してしまいます。古いバージョンとファイルの片付けは、リポジトリ全体を見て行います(保持期間を参照)。