Excelでは重い、DWHは高い。その間が空いている | GH Media
URLがコピーされました

Excelでは重い、DWHは高い。その間が空いている

URLがコピーされました
Excelでは重い、DWHは高い。その間が空いている

売上の明細と在庫の履歴を突き合わせて、月次で傾向を見たい。それだけの話なのに、Excelは数十万行で固まり、データウェアハウスの見積もりを取ると桁が2つ違う。 この谷間で止まっている会社は、業種を問わずよくあります。

止まったまま数年が経つと、たいてい「詳しい人が自分のPCで集計する」形に落ち着きます。動いてはいるので誰も困りません。その人が異動するまでは。

谷間を埋めてきた選択肢と、その限界

この規模の分析には、これまでも中間的な選択肢がありました。そのひとつが、サーバーを立てずにファイルとして置いたまま集計できる分析エンジンです。DuckDBはその代表で、アプリケーションに埋め込んで使う形(インプロセス)で広まりました。

数千万行のCSVやParquetを手元で集計できるため、「BIツールを入れる前段の分析」には十分でした。一方で、埋め込み型であることから来る制約もはっきりしていました。データは基本的に1人の手元にあり、複数人が同時に読み書きする用途や、常時動くサービスの裏側に置く用途には向きません。

結果として「個人の分析は速くなったが、組織の分析基盤にはならない」という位置に留まっていました。

DuckDB 2.0が足すもの

2026年秋に予定されているDuckDB 2.0は、ここに手を入れます。プレビューが2026年8月に公開され、ナイトリービルドは既に試せる状態ですが、リリース候補の日程は未定です。

目玉はサーバーモード(クライアント/サーバー動作)です。これまで手元のプロセスに閉じていたものが、ネットワーク越しに複数のクライアントから使える形になります。あわせて、リモートクエリのプッシュダウン、トリガー、VARIANT型、非同期I/O、新しいSQLパーサ、新しいストレージフォーマットが入ります。

追加されるもの実務上の意味
サーバーモード複数人・複数アプリから同じデータを参照できる
トリガーBEFORE/AFTER、行単位・文単位の処理をDB側に持てる
VARIANT型JSONに近い半構造化データを型として扱える
非同期I/OI/O層とクエリ処理層が別々にスケールする

非同期I/Oの効果はワークロードに強く依存します。報告されている数字にも幅があり、リモートクエリで最大20倍、条件によっては40倍とされています。自社のデータで測るまでは、この手の倍率を見積もりの根拠にしないでください。

なお、開発元のDuckLabsはAWSの子会社になることが発表されていますが、DuckDBはオープンソースのMITライセンスを維持するとされています。採用判断でライセンスの継続性を気にする場合は、この点が現時点の前提になります。

個人の手元で完結する埋め込み型と、サーバーモードで複数人が参照する構成の違いを示した図

「サーバーになる」は、運用が増えるということ

ここが判断の核心です。サーバーモードは制約を外す機能ですが、外れた制約の分だけ、これまで不要だった仕事が発生します。

手元のファイルとして扱っていたときは、バックアップは「そのファイルをコピーする」で済みました。誰が見られるかも、そのPCに入れるかどうかで決まっていました。サーバーとして立てた瞬間に、接続元の制限、認証、バックアップと復旧手順、バージョン更新の段取りが、すべて自社の担当範囲に入ります。

つまり選択肢が増えたのは事実ですが、それは「安いデータウェアハウス」が手に入ったという意味ではありません。運用の重さは、置き方によってはむしろ近づきます。

判断の順番としては、まずサーバーである必要が本当にあるかを確かめるのが早道です。参照するのが2〜3人で、更新が日次のバッチなら、埋め込み型のまま共有ストレージにファイルを置く構成で足りることがよくあります。可視化だけが目的なら、BIダッシュボードの構成側から入ったほうが早く形になります。

逆に、業務アプリの裏側として常時参照される見込みがあるなら、それは分析基盤ではなく業務システムの設計です。既製のサービスで足りるかどうかの線引きはノーコードSaaSの限界で整理した観点が使えます。

見落としやすいのは、ストレージ形式の変更

もうひとつ、計画に載せておくべき項目があります。2.0では新しいストレージフォーマットが入ります。

分析エンジンの更新というと機能追加に目が行きますが、実務で時間を取られるのは保存形式の移行です。既存のデータベースファイルをどう移すのか、移行中に参照を止める必要があるのか、切り戻しはできるのか。この3つに答えが無いまま本番のデータで試すと、戻せない状態を作ります。

まだプレビュー段階であり、移行手順が固まるのはリリース以降です。したがって今の時点で試すなら、本番データのコピーに対して、捨てられる環境で行ってください。 秋のリリースを待って正式な手順を確認してから本番に触る、という順番のほうが安全です。既存の集計が動いているなら、急いで移行する理由は特にありません。

次にやること

まず、いま止まっている集計の行数と更新頻度を数えてください。 数十万行を月次で見るのか、数千万行を日次で回すのかで、必要なものが変わります。この2つの数字がないまま製品を比較しても結論は出ません。

そのうえで、その集計を誰が見るのかを確認してください。 1人なら手元で完結する構成が最も安く、速く、壊れません。複数部署が同じ数字を見て意思決定するなら、置き場所と権限の設計が先に必要になります。人数が、技術選定より先に効く変数です。

秋のリリースを待つかどうかは、この2つを数えたあとで決めれば間に合います。プレビュー段階の機能を前提に計画を立てるのは、まだ早い時期です。

データ集計基盤の構成検討、既存のExcel運用からの移行、業務システムとの接続については、グリームハブの開発・AI・自動化のご相談で承っています。データ量と利用者数によって最適な構成が変わるため、個別にご相談ください。お問い合わせからどうぞ。

参考

URLがコピーされました

グリームハブ株式会社は、変化の激しい時代において、アイデアを形にし、人がもっと自由に、もっと創造的に生きられる世界を目指しています。

記事を書いた人

鈴木 翔

鈴木 翔

技術の可能性に魅了され、学生時代からプログラミングとデジタルアートの分野に深い関心を持つ

関連記事

「TECH」の記事一覧を見る