本文へ移動
技術を、自社の仕事に。
判断と実行を助けるメディア

記事を検索

開発・技術

社内AIにゲートウェイを1枚挟むか — APIキーが増える前に

鈴木 翔公開 更新 参考情報・出典
目次 · 7項目

2026年9月28日更新：9月24日公開の関連記事「去年つないだAIを、いま別のモデルに替えられますか」の内容を統合しました。あわせて、AAIFへの参加日を明記し、移管前の位置づけ、自前で運用する場合の構成、ホスティング版の有無、agentgatewayの所属を公式資料に合わせて直したほか、根拠のない頻度やAPIキー数の目安を削除しました。

社内でAIを使う仕組みが増えていくと、アプリごとに別のAPIキーと別の請求が積み上がります。たとえば、営業支援のツールはOpenAI、社内の問い合わせボットはClaude、検証中の機能はGemini、という状態です。こうなると、全体でいくら使っているのか、どのデータがどのモデルに送られているのかを、1か所で答えられなくなります。

厄介なのは、各アプリのコードに、それぞれの事業者のSDKや接続先が直接書き込まれていることです。「費用が高いので別のモデルに替えたい」という話が出ても、呼び出している箇所を探すところから始まります。

この状態を整理する道具が、AIゲートウェイと呼ばれるものです。2026年9月、この領域のOSS「Agent Router」（旧Envoy AI Gateway）が、Linux Foundation 傘下の Agentic AI Foundation（AAIF）のプロジェクトになりました。この記事では Agent Router を例に、1枚挟むと何が解決して何が残るのか、自前で運用するか事業者に任せるか、入れる前に何を決めておくかを整理します。

なお、ここで扱うのは、社内のアプリやエージェントがAPIでモデルを呼ぶ通信です。社員がブラウザで使うチャットサービスは通常この経路を通らないため、その契約や使い方の管理は別に考える必要があります。

AIゲートウェイは、何をする1枚なのか

やっていることは単純で、アプリケーションとAIモデルの間に1枚挟んで、通信を全部そこに通すだけです。効果は挟んだ結果として出てきます。Agent Router の公式の説明に沿って並べると、次のとおりです。

  • 接続先がひとつになる。 アプリはモデルごとのSDKや接続先を持たず、ゲートウェイだけに話しかけます。Agent Router では、どのモデルにもOpenAI互換のAPIひとつで接続でき、裏側の接続先を設定しておけば、モデルを替えるのはリクエストのモデル名を変えるだけ、と説明されています
  • 誰がどれだけ使ったかが分かる。 全部が1か所を通るので、チーム・アプリ・モデルごとの利用量が取れ、上限も掛けられます。Agent Router の上限は、入力・出力・合計などのトークン数を単位に設定します
  • 鍵をアプリの外に出せる。 アプリが認証する相手はゲートウェイだけになり、各社のAPIキーやクラウドの資格情報は、ゲートウェイ側でまとめて管理・更新します
  • 何を送ったかを記録できる。 どのモデルが答え、何トークン使い、どのツールを呼んだかを、アプリに手を入れずに記録できます。ただし、プロンプトから機微な情報を取り除いてから送る処理は Agent Router の標準の機能ではなく、Envoy の拡張の仕組みで足す位置づけです

つなげる先には、OpenAI、Anthropic、Amazon Bedrock、Azure OpenAI、Google の Gemini と Vertex AI、Mistral、Cohere、DeepSeek、Together AI、Groq などが並びます。自前でホストしたモデルにも、vLLM のようにOpenAI形式で応答するサーバーであればつなげます。

Agent Router が扱うのは、モデルへの接続だけではありません。MCPツールへの接続も同じ1枚を通ります。 公式サイトの言い方では、エージェントから見て「すべてのモデルにひとつのOpenAI互換API、すべてのMCPツールにひとつのルーター」です。複数のMCPサーバーのツールを1つの一覧にまとめ、呼び出し元に応じて見せるツールを絞り込みます。社内システムをMCPサーバーとして公開していく場合、どのエージェントにどのツールを見せるかを1か所で決められる点が効いてきます。MCPそのものの整理はMCP完全ガイドにあります。

アプリとモデル・MCPツールの間にゲートウェイを1枚挟む構成の図

Envoy AI Gateway が Agent Router になった

AAIFは2026年9月9日付で、Envoy AI Gateway が名称を Agent Router に改めて参加することを発表しました。プロジェクト側の告知では、正式な参加は9月10日です。

Agent Router は、Envoy Proxy と Envoy Gateway の上に作られたOSSのAIゲートウェイです。Bloomberg と Tetrate のエンジニアが始め、2024年10月から公開の場で開発されてきました。2026年6月の1.0で設定のAPIを安定版とし、1.x系での互換性を約束しています（8月に1.1）。

移管前も、CNCFで開発される Envoy のサブプロジェクトで、特定企業の製品ではありませんでした。今回変わったのは、Envoy のサブプロジェクトから、AAIFの独立したプロジェクトになった点です。名前、リポジトリ、サイトは移りましたが、コード、メンテナー、ライセンス（Apache 2.0）、設定の書式やコマンドは変わらず、既存の環境に移行作業は要らないと説明されています。

AAIFは、Linux Foundation が2025年12月に、MCP、goose、AGENTS.md を最初のプロジェクトとして設立を発表した中立の団体です。現在は Agent2Agent（A2A）プロトコルなども受け入れています。

AAIFの発表では、採用を公表している組織は11あり、Bloomberg、Tetrate、Tencent Cloud、Nutanix、LINEヤフー（LY Corporation）、National Research Platform などが含まれます。メンテナーの9席は Bloomberg、Nutanix、AMD、Tetrate、Netflix にまたがり、過半を持つ企業はないとしています。長く使う業務システムに載せるかを考えるときは、こうした開発体制も判断材料のひとつになります。

名前の似た別のプロジェクトに agentgateway があります。Solo.io が作り、2025年8月に Linux Foundation に受け入れられたもので、現在はAAIFのプロジェクトにも並んでいます。所属する団体では2つを区別できないため、社内で技術選定の話をするときは、プロジェクト名とURLまで含めて指定したほうが安全です。

1枚挟むと解決すること、残ること

ゲートウェイを入れれば乗り換えが自由になる、という話ではありません。設定で済むようになるものと、挟んでも残るものがあります。

挟むと設定で済むこと挟んでも残ること
呼び出すモデル・事業者の差し替えプロンプトの書き方をモデルに合わせて調整する
事業者ごとのAPIの形式や認証の違いの吸収出力の形式や癖が変わったときの、受け側の修正
障害時に別の事業者へ回す切り替え業務で使えるかを判断するための評価のやり直し

右側が本体です。プロンプトの効き方やツール呼び出しの挙動はモデルごとに違うため、同じ指示で同じ品質が出る保証はありません。ゲートウェイが減らすのは「替えるための工事」であって、「替えてよいかの判断」ではありません。 複数のモデルを使い分けたときのコストと品質の読み方は、マルチモデル運用のコストと品質のトレードオフに整理しています。

自前で運用するか、事業者に任せるか

OSSのゲートウェイを自社で運用するのか、クラウド事業者のAIゲートウェイのように事業者が運用するサービスを使うのか。ここが最初の分岐です。Agent Router 自体にも、Tetrate が運営するホスティング版（Tetrate Agent Router Service）があり、公式サイトで案内されています。自社のクラウドやオンプレミスに置く、サポート付きの商用版（Tetrate や Nutanix の製品）も紹介されています。

自前で運用（OSSのAgent Routerなど）事業者のサービス（ホスティング版など）
始め方試すだけならノートPC上に1コマンドで起動できる。本番向けの公式手順は、Kubernetes上でEnvoy Gatewayと組み合わせる構成登録してAPIキーを受け取り、アプリの接続先を切り替える
向く条件すでにKubernetesを運用している。ログや鍵を自社の管理下に置きたいインフラの専任が少ない。まず利用量を見えるようにしたい
手間構築、更新、監視、冗長化の工数がかかる設定から始められる
注意点止まると、つないだAI機能がまとめて止まるプロンプトと応答が事業者の基盤も通る。事業者の買収・サービス終了・仕様変更の影響を受ける

分かれ目は、プロンプトと応答を誰の基盤に通し、ログをどこに残すかです。事業者のサービスを使うと、中身はモデルの提供元に加えてゲートウェイの事業者も通り、記録もそこに残ります。これを避けたい、またはログを自社の中に置きたいという要件があるなら、自前で運用する工数はその対価として見積もるものになります。ただし、モデル自体が外部のサービスなら、プロンプトがモデルの提供元に届く点はどちらを選んでも変わりません。

インフラの専任がいない会社なら、まずは事業者のサービスで利用量を見えるようにするところから始めるのが現実的だと考えます。利用上限の設定から始める例はCloudflare AI Gatewayの利用上限設定、窓口にした事業者が買収されたときに変わるものはLLM調達の依存先を数え直すで扱っています。

入れる前に決めておくこと

ゲートウェイを入れると、社内のAI利用がその1点に集まります。技術選定の前に、次の3つを決めておいてください。

  1. 止まったときにどうするか。 Agent Router は、モデルの事業者が落ちたときに別の事業者へ回す設定を持てます。ただ、ゲートウェイ自体が止まれば、その先はすべて止まります。各アプリが直接モデルを呼ぶ退避路を持つのか、止まってよいのかを、業務ごとに先に決めます
  2. ログをどこまで残すか。 Agent Router でトレースを有効にすると、既定の形式（OpenInference）ではリクエストと応答の全文が記録されます。設定で入力・出力を記録から外すこともできます。全文を残すと、そのログ自体が機微情報の塊になります。残す範囲、保存先、保存期間を、記録を取り始める前に決めます
  3. 誰が上限を決めるのか。 部署別の上限は、情シスが決めるのか、各部署が申請するのか。上限に当たったときの連絡先と、引き上げの手順まで決めておかないと、止まるたびに調整が発生します

ベンダーロックインを避ける動機で導入するなら、ゲートウェイ自体が新しいロックインにならないかも見ておきます。Agent Router は Apache 2.0 のOSSで、メンテナーの席の過半を持つ企業がないとされている点は安心材料です。一方で、アプリ側の呼び出しはOpenAI互換なので移しやすいものの、ゲートウェイ側の設定は Agent Router 固有の書式（AIGatewayRoute などのリソース）で書くため、別のゲートウェイへ移るときは書き直しが要ります。発注や契約の側での考え方はベンダーロックインを避ける発注の仕方に整理しています。

いま入れる段階か — 現状を測る3つの質問

社内で1つの機能だけがAIを呼んでいる段階なら、ゲートウェイを入れる利点は小さく、呼び出しをまとめる薄い層を自分で書けば足ります。判断が変わるのは、AIを呼ぶ機能が増え、部署ごとに使い方が分かれてきたときです。入れるかどうかを決める前に、次の3つで現状を測ります。

  1. モデル名と接続先を指定している箇所は、コード全体で何か所あるか。発行済みのAPIキーは何本あり、それぞれどこで使われているか
  2. 先月、どの機能がいくら使ったかを、請求書を突き合わせずに答えられるか
  3. 同じ入力で今のモデルと別のモデルを並べて比べる手順が、手元にあるか

3つとも詰まるなら、ゲートウェイの導入より先に、呼び出しを1か所に集める作業のほうが効きます。その状態を作っておけば、載せ替える先が Agent Router でも、事業者のサービスでも、自前の層でも、後から選び直せます。

2026年9月28日に、AAIFの発表・技術解説・プロジェクトページ、Agent Router の公式サイト・告知・ドキュメント（対応先、導入手順、トークンの上限、トレース）、GitHub の README とライセンス、Linux Foundation による AAIF 設立と agentgateway の発表を確認しました。Agent Router とホスティング版の導入・動作検証・性能の実測は行っていません。ホスティング版の料金や提供条件、クラウド事業者のAIゲートウェイとの機能の違いも確認していません。対応先や機能は更新されるため、採用の判断時は公式の資料を確認してください。

社内AIの接続の整理、利用量とログの管理方針、既存アプリからの移行についてのご相談は、お問い合わせから承っています。

Sources

この記事を共有XFacebook
鈴木 翔

技術の可能性に魅了され、学生時代からプログラミングとデジタルアートの分野に深い関心を持つ

この記事から、もう一歩先の検討へ。

この記事のテーマを、自社の次の一歩へ

自社での進め方を、具体的に。

つくりたい仕組み、既存システム、運用の条件を整理し、実現に向けた次の一歩を考えます。

  • 実現したい仕組み
  • 既存環境との接続
  • 運用の条件
開発・運用の構想を相談する

構想段階からご相談いただけます。この記事の情報を相談フォームに引き継ぎます。

最新記事をメールで受け取る