LLMの運用・切り替えとは？
LLMの運用・切り替えとは、AIの利用料と品質を管理できていないという状態を、仕組みで解消することです。langwatchは、この用途に使えるオープンソースのひとつです。LLMの評価とAIエージェントのテストを行うためのプラットフォームです。
- LLMの応答精度の継続的な評価
- AIエージェントの動作テストと検証
- LLM-Opsにおけるモニタリング
- データセットを用いたモデルの比較分析
- AIシステムの品質管理プロセスの構築
langwatchを使うと何が変わるのか
langwatchは、大規模言語モデル（LLM）の評価およびAIエージェントのテストに特化したプラットフォームを提供します。開発者はこのツールを用いて、AIシステムの挙動を分析し、精度を検証することが可能です。主要なトピックとして、LLM-Opsやデータセットの管理、dspyを用いた評価などが含まれます。TypeScriptで構築されており、効率的なAIシステムの運用・監視を支援する基盤となります。
すでに世界で使われている完成品を土台にするので、同じものをゼロから作るより短い期間で済みます。当社は、この土台に対して日本語化、画面や項目の変更、権限、帳票、既存システムとの連携を加えて、御社の業務に合う状態にします。
langwatchの日本語対応（実測）
langwatchには日本語のファイルがありません。日本語化から始める必要があります。
| ライセンス | Apache-2.0 |
|---|---|
| 主な言語 | TypeScript |
| GitHubスター | 3,504 |
| 日本語ロケール | 日本語ファイルなし（0ファイル） |
GitHubの公開ファイル一覧から日本語ロケールの実ファイルを数えた結果です。配布用のビルド成果物は除いています。技術的な詳細はlangwatchのOSS情報にまとめています。
進め方は？
進め方とは、現場を見て対象を決め、動くものを見ていただきながら作り、御社の環境へ導入するまでの流れのことです。書類で仕様を固めてから作る進め方はしません。
1日目（無料）
現場に伺い、いまのやり方を見せていただきます。LLMの運用・切り替えのどこから手を付けるかを決めます。
2〜4日目
langwatchを土台に、御社のPCで目の前で開発します。動くものを見ながらその場で直します。
5日目
御社の環境へ導入し、ソースコードと開発ノウハウをお渡しします。以後は自社で改造できます。
その後
追加の作り込みが必要なら、範囲を決めてあらためてお見積もりします。延長を前提にした進め方はしません。
この方法が向かないのは？
向かないのは、基幹システムの全面刷新や、複数部門にまたがる大規模な仕組みのことです。15時間という枠では作り切れません。また、決まった手順を正確に繰り返すだけの処理は、AIを使わないほうが速く確実です。当社ではその部分は普通のプログラムとして作ります。
LLMの運用・切り替えを、まず15時間で試す
名古屋市内なら、1日3時間×5日間の計15時間・税別15万円で試せます。初日3時間のヒアリングと提案は無料です。御社のPCと御社名義のAIエージェントで目の前で開発するので、作り方ごと社内に残ります。成果物とソースコードはお客様のものです。
AI導入お試し実験を見る 動くデモを先に見る（110,000円〜） langwatchについて相談するLLMの運用・切り替えに使える他のオープンソース
同じ用途に使える土台は他にもあります。ライセンス、日本語対応、規模を比べて選べます。
| 名前 | できること | 日本語 |
|---|---|---|
| tome | 誰でも簡単にLLMやMCPを利用できるデスクトップクライアントです。 | 日本語ファイルなし |
| testtimescaling.github.io | 大規模言語モデルにおけるテスト時スケーリングに関する調査レポートです。 | 日本語ファイルなし |
| data-selection-survey | 大規模言語モデルのためのデータ選択に関する調査報告です。 | 日本語ファイルなし |
| chatbi | LLMとの対話を通じてデータ分析や可視化を行うBIシステムです。 | 日本語ファイルなし |
| SWE-agent | GitHubの課題をLLMを用いて自動で修正するソフトウェア開発用エージェントです。 | 日本語ファイルなし |
