LLMの運用・切り替えとは？
LLMの運用・切り替えとは、AIの利用料と品質を管理できていないという状態を、仕組みで解消することです。LLM-Rubrics-Surveyは、この用途に使えるオープンソースのひとつです。進化するLLMのランドスケープにおけるルーブリックに関する調査資料です。
- LLMの評価基準に関する調査
- アライメント手法の把握
- 評価ルーブリックの選定
- 最新のLLM動向の調査
- 評価指標の比較検討
LLM-Rubrics-Surveyを使うと何が変わるのか
このソフトウェアは、急速に発展する大規模言語モデル（LLM）の分野において、評価基準となるルーブリックを包括的に調査したものです。アライメントや評価といった主要なトピックを網羅しており、現在のLLM技術がどのように評価されているかを把握するのに役立ちます。特定のツールというよりも、最新のLLM動向を理解するためのリサーチ結果を提供するものです。開発者や研究者が、適切な評価指標を選定するための基礎知識を得るためのリソースとして活用できます。
すでに世界で使われている完成品を土台にするので、同じものをゼロから作るより短い期間で済みます。当社は、この土台に対して日本語化、画面や項目の変更、権限、帳票、既存システムとの連携を加えて、御社の業務に合う状態にします。
LLM-Rubrics-Surveyの日本語対応（実測）
LLM-Rubrics-Surveyには日本語のファイルがありません。日本語化から始める必要があります。
| ライセンス | MIT |
|---|---|
| GitHubスター | 69 |
| 日本語ロケール | 日本語ファイルなし（0ファイル） |
GitHubの公開ファイル一覧から日本語ロケールの実ファイルを数えた結果です。配布用のビルド成果物は除いています。技術的な詳細はLLM-Rubrics-SurveyのOSS情報にまとめています。
進め方は？
進め方とは、現場を見て対象を決め、動くものを見ていただきながら作り、御社の環境へ導入するまでの流れのことです。書類で仕様を固めてから作る進め方はしません。
1日目（無料）
現場に伺い、いまのやり方を見せていただきます。LLMの運用・切り替えのどこから手を付けるかを決めます。
2〜4日目
LLM-Rubrics-Surveyを土台に、御社のPCで目の前で開発します。動くものを見ながらその場で直します。
5日目
御社の環境へ導入し、ソースコードと開発ノウハウをお渡しします。以後は自社で改造できます。
その後
追加の作り込みが必要なら、範囲を決めてあらためてお見積もりします。延長を前提にした進め方はしません。
この方法が向かないのは？
向かないのは、基幹システムの全面刷新や、複数部門にまたがる大規模な仕組みのことです。15時間という枠では作り切れません。また、決まった手順を正確に繰り返すだけの処理は、AIを使わないほうが速く確実です。当社ではその部分は普通のプログラムとして作ります。
LLMの運用・切り替えを、まず15時間で試す
名古屋市内なら、1日3時間×5日間の計15時間・税別15万円で試せます。初日3時間のヒアリングと提案は無料です。御社のPCと御社名義のAIエージェントで目の前で開発するので、作り方ごと社内に残ります。成果物とソースコードはお客様のものです。
AI導入お試し実験を見る 動くデモを先に見る（110,000円〜） LLM-Rubrics-Surveyについて相談するLLMの運用・切り替えに使える他のオープンソース
同じ用途に使える土台は他にもあります。ライセンス、日本語対応、規模を比べて選べます。
| 名前 | できること | 日本語 | デモ |
|---|---|---|---|
| gtk-llm-chat | 大規模言語モデルとチャットするためのGTK製デスクトップアプリです | 未調査 | — |
| tome | 誰でも簡単にLLMやMCPを利用できるデスクトップクライアントです。 | 日本語ファイルなし | — |
| langwatch | LLMの評価とAIエージェントのテストを行うためのプラットフォームです。 | 日本語ファイルなし | — |
| testtimescaling.github.io | 大規模言語モデルにおけるテスト時スケーリングに関する調査レポートです。 | 日本語ファイルなし | — |
| LLM4IR-Survey | LLMを用いた情報検索に関する調査レポートのリポジトリです。 | 日本語ファイルなし | — |
