株式会社七夕研究所（本社：神奈川県小田原市、代表取締役：北島哲郎、以下「七夕研究所」）は、AI開発の独立検証ブランド「OriTech」において、生成AIやAIコーディングツールを活用して開発されたソフトウェアの本番投入判断を支援する品質評価サービス「AI Production Readiness」を、2026年9月3日より提供開始します。

Claude CodeやCodexなどの普及によって、ソフトウェア開発の速度は大きく向上しています。一方、「テストがすべて通っている」「AIによるコードレビューで問題が見つからない」「一通り動作している」といった事実だけでは、本番環境へ投入してよいと判断するには十分でないケースがあります。

「AI Production Readiness」では、ソースコードだけでなく、テスト、CI/CD、セキュリティ、権限管理、運用・復旧設計、本番環境で確認できる証跡などを横断的に確認します。LLMを組み込んだシステムでは、プログラムとして正常に動作するかに加え、LLMが生成する回答内容そのものを継続的に評価できる仕組みがあるかも確認します。

そのうえで、

「何が確認できており、何がまだ確認できていないのか」

を明らかにし、企業が本番投入や利用範囲の拡大を判断するための技術的な根拠を整理します。

---

## テスト1,000件、行カバレッジ91％でも「条件付きPASS」

サービス開始にあわせ、七夕研究所が実際に開発し、社外利用者がいる環境で運用しているDiscord常駐型LLMエージェントを対象とした評価レポートのサンプルを公開します。

対象システムでは、以下を確認しました。

* テスト1,000件がすべて成功
* 行カバレッジ91％
* 生成を担当するLLMとは別系統のLLMによるレビュー記録12件
* 運用手順書3本
* 実環境で発生した不具合を回帰テストへ反映する開発プロセス

一方、LLMが生成する回答については、モデルやプロンプトを変更した際に品質が低下していないことを継続的に確認する回帰評価の仕組みが存在しないことなどが判明しました。

このため、現在の限定的な利用条件では運用可能としつつ、利用範囲を広げる前には追加対応が必要な**「条件付きPASS」**と判定しました。

また、稼働中の本番環境であることなどから、判定に必要な証拠を取得できなかった観点については、安全・危険を推測で判断せず**「判定不能（INSUFFICIENT EVIDENCE）」**とし、確認できていない範囲をレポート上で明示しています。

ソフトウェアのテストが十分に存在することと、LLMの回答品質まで確認できていることは別の問題です。

「AI Production Readiness」は、こうしたAI時代特有の品質課題も含め、本番投入判断に必要な証拠を整理します。

---

# 開発速度が上がるほど、「作れた」と「本番で使ってよい」を分ける必要がある

七夕研究所では、近年の社内ソフトウェア開発の多くでLLMを活用しています。実装だけでなく、テストコード、ドキュメント、レビュー、運用設計などにもAIを利用しています。

その一方、実際の環境で運用する中では、

* テスト環境では問題がなくても、本番環境との差によって不具合が発生する
* AIレビューを受けて行った修正が、別の不具合を生む

といった問題も経験してきました。

また、チャットボット、RAG、AIエージェントなどでは、プログラムが仕様通りに動作するだけではなく、LLMが生成する回答そのものの品質もサービス品質に直結します。

AIによって「コードを書く」「レビューする」「テストを作る」といった工程の速度が上がる一方で、

「何を根拠に、このシステムを本番へ投入してよいと判断するのか」

を設計する重要性は、これまで以上に高まっていると七夕研究所は考えています。

こうした実運用上の課題を背景に、「AI Production Readiness」を立ち上げました。

---

# 「AI Production Readiness」4つの特徴

## 1．コードだけでなく、本番運用に必要な仕組みを横断的に評価

一般的なコードレビューにとどまらず、対象システムに応じて以下を確認します。

* ソースコード
* テスト
* CI/CD
* 仕様とテストの対応関係
* セキュリティ・権限管理
* 運用・復旧手順
* 本番環境・監視・証跡
* LLM出力の評価体制

「コードに問題がないか」だけでなく、**システムを実際に本番環境で運用するための条件が揃っているか**という観点から確認します。

## 2．AIによる指摘を、そのまま評価結果として採用しない

調査にはClaude、CodexなどのLLMも活用しますが、AIが生成した指摘をそのまま顧客へ納品することはありません。

AIを使って広範囲に問題候補を探索したうえで、人間が内容と根拠を確認し、必要に応じて反証を行います。

確認できた事実と、そこから合理的に導けるリスクを区別し、確認方法を説明できる指摘のみを報告します。

七夕研究所では、

AIによる「生成」と、人間による「判断」を分離する

ことを、AIを活用した品質管理の基本原則としています。

## 3．LLMの「回答内容そのもの」の品質評価にも対応

チャットボット、RAG、AIエージェントなど、LLMの出力自体が製品価値となるシステムでは、従来型のソフトウェアテストだけでは品質を十分に評価できない場合があります。

例えば、

* 事実に基づいた回答になっているか
* 必要な根拠を提示できているか
* 指示に従っているか
* 過剰な断定をしていないか
* モデルやプロンプト変更後も品質を維持できているか

といった観点です。

上位サービス「LLM Product Readiness Assessment」では、評価用事例集（ゴールデンセット）や評価ルーブリックの設計、人間によるブラインド評価、LLMを評価者として利用する際の人間評価との整合確認、モデル・プロンプト変更時の回帰評価設計まで対応します。

## 4．判定と是正実装を分離し、評価の独立性を確保

評価結果が追加の開発受注に左右される構造を避けるため、本サービスでは判定と是正実装を同一契約・同一担当では受けません。

是正対応を七夕研究所へ依頼する場合も別契約・別担当とし、是正後の再判定は検証側の担当者が行います。

---

# ニーズに応じた3種類のサービスを提供

## AI Production Readiness Quick Scan

対象システムの主要なリスクを短期間で把握するためのサービスです。

ソースリポジトリ、仕様書、テスト、CI設定などを書面調査し、優先度を付けた危険箇所、各指摘の確認方法、確認していない範囲、次に取るべき対応を報告します。

仕様書が存在しない状態でも着手できます。

Quick Scanでは、本番投入の可否そのものは判定しません。

「まず現在の状態を把握したい」「本格的なAssessmentが必要か判断したい」といったケースを想定しています。

価格：50万円（税別・定額）／実働3日

## AI Production Readiness Assessment

本番投入や利用範囲の拡大を判断するために必要な証拠を整理し、技術的な判定レポートを作成するサービスです。

対象システムに必要な証拠をあらかじめ定義し、それぞれについて取得・確認できたかを記録します。

判定は以下の4段階です。

* PASS
* 条件付きPASS
* BLOCK
* 判定不能（INSUFFICIENT EVIDENCE）

必要な証拠が確認できない場合には、無理に安全・危険を判断せず「判定不能」とします。

価格：120万円（税別）〜／1〜2週間

## LLM Product Readiness Assessment

「AI Production Readiness Assessment」の範囲に加え、LLMが生成する出力そのものの品質まで評価するサービスです。

評価基準（ルーブリック）の設計、実際の利用ログからのゴールデンセット作成、言語・社会科学系のバックグラウンドを持つ担当者による人間のブラインド評価、モデル更新・プロンプト変更時の回帰検査の設計などを行います。

価格：250万円（税別）〜／3〜4週間

## 是正後の再判定にも対応

指摘事項の是正後、「現在の状態で本番へ投入できるか」を改めて評価する再判定も提供します。

初回から6か月以内かつ同一対象の場合、初回価格の40〜50％、実働3〜5日で実施します。再判定は検証側の担当者が行います。

---

# 本サービスは「認証」や「安全性の保証」を行うものではありません

「AI Production Readiness」は、認証、法定監査、安全性の保証を目的としたサービスではありません。

確認できた証拠に基づき、

* 現在確認できていること
* 技術的なリスク
* 未確認の事項
* 本番投入や利用拡大の前に対応すべき事項

を整理し、顧客自身が本番投入を判断するための材料を提供します。

システムの品質や安全性について、無条件の保証を与えるものではありません。

---

# 想定する利用シーン

以下のような企業・開発チームでの利用を想定しています。

* Claude Code、Codexなどを使って短期間で開発したシステムを本番投入したい
* AIを活用して開発した製品について、顧客から品質管理の説明を求められている
* PoCから本番運用へ移行したいが、何を確認すべきか分からない
* LLM、RAG、AIエージェントの回答品質をどう評価すべきか分からない
* AI駆動開発の社内プロセスに品質ゲートを設けたい
* 自社開発のAIシステムについて、開発担当とは異なる視点から技術レビューを受けたい

---

# 代表取締役 北島哲郎 コメント

> AIによって、ソフトウェアを作る速度は大きく変わりました。一方、開発速度が上がるほど、「作れたこと」と「本番で使ってよいこと」を分けて考える必要があります。
>
> 私たちは、AI時代の品質管理では、テストの件数やAIレビューの回数だけではなく、「何を根拠に本番投入を判断したのか」を説明できることが重要だと考えています。
>
> AIを使って速く作ることを否定するのではなく、その速度を維持したまま、どこまで信用してよいのかを確かめる仕組みを作りたい。それが「AI Production Readiness」を始めた理由です。

---

# 評価レポートの公開サンプル

サービスの成果物イメージとして、七夕研究所が実際に開発・運用しているLLMアプリケーションを対象とした以下のサンプルを公開します。

AI Production Readiness Quick Scan 報告書
https://oritech.tanabata-inst.com/reports/production-readiness-quick-scan.pdf

AI Production Readiness Assessment 判定レポート
https://oritech.tanabata-inst.com/reports/production-readiness-assessment.pdf

サンプル一覧
https://oritech.tanabata-inst.com/reports/

対象システムは七夕研究所自身が開発したものであるため、このサンプル自体は独立した第三者評価ではありません。実際の顧客案件で用いる評価の考え方やレポート形式を確認いただくための公開サンプルです。

---

# OriTechについて

OriTechは、株式会社七夕研究所のAI開発独立検証ブランドです。

実装した側とは別の系統で要求・実装・検証を突き合わせ、LLMが生成したコードやAIの出力を検証し、本番投入を判断するための証跡を整理します。

AI時代に、

**「作れるか」だけではなく、「何を根拠に出してよいと判断するか」。**

そのための検証方法と証拠を設計します。

---

# サービス概要

サービス名
AI Production Readiness

提供ブランド
OriTech（株式会社七夕研究所）

提供開始日
2026年9月3日

AI Production Readiness Quick Scan
50万円（税別・定額）

AI Production Readiness Assessment
120万円（税別）〜

LLM Product Readiness Assessment
250万円（税別）〜

再判定
初回価格の40〜50％ ※初回から6か月以内・同一対象

主な対象
AIを活用して開発されたソフトウェア、LLM・RAG・AIエージェントなどを組み込んだシステム

サービス詳細
https://oritech.tanabata-inst.com/

サービス・価格
https://oritech.tanabata-inst.com/assessment/

お問い合わせ
https://docs.google.com/forms/d/e/1FAIpQLSdANsWMhVM-Y3jQUrIFEwaptrZBuKW1nnxb6y1lByZee0l4Gw/viewform?usp=dialog

---

# 株式会社七夕研究所について

会社名：株式会社七夕研究所（Tanabata Institute Inc.）
代表者：代表取締役 北島哲郎
所在地：神奈川県小田原市
設立：2023年7月7日
事業内容：社会調査・制度設計・R&D支援・組織変容コンサルティング
Webサイト：https://www.tanabata-inst.com/

本件に関するお問い合わせ
お問い合わせフォーム：
https://docs.google.com/forms/d/e/1FAIpQLSdANsWMhVM-Y3jQUrIFEwaptrZBuKW1nnxb6y1lByZee0l4Gw/viewform?usp=dialog

note：https://note.com/tanabata_lab
X：https://x.com/TanabataInst