AI 開発が PoC（概念実証）で止まるよくある理由の一つは、合格ラインと測り方を決めずに始めることです。「まず試してみましょう」で始めると、出てきた数字が良いのか悪いのか誰も判断できず、次に進む決め手がないまま時間が過ぎます。PoC を始める前に、何を・何と比べて・どのデータで測り、どの数字なら次に進むのかを、発注者と開発側で決めておく必要があります。この記事では、図面 PDF からの部屋情報の抽出と、図面からの積算の拾い出しという2つの実案件で学んだ検証の手順をまとめ、そのまま使える合格ラインのテンプレートを紹介します。
この記事の数字は、frectas の案件の記録（検証の記録・顧客への報告）によるものです。
まずテンプレート：PoCの合格ライン表
PoC を始める前に、次の表を発注者と一緒に埋めます。右の列は、図面からの積算の案件に当てはめた記入例です。
| 項目 | 決めること | 記入例（図面からの積算） |
|---|---|---|
| 置き換える作業 | どの作業の、どの部分を AI に任せるか | 立面図から窓・ドアの位置と面積を拾い出す作業の候補出し |
| 人の役割 | 人が確認・修正・確定するのはどこか | 担当者が候補を図面と並べて確認し、修正して確定する |
| 指標 | 何を数字で測るか | 開口部の面積の誤差（平均絶対誤差）、縮尺推定の成功数 |
| 正解 | 何と比べるか。誰が作ったものか | 既存の拾い出し表（人が作った正解） |
| 正解の範囲 | 正解のどこまでを比べるか | 拾い出し表の全グループ（別グループの壁も含む） |
| データの分け方 | 方式づくりに使うデータと、評価に使うデータ | 正解つき6邸を、学習用4邸と検証用2邸に分ける |
| 評価の回数 | 評価用データを何回使うか | 検証用は方式を固めたあとに1回だけ |
| 合格ライン | どの数字なら次に進むか | 発注者と合意した誤差の上限（業務で許される手直しの量から決める） |
| 業務の指標 | 人の手間がどう変わるか | 担当者が修正した項目の数、1物件あたりの作業時間 |
| 費用 | 1件あたりの AI の費用の上限 | 1邸あたりの分類の費用 |
| AI が使えないとき | 業務を止めない方法 | AI につながっていなくても手作業だけで完結する画面 |
| 判定後の行動 | 合格・条件付き合格・不合格のそれぞれで何をするか | 下の表のとおり |
判定の後の行動も、始める前に決めておきます。
| 判定 | 条件の例 | 次の行動 |
|---|---|---|
| 合格 | 検証用データで合格ラインを満たし、費用も上限内 | 本開発に進む。本番では人の修正量を記録し続ける |
| 条件付き合格 | 一部の項目・様式だけ合格ラインを満たす | 合格した範囲だけで本番を始め、残りは人の作業のまま改善を続ける |
| 不合格 | 検証用データで合格ラインに届かない | 方式を見直すか、止める。止める場合も、分かったこと（データの性質・難所）を報告書に残す |
もう一つの記入例：図面PDFからの部屋情報の抽出
同じ表を、図面 PDF から部屋の情報を抜き出す案件に当てはめると、次のようになります。業務が違えば、正解の取り方や AI の役割も変わります。
| 項目 | 記入例（図面 PDF からの部屋情報の抽出） |
|---|---|
| 置き換える作業 | 図面を見ながら、部屋ごとの名前・床面積・寸法を Excel に書き写す作業の下書き |
| 人の役割 | 室名の候補を確認し、輪郭と床面積を確かめて保存する |
| 指標 | 床面積の誤差（中央値）と、誤差10%以内に収まった部屋の割合 |
| 正解 | 図面に書かれた面積の注記（人の拾い出し値ではない、と明記する） |
| 正解との対応づけ | 注記と部屋をどう結びつけるか。値の近さで結びつけない |
| データ | 本番で扱う図面の全体を棚卸しし、スキャン画像だけの図面の有無を数える |
| 費用 | 1ページあたり・1案件あたりの AI の費用。モデルの割り当てごとに出す |
| AI が使えないとき | あいまいな値は自動で確定せず、人が入力する |
「正解との対応づけ」の行は、この案件で数字を取り下げた経験から足したものです（後述）。
PoCが止まる5つのパターン
テンプレートの各行は、実際の失敗から生まれたものです。よくある止まり方を5つ挙げます。
| パターン | 起きること | 防ぐ項目 |
|---|---|---|
| 母集団が小さい | 抜粋のデータで良い数字が出ても、全体では前提が崩れる | データの分け方、正解の範囲 |
| 合わせ込み | 見たデータに合わせて方式を調整し、初めてのデータで崩れる | 評価の回数 |
| 採点が誤りを隠す | 対応づけの方法のせいで、数字が実際より良く見える | 指標、正解 |
| 条件の違う数字が混ざる | 別の条件で測った数字が並び、判断を誤る | 指標、判定後の行動 |
| 業務の指標がない | 精度は分かっても、手間が減るかが分からない | 業務の指標、人の役割 |
実案件で学んだ検証の手順
1. 母集団を棚卸ししてから始める
図面 PDF から部屋情報を抽出した案件では、1回目の検証を、受け取った資料から抜き出した一部のファイルで行いました。2回目は、受け取った実図面をすべて機械的に棚卸しするところから始め、スキャン画像だけの案件があることを確かめました。1回目の「全部ベクター形式の PDF」という前提は、ここで崩れています。
PoC のデータを選ぶ前に、本番で扱うデータの全体像（件数・形式・例外）を機械的に数えておくと、抜粋が偏っていないかを確かめられます。
2. 学習用と検証用を分け、検証用は1回だけ使う
積算の案件では、正解つきの6邸を学習用4邸と検証用2邸に分け、検証用は方式を固めたあとに一度だけ評価しました。
これをしなかった場合に何が起きるかも、同じ案件で見えています。図形の解析ルールだけで窓・ドアを検出した最初の方式は、学習用の邸では開口面積の平均絶対誤差が16.1%でしたが、検証用の2邸では81.9%でした（PoC 実測）。見た図面には合っていても、初めて見る図面には通用しなかったのです。
3. 人の判定を先にさせる
人の判定と AI の判定がどれだけ一致するかを測るときは、人が判定し終わるまで AI の答えを見せないようにしました。AI の答えを先に見ると、人の判定がそれに引きずられ、一致率が実際より高く出てしまいます。
4. 採点の仕組みそのものを疑う
図面の案件では、採点の指標に欠陥を作り込んでは直す、を最終的に11回繰り返しました。新しい指標を作ると結果が良く見え、その指標を重視すると別の欠陥が出る、の繰り返しです。
一度は、図面の面積の注記53件のうち42件（79%）が誤差10%以内という数字を出しましたが、取り下げました。注記と部屋を値の近さで対応づけていたため、隣の部屋とくっついて抽出された誤りが隠れていたのです。正しい測り方では65%でした。
数値だけを見ていると誤り、画像だけを見ても見誤ることがありました。目で確かめていた項目を機械的に計算できる指標に落とし、数値と画像の両方で確かめる手順にしています。
5. 正解の範囲をそろえる
積算の案件では、正解の拾い出し表に別のグループ（車庫の内壁など）があり、最初は一部のグループしか比べていませんでした。比べる範囲がずれていると、精度の数字そのものが意味を持ちません。テンプレートに「正解の範囲」の行があるのはこのためです。
6. 条件の違う数字を混ぜない
積算の案件では、窓・ドアの検出を2段構成にした後の開口面積の誤差に、2つの数字があります。
| 条件 | 検証用の誤差 | 区分 |
|---|---|---|
| 2段目の分類を、API の自動処理ではなく、AI を対話的に使いながら人が目で確かめて行った | 平均4.1% | PoC 実測（API で自動化したときの再現性は別に測る必要あり） |
| 2段目の分類を、保存済みの分類の回答で再集計した | 平均16.0%（学習用は14.6%） | PoC 実測（再集計。新たな推論・独立したテストではない） |
同じ「誤差」でも、条件が違えば値が4倍近く違います。記録にも「この2つを混ぜない」と明記し、誤差の数字から別の指標（検出率など）を逆算することも禁じています。報告では、数字と条件を同じ表の同じ行に置き、条件の違う数字を一つの平均や割合にまとめないようにしています。
7. 効かなかった改善は入れない
図面の案件では、結果を見直す工程を足すと、処理時間が約28%・費用が約25%増えたのに、結果は変わりませんでした（1ページ5室の解析、PoC 実測）。この工程は本番では有効にしていません。PoC では「足して良くなったもの」だけでなく、「足しても変わらなかったもの」も記録して、本番に持ち込まない判断をします。
PoCの報告書に書く項目
PoC の結果を報告するときは、次の項目を書きます。これがそろっていれば、発注者は数字の意味を取り違えずに次の判断ができます。
- 何を測ったか: 指標の定義（平均か中央値か、何を分母にしたか）
- 何と比べたか: 正解の出どころと、比べた範囲
- どう対応づけたか: 正解と AI の出力をどう結びつけたか
- どのデータで測ったか: 件数、学習用か検証用か、検証用を使った回数
- 数字の区分: 検証での実測か、試算・概算か、再集計か
- 効かなかったこと: 試したが改善しなかった工夫と、本番に入れない判断
- 取り下げた数字: 一度出したが誤りが分かった数字と、その理由
- 次の行動: 始める前に決めた判定に照らした結論
6と7は書きにくい項目ですが、ここを書いておくと、本番で同じ失敗を繰り返さずに済みます。図面の案件では、取り下げた79%の数字も、取り下げた理由とあわせて記録に残しています。
合格ラインは「精度」だけで決めない
合格ラインを精度の数字だけで決めると、PoC は止まりやすくなります。精度が100%にならない限り「まだ足りない」となるからです。実案件では、次の3つを組み合わせて判断しています。
- 人が確認して確定する設計か。 図面の抽出も積算も、AI は候補を出し、人が確認・修正して確定します。この設計なら、精度が完璧でなくても、手間が減れば価値があります
- AI が使えないときに業務が止まらないか。 積算の案件では、AI につながっていない状態でも手作業だけで業務が完結する画面を先に作りました。AI の精度が育つ前から使い始められます
- 1件あたりの費用は見合うか。 図面の案件では、最上位モデルでページ全面を読む条件だと1ページ約0.44ドル（試算）、積算の案件では軽いモデルで1邸あたり数円（概算）と、モデルの選び方で桁が変わりました
PoCを始める前のチェックリスト
- 本番で扱うデータの全体像（件数・形式・例外）を数えたか
- 正解は誰が作ったものか、どこまでを比べるかを決めたか
- 学習用と検証用のデータを分け、検証用を使う回数を決めたか
- 人の判定を AI より先にさせる手順になっているか
- 合格・条件付き合格・不合格のそれぞれで、次に何をするかを決めたか
- 人の手間の変化を測る指標があるか
- AI が使えないときの業務の回し方を決めたか
それぞれの案件の詳しい経緯は「図面 PDF から部屋情報を AI で抽出」と「積算の拾い出しを AI で」に書いています。FAX 受注でも、精度の測り方の考え方は同じです（「FAX 受注を AI で自動化する方法」）。
関連するサービスは「図面・PDF の読み取りと拾い出しの自動化」「FAX・メール受注の AI 化」「FDE 型の伴走支援」です。
これから AI の PoC を始める方、PoC の結果をどう判断すればよいか迷っている方は、お問い合わせからご相談ください。置き換えたい作業と、手元にある正解データ（過去の手作業の結果など）を教えていただければ、この記事のテンプレートに沿って合格ラインの案を一緒に作ります。
