でもこの失敗のおかげで「最初に小さくテストすることの大切さ」を身をもって学びました。失敗しないと気づけないこともある、それがAIプロジェクトの現実です。今回はその2日めの格闘をお届けします。
前回、ツールを使って過去のメールを3万通以上抽出することに成功しました。「よし、これでAIに学習させるデータが揃った!」と喜んでいたのですが……。
データを確認してみると、全部こちらからお客様への返信メールだけでした。
「ありがとうございます。ご注文の件、承りました」「ご質問の紙ですが、◯◯の紙があります」——そんな文章ばかり。肝心のお客様からの質問・問い合わせ文がどこにもないのです。
原因は単純で、抽出するときの指示(条件の設定)が間違っていたようです。「送信済みメール」だけを拾う設定になっていたのでしょう。これは……やり直しです(苦笑)。
気を取り直して「じゃあ今度はお客様からの質問メールだけを抽出しよう」と考えました。でも、そこで次の問題が浮かびました。
仮にお客様からの質問を15,000通以上抽出できたとして、それと私の返信をどうやって紐付けるのか、まったくわかりません。
「この質問にはこう答えた」というセットになっていないと、AIが「松本はこの状況にどう返すか」を学べないわけです。質問だけ、返答だけ、それぞれバラバラにあっても宝の持ち腐れです。
しかもAPI接続を使って再度処理するとなると、またその分のコストがかかりそうで……。費用対効果を考えると、正直ちょっとため息が出ます。半額でやったとはいえ、2回やれば意味がない。。
| データの状態 | AIへの有用性 | 問題点 |
|---|---|---|
| 返信メールのみ(今回) | ✕ | 何への返答かわからない |
| 質問メールのみ | △ | 答えと紐付かなければ意味が薄い |
| 質問+返信のセット | ◎ | これが最終目標。紐付け作業が必要 |
麻袋の中に泥がたくさん入っていて、その中にはダイヤモンドの原石が混じっている。でも「その泥をどうやって落とすか」「どんな道具を使うか」「どんな手順でやるか」——それを少しだけ試してみないまま、いきなり袋ごと全部やろうとすると、「やり方が違った!」となったとき最初からやり直しになってしまう。
最初に少量だけ試してみること(検証)をしていれば、本番前にミスに気づけた。まさにそれができていませんでした。
反省として思ったのは、最初から3万通を対象にするのではなく、まず100件だけ抽出してみればよかったということです。
100件なら確認も早い。「あ、返信メールしか取れていない」「質問文が入っていない」という問題が、すぐに見つかります。APIのコストも100件ならほとんどかかりません。
それを確認してから本番の3万件に進む——この順番を守るだけで、今回のような「全部やり直し」は防げたはずです。
正直、今回の失敗はちょっとへこみました。時間もかかったし、コストもかかった。でも、この失敗があるからこそ「こうじゃない」とわかるというのも、確かに一つの前進です。
うまくいった話だけ読んでいても、実際に手を動かしたときに同じ落とし穴にはまります。失敗の経験は、次の判断を速くしてくれる。
「返信メールと質問メールを紐付けるにはどうするか」「テスト抽出をどう設計するか」——これは次のステップとして引き続き考えていきます。とりあえず今日はここまで、です(笑)。
| 今日の出来事 | わかったこと | 結果 |
|---|---|---|
| 3万通以上を抽出した | 全部「返信メール」だけだった | ❌ やり直し |
| 原因を調べた | 抽出指示(条件設定)が間違っていた | 💡 原因判明 |
| 次の課題が見えた | 質問と返信の紐付け方法が不明 | 🔄 検討中 |
| テストの必要性を実感 | 最初は100件だけ試すべきだった | ✅ 次回に活かす |
失敗は失敗ですが、「こうじゃない」とわかったことは確かな前進です。泥の中のダイヤモンドを取り出すには、まず泥の落とし方を小さく試してみること——この教訓は次のステップに必ず活きます。
次回は、質問メールの再抽出と「質問+返信のセット化」に挑戦する予定です。うまくいくかどうかはわかりませんが、またご報告します。(3日目に続く)


ペーパークラフト・文具ランキング
大手企業 人事経験者が伝える転職の攻略法