Human-in-the-Loop――AIに任せてはいけない仕事
――AIに任せる。しかし、AI任せにはしない。
「昨日は75％だったのに、なぜ今日は68％なのですか？」
これは、私が実際のコンサルティング業務でChatGPTに投げかけた質問です。
以前のコラムでご紹介したように、私はある企業のWebマーケティング支援案件で、ChatGPTを分析や資料作成だけでなく、プロジェクトの進捗管理にも活用しました。
契約書に定められた業務範囲を基準に、現在の進捗率や残りの作業量を確認しながら、仕事を進めていたのです。
ところが、ある日のこと。
前日にChatGPTが示した進捗率は75％でした。それにもかかわらず、翌日、さらに作業を進めた後に確認すると、進捗率は68％になっていました。
仕事を進めたはずなのに、進捗率が下がっている。
そこで私は、冒頭の質問を投げかけました。
もちろん、AIが算出する進捗率は、工数管理システムで計測された厳密な実測値ではありません。完了した作業や残作業に基づく推定値です。
だからこそ、その数値を無条件に信用するわけにはいきません。
もし、私がAIの回答を疑わず、そのまま受け入れていたらどうなっていたでしょうか。
クライアントに対して、根拠が十分でない進捗報告をしていたかもしれません。
この経験から、私は改めて考えました。
AIのアウトプットを受け取ることと、それを正しいものとして採用することは、まったく別の仕事なのではないか。
これが、今回取り上げる「Human-in-the-Loop」という考え方につながります。
AIは間違える。だから人間が必要なのか？
前回のコラム「なぜ一つの生成AIだけでは不十分なのか」では、一つの生成AIだけに依存するリスクと、複数のAIによるクロスレビューについてご紹介しました。
生成AIには、事実と異なる内容をもっともらしく生成する「ハルシネーション」という問題があります。
また、事実そのものは正しくても、前提条件の取り違えや論理的な飛躍が生じることもあります。
そのため私は、ChatGPTを中心に作成した分析結果や提案書を、ClaudeとGeminiにも検証してもらいました。
しかし、ここで一つの疑問が生まれます。
複数のAIが互いにチェックできるのであれば、人間は必要なくなるのでしょうか。
私は、そうは考えていません。
なぜなら、AIの回答が正しいかどうかと、その回答を実際の仕事で採用すべきかどうかは、必ずしも同じではないからです。
たとえば、Webサイトの検索順位を改善するための施策が、技術的には正しいとしましょう。
しかし、その施策がクライアントの経営課題の解決につながるとは限りません。
実施するための予算や人員が足りないかもしれません。
あるいは、もっと優先すべき経営課題が存在するかもしれません。
つまり、
「AIの回答は正しいか」と「その回答を採用すべきか」は別の問題なのです。
後者については、顧客の事情や仕事の目的を踏まえた判断が必要になります。
Human-in-the-Loopとは何か
Human-in-the-Loop（ヒューマン・イン・ザ・ループ）とは、AIを活用するプロセスの中に、人間による確認、評価、判断、介入を組み込む考え方です。
ここで重要なのは、人間が最後に成果物をチェックするだけではないということです。
AIに仕事を任せ、すべてが終わったところで人間が確認する。
もちろん、最終確認も重要です。
しかし、私が今回のコンサルティング案件で実践したのは、それだけではありませんでした。
分析の途中でも、AIのアウトプットを確認する。
クロスレビューで出された指摘についても、その妥当性を確認する。
提案書を作成するときも、1章ずつ内容を確認する。
そして、必要に応じてAIに問い返し、修正を指示する。
つまり、人間は仕事の最後にだけ登場するのではなく、各工程に関与していたのです。
私は、Human-in-the-Loopを実務で考える際には、この点が非常に重要だと思います。
各フェーズで「Go / No Go」を判断する
今回の案件では、第1回「AIオーケストレーションとは何か」でご紹介したように、最初にChatGPTと一緒に仕事の全体プロセスを設計しました。
分析、クロスレビュー、提案書作成、品質確認という工程を組み立て、それぞれの段階で何を確認すべきかを整理しました。
そして、各フェーズでAIのアウトプットを確認し、次の工程へ進んでよいかどうかを判断しました。
いわば、Go / No Goの判断です。
たとえば、分析結果が一通り出そろった段階では、それをそのまま提案書に反映するのではなく、別のAIによるクロスレビューを実施しました。
そこで指摘された内容を確認し、必要な修正を行ったうえで、次の工程へ進みました。
提案書の作成でも同様です。
全9章の提案書を一度に作成するのではなく、1章ずつ内容を確認しながら作成しました。
9章を統合した後には、全体の整合性を確認し、さらにクロスレビューを実施しました。
重要なのは、AIが「作業を完了しました」と回答したからといって、自動的に次の工程へ進んだわけではないということです。
私は、契約書に記載された業務範囲を満たしているか、作業の重複はないか、分析と提案の整合性は取れているか、といった点を繰り返し確認しました。
疑問があれば問い返す。
不十分だと思えば修正を求める。
必要な確認ができたところで、次のフェーズへ進む。
この繰り返しでした。
AIに作業を任せても、工程を進める判断まで無条件に任せない。
これが、私の実践したHuman-in-the-Loopです。
人間が責任を持つべき5つの判断
では、AIオーケストレーションにおいて、人間は具体的に何を判断すべきなのでしょうか。
今回の経験を振り返ると、大きく5つに整理できると思います。
① 何を問題として設定するか
最初に必要なのは、解決すべき問題を定義することです。
AIは、与えられた問いに対して、さまざまな回答や提案を生成できます。
しかし、そもそも何を解決すべきなのか。その問い自体が適切でなければ、どれだけ精緻な回答が得られても、期待した成果にはつながりません。
正しい答えを得る前に、正しい問いを立てる必要があります。
② どのAIに何を任せるか
第1回、第2回でご紹介したように、今回の案件ではChatGPT、Claude、Geminiに異なる役割を与えました。
どの工程でAIを利用するのか。
どのAIに何を検証してもらうのか。
どの段階でクロスレビューを行うのか。
こうした仕事の設計も、人間が責任を持って判断すべき領域です。
③ AIのアウトプットをどう評価するか
AIが提示した情報は事実なのか、それとも推論なのか。
根拠は十分なのか。
前後の説明に矛盾はないのか。
複数のAIが異なる意見を出した場合、なぜ結論が分かれたのか。
前回ご紹介したように、複数のAIによる多数決で正解が決まるわけではありません。
AIが示した結論だけでなく、その前提や根拠を検証することが必要です。
④ 顧客固有の事情に合っているか
これは、コンサルティング業務では特に重要な判断です。
企業によって、経営課題も経営資源も異なります。
同じ業種、同じ規模の企業であっても、適切な経営戦略が同じになるとは限りません。
AIが提示した施策が一般論として妥当であっても、その企業にとって最適とは限らないのです。
一般的に正しい提案と、その顧客にとって適切な提案は、必ずしも一致しません。
⑤ 最終的に何を採用し、誰が責任を負うか
AIは複数の選択肢を提示できます。
それぞれのメリットやデメリットを整理することもできます。
しかし、どの選択肢を専門家として推奨するのか。
その判断について、顧客にどう説明するのか。
ここは人間が引き受けるべき領域です。
もちろん、最終的な経営判断を行うのは顧客企業の経営者です。
しかし、コンサルタントとしてどの案を推奨するかについては、専門家自身が責任を負わなければなりません。
AIは「部分最適」に陥ることがある
今回のWebマーケティング支援案件を振り返っても、この問題は重要でした。
たとえば、Webサイトの改善についてAIに質問すれば、SEOやAEO、コンテンツの改善、技術的な対策など、さまざまな施策を提案してくれます。
それらは、それぞれの分野では合理的な提案かもしれません。
しかし、Webマーケティングの目的は、検索順位を上げること自体ではありません。
アクセス数を増やすこと自体でもありません。
重要なのは、Webマーケティングを通じて、クライアントの経営課題をどう解決するかです。
たとえば、
「Webサイトへのアクセス数を増やすにはどうすればよいか」
という問いと、
「自社の強みを生かして、収益性の高い顧客獲得につなげるにはどうすればよいか」
という問いでは、求められる提案が変わってきます。
前者の問いに対して、AIが優れたSEO施策を提案したとしても、それだけで後者の目的が達成されるわけではありません。
AIが部分最適に陥るというより、人間が設定した問いが狭ければ、AIの回答もその範囲にとどまってしまうのです。
だからこそ、個々の施策の妥当性だけでなく、経営全体との整合性を考える必要があります。
これは、経営コンサルタントとして常に意識しておきたい点です。
このコラムの執筆もHuman-in-the-Loop
実は、今お読みいただいているこのコラムの制作過程も、Human-in-the-Loopの実践例です。
私は、この「AIオーケストレーション」シリーズを執筆するにあたり、ChatGPTと繰り返し対話を重ねてきました。
まず、シリーズ全体の構成を考える。
次に、各回のテーマと論点を整理する。
ChatGPTに原稿のドラフトを作成してもらう。
その内容を私自身が読み、修正すべき点を指摘する。
そして、もう一度原稿を作成してもらう。
こうしたプロセスを繰り返しています。
実際、第2回の原稿を作成した際には、Human-in-the-Loopについて詳しく書きすぎていることに気づきました。
そのままでは、今回の第3回で取り上げるべき内容を先取りしてしまいます。
そこで私は、第2回ではAIクロスレビューに焦点を絞り、Human-in-the-Loopの詳しい説明は第3回に移すよう指示しました。
その結果、第2回は「一致よりも不一致に価値がある」というメッセージを中心に据えた記事になりました。
そして今回も、最初からChatGPTに完成原稿を任せたわけではありません。
まず構成案を作成してもらい、その内容を私が確認し、了承したうえで、本文の作成に進んでいます。
さらに、本文をWebサイトに掲載する準備を進める中でも、図を追加した方がよいのではないか、第1回のコラムへの内部リンクも必要ではないか、専門用語の表記を統一すべきではないか、といった点を検討しました。
実は、今回の原稿でも、ちょっとした出来事がありました。
ChatGPTが作成した初稿には、冒頭の引用文が二重に記載されていたのです。
ところが、ドラフトの最終チェックで、同じChatGPTがこの重複を発見し、修正を提案しました。
私はその指摘を確認し、修正することにしました。
AIが作成し、AIが検証し、人間が判断する。
もちろん、同じAIによるセルフチェックだけですべての誤りを発見できるわけではありません。必要に応じて、別のAIによるクロスレビューを組み合わせることも有効でしょう。
重要なのは、AIが作成した原稿をそのまま採用するのではなく、AIによる検証も活用しながら、人間が内容を確認し、修正の要否を判断することです。
これも、Human-in-the-Loopの実践だと思います。
つまり、ここでも、
AIが提案する。人間が評価する。必要に応じて修正する。そして、次の工程へ進むかどうかを判断する。
というプロセスを実践しているのです。
特別なシステムを構築しなくても、日常的な生成AIとの対話の中で、Human-in-the-Loopを実践することはできます。
AIは「こうすべき」と言えても、責任を引き受けられない
AIは、非常に説得力のある提案を生成することがあります。
「この施策を優先すべきです」
「この戦略が最も合理的です」
「この方法を推奨します」
といった回答も返ってきます。
しかし、AIがそのように回答したからといって、AI自身が顧客に対する責任を引き受けるわけではありません。
コンサルタントであれば、顧客の経営状況や制約条件を理解し、さまざまな選択肢を検討したうえで、
「私は、この案を推奨します」
と自らの判断として伝える必要があります。
そして、その理由を説明できなければなりません。
「AIがそう言ったからです」
では、専門家としての説明にはならないでしょう。
ここに、AIを活用する専門家の重要な役割があると思います。
AIが分析や提案を担う範囲が広がったとしても、専門家として何を推奨し、その判断にどう責任を持つかという問題は残ります。
私は、AIオーケストレーションにおける人間の役割を、次のように考えています。
AIオーケストレーションにおける人間は、単なる確認者ではなく、最終決定権を持つディレクターである。
ここでいう最終決定権とは、顧客の経営判断を代行するという意味ではありません。
AIに何を任せ、どのアウトプットを採用し、専門家として何を提案するかを決定するという意味です。
AIに任せる。しかし、AI任せにはしない
生成AIは、これからも進化していくでしょう。
現在、人間が行っている分析や資料作成、検証などの仕事も、さらに多くの部分をAIが担うようになると思います。
しかし、だからといって、人間の役割がなくなるとは考えていません。
何を解決すべき問題とするのか。
AIにどの仕事を任せるのか。
AIのアウトプットをどう評価するのか。
顧客固有の事情をどう考慮するのか。
そして、どの提案を採用し、その判断にどう責任を持つのか。
これらは、AIを活用する側の人間が考え続けなければならない問題です。
今回のコンサルティング案件を通じて、私はそのことを改めて実感しました。
AIに任せる。しかし、AI任せにはしない。
これが、私の考えるHuman-in-the-Loopの本質です。
では、こうしたAIオーケストレーションが普及すると、経営コンサルタントの仕事はどのように変わっていくのでしょうか。
AIが分析や資料作成の多くを担う時代に、専門家はどこで価値を生み出すべきなのでしょうか。
次回は、シリーズ最終回として、**「AIオーケストレーションでコンサルティングはどう変わるのか」**について考えます。
前回
AIオーケストレーション②
「なぜ一つの生成AIだけでは不十分なのか――『一致』よりも『不一致』に価値がある」
次回
AIオーケストレーション④
「AIオーケストレーションでコンサルティングはどう変わるのか」
