AIでお問い合わせ返信案作成の66%を自動化！大規模toCサービスで品質を維持して、CX効率化を実現する仕組みとは？｜Zendesk × Claude Code × GitHub
こんにちは。エブリーで VP of Customer Experience を務めている作花です。
前回の記事「ミスを"信頼"に変える仕組みづくり」の最後に「次回はAI活用について」と書いており、時間が少し空いてしまいましたがAIの取り組みについて書きたいと思います。
皆様は、カスタマーサポート領域における AI 活用をどこまで広げていますでしょうか。私たちCX部門では、お問い合わせ前のチャットボットの改善から、お問い合わせ発生後のメール返信対応や電話、それらを踏まえた各種レポートや通話料の請求処理、お客様の声の可視化まで、幅広く検討や実施を進めています。その中でも、現状特に注力しているのがお問い合わせ発生後のメール返信対応です。
今回はここにフォーカスしてお話を進めたいと思います。
エンジニアのいないチームが、メール返信のAI活用をどう1から作って、どうやって合格率を上げてきたのか。同じような悩みを持っている方の参考になれば嬉しいです。
AI基本ポリシーに沿ったAI活用
具体的な仕組みの前に、エブリーにおけるAI活用の前提をお伝えします。
私たちCXはこれまで、「お客様一人ひとりに誠実に向き合うこと」を大切にしてきました。管理栄養士の資格を持つメンバーによる専門性のあるご案内も、ミスが起きたときにこそ信頼につなげる対応も、この考え方から生まれたものです（詳しくは記事末尾の過去記事をご覧ください）。
AIを導入してからも、この方針は変えていません。エブリーでは「AI基本ポリシー」を定めており、CXではこれに沿って次のように運用しています。
- AI を使うのは返信の下書きづくりまでで、お送りする前に内容を確認しています
- 返金や解約など、お客様の権利や利益に関わる場面では、AI の出力だけで判断しません
- 不具合のご報告やご不満をいただいたお問い合わせには、内容を確かめたうえで誠実に対応します
- AI が作成した下書きは記録として残し、後から確認して品質の改善につなげています
この前提のもとで、メール返信にAIをどう使い、いまどこまで来ているのか。まずは現状からご紹介します。
AIの下書きと、いまの合格率
メール返信対応では、お問い合わせへの返信の下書きを AI が書くトライをしています。誰が対応しても高い品質で、お客様をお待たせせずにご案内できることに価値があるのでは、と考えてスタートしました。
現状の数値感を正直にお伝えすると、運用が本格化した5月はほとんどの下書きに手直しが必要でしたが、8月には合格率が66.3%まで上がってきました。
これが高いか低いかは人それぞれかもしれませんが、AI が書いた下書きがお客様にそのまま送れる水準かを毎日採点し、改善を重ねてここまで来ています。
※合格率について
AI が下書きを作ったチケットを対象に、AI が書いた下書きと、人が送った返信を比較して、AI が採点します。100点満点のうち80点以上を「合格」とし、その割合が合格率です。
※この記事で使う言葉
何を作ったか
私たちCX部門は、デリッシュキッチンのサービス全体のカスタマーサポート(CS)を担っています。アプリの操作から課金やレシピ、冷凍宅配弁当の Meals まで、幅広い問い合わせに対応しています。問い合わせのカテゴリごとにデータベースのアクセス先や必要なノウハウも全て異なるため、応対スキルの属人化や、資料・マニュアルの管理に大きな課題を抱えていました。
そこで作ったのが、スキルとZendeskで発行されたチケット番号を入れるだけで、Claude Code が下書きを書く運用です。
問い合わせのチケットが来ていることを確認したら、予め作っておいたスキルとチケット番号をClaude Codeに入れます。
> /tec-ticket 23456
※スキル名やチケットIDはダミーです
スキルには何を調べて、どの順で確認して、どんな形式で下書きを出すかが書いてあります。デリッシュキッチンにも、アプリの機能についてやレシピへの質問など、色々なジャンルの問い合わせが発生します。
GitHub には、そのカテゴリごとの対応ルール・判断基準・案内文の型が書いてあり、Claude Code がこれらを読み込み、Zendesk のやり取りやお客様の利用状況と突き合わせながら回答を検討して、下書きを社内メモに書きます。
お客様の利用状況は、例えばデリッシュキッチンアプリであれば Redash にあるユーザー情報から確認しています。現状は下書きの精度を上げる段階のため、お送りする前に内容を確認して品質を担保しています。
また当たり前ですが業務によって必要なナレッジも確認する内容も異なります。そこでカテゴリごとに最適化したフローをスキルに学習させており、誰が実行しても迷わず対応が可能になりました。
GitHub のナレッジは、日々の対応で学んだことを書き足して、毎日更新しています。更新も Claude Code が行うので、私たちが手で文書を書くことはほとんどありません。また、ナレッジを直したときに、ほかの問い合わせへの下書きが悪くならないかを確かめるスキルもあり、ナレッジの品質を保てるようにしています。
どう回しているか
やみくもにスキルを実行しているわけではなく、朝出社したら分析スキルを実行し全体感をチームで共有しつつ優先度等を判断します。
そのあとは各カテゴリの担当が自身の担当チケットに対してスキルを実行しZendeskで最終確認をして送信していきます。
夕方には対応済みチケットの採点、夜には採点結果等を踏まえた改善をナレッジに加えて終了です。
ミーティング以外の時間は、Claude を触っている時間が8割、Zendesk の画面を直接触っている時間が2割という感覚で、メンバー含めて半年前と仕事のやり方が劇的に変わりました。
なぜ Zendesk × Claude Code × GitHub の構成なのか
繰り返しになりますが、問い合わせ対応の効率化も周辺業務の効率化も、同時並行で進めています。
各種ツール内に搭載されている AI を使う手段もありました。
ただ、工数がかかるのは問い合わせ対応だけではありません。
分析やさまざまなレポート、日々アップデートされる Zendesk の機能、激動する世の中の事例のキャッチアップ——CS業務全体の効率化と品質向上まで考えると、ツールの切り替え頻度を極力減らし、相談しながら作れて、そのままナレッジにできることは現状は大きな強みだと考えています。
そうして行き着いたのが、この3つの組み合わせです。メール返信以外で具体的に何をしているかは、別でまた書きたいと思います。
合格率を上げるためにやったこと
5月から66.3%まで来る間に、大きく4つ大事なポイントがあったと思っています。
1. 小さく始める。
振り返っていちばん大きかったのは、合格率が16.1%と精度が低いとわかっていても続けたことです。精度が上がってから導入しよう、と考えると、いつまでも始まりません。不合格になった下書きこそが、ナレッジを直す材料でした。お送りする前に内容を確認する形にしておけば、精度が低くてもお客様に迷惑をかけずに始められます。
2. 人の仕事を、因数分解する。
スキルを育てていく上で分かったのは、「人間は、かなり高度な処理を日々こなし続けている」ということでした。AI に大まかな指示だけで任せても、お客様の状況に合った下書きにはなりません。普段やっていることだけでなく、自分たちが無意識に考えていること・やっていることまで含めて、1個1個分解してプロンプトを作り上げる。この意識が、精度に大きく貢献しました。
3. 毎日改善する。
数字が動き出したのは6月以降です。きっかけは、不合格の修正を「気づいたときにやる」から毎日の運用に組み込んだことでした。夕方になると、不合格になったチケットが自動で Slack に届きます。それを直せば、翌日の下書きに反映される仕組みを導入しました。
4. 全員の学びを、1つに集める。
ナレッジは1つにまとめたいと思っていても、更新が追いつかず、結局は人に溜まっていく。私たちもそうでした。この属人化から抜け出すために、Claude Code と GitHub をつなぎ、誰かが1つ直すと翌日には全員と AI の下書きに反映される仕組みにしました。みんなのミスや考えが、毎日1つのナレッジに集約されていきます。個人の学びを個人で終わらせないことで、同じミスが繰り返されにくくなりました。
今後の展望
引き続き目指していくところは以下です。
- 合格率の更なる向上
- AI が下書きする範囲の拡大
- ノウハウの他チャネルへの転用
- 周辺業務の可視化・効率化
AI が下書きする範囲を広げた先には、内容によってはお待たせせずにその場でお答えすることも目指しています。その場合も、お客様の権利や利益に関わる場面では、AI の出力だけで判断しません。調べる作業を AI に任せられる分、丁寧に向き合うべきお問い合わせにより時間を使えるようになります。どのお問い合わせをどう扱うかの切り分けも、AI で判断できるようにしていく予定です。
次回は、合格率の計測方法やClaude Code を使った周辺業務の効率化の話などを検討しています。
私たちの取り組みに、少しでも興味を持っていただけたら嬉しいです。
これから同じようなことを始めたいがどうしたら良いか分からない、セキュリティ面をどうしているのか知りたい、自社の業務に合う形を相談したい——そんなお困りごとがあれば、ご相談もお待ちしています。
▼ご相談の方法
- エブリーのお問い合わせフォームを開く
- 「その他」を選択する
- 相談内容の冒頭に「この記事を見た」と記入する
▼過去の記事
