※ この記事は、How Outlook Search is changing: ranking, resilience, and the feedback loop の抄訳です。最新の情報はリンク先をご確認ください。この記事は Microsoft Copilot および GitHub Copilot を使用して抄訳版の作成が行われています。
検索の精度を説明するのは簡単ですが、実現するのは簡単ではありません。利用者は、送信者やフレーズ、メッセージを受信したおおよその時期を覚えていても、インデックスが想定する正確な用語を覚えているとは限りません。システムには、大規模でノイズの多いメールボックスから適切な候補を取得し、適切に順位付けして、すばやく応答することが求められます。
お客様からのフィードバックを注意深く確認し、検索エクスペリエンスが期待に応えられていない点や、改善できる点を調べてきました。フィードバックとエンジニアリング上のシグナルを合わせることで、特に重要な領域に注力できました。ここ数か月、Outlook チームは検索の 3 つの課題、つまり検索結果のランキングの改善、接続状態が悪いときの検索の回復性の向上、ユーザー エクスペリエンスとエンジニアリング上のシグナルを結ぶフィードバック ループの強化に取り組んできました。ここでは、変更内容とその技術的な背景、次にテストする内容を紹介します。
1. ユーザーが確認できる変更点
関連度順に表示される検索結果の表示件数を拡大
ランキング システムでは、検索結果が時系列順に切り替わる前に、関連性が高いと判断された検索結果をより多く表示できるようになりました。
Outlook では、検索結果の上部に関連性に基づいてランク付けされた結果が最大 7 件表示され、その後に残りの検索結果を日付順に表示するようになりました。ランキングでは、メッセージの新しさ、送信者、過去の操作履歴などのシグナルが考慮されます。関連度順に表示される検索結果の範囲を拡大することは、表示方法の変更であると同時に、ランキング品質を評価できる範囲を広げることにもつながります。ランキング ロジックと、関連性に基づく表示から日付順に切り替わる境界の両方を引き続き調整しながら、その他の並べ替えオプションも利用できるようにしています。
利用可能な環境: サブスクリプション版の従来の Outlook for Windows (従来の Outlook) の Current Channel および Monthly Enterprise Channel、Outlook on the web、新しい Outlook for Windows (新しい Outlook)、Outlook for Mobile で利用できます。Outlook for Mac については 11 月に展開予定です。商用環境とコンシューマー向けの両方で利用できます。
従来の Outlook for Windows で、関連性に基づく検索結果が従来の 3 件から最大 7 件に拡大した比較画像。
クラウド優先の検索とローカル検索への自動フォールバック
オンライン時には一貫した検索機能を提供し、ネットワークが不安定な場合でも検索機能への影響を最小限に抑えることを目指しています。
従来の Outlook は Microsoft のクラウド検索サービスと PC 上にローカル インデックスを保持する Windows Desktop Search を組み合わせて検索を行っています。これまで「関連アイテムの検索」(Find Related)、高度な検索構文の一部、およびより幅広い言語でのクエリなど、一部の種類の検索はローカル検索で処理されていました。現在、対象となる検索ではクラウド検索サービスが使用されるようになり、他の Outlook クライアントと同様の検索機能や、サービス側で行われる改善のメリットを活用できるようになりました。一方、オフライン時や、PST ファイル、POP アカウント、IMAP アカウントなどクラウドに保存されていないコンテンツを検索する場合は、引き続きローカル検索が必要です。従来の Outlook の検索では、ネットワーク接続の問題やクラウド サービスの応答遅延により、クラウド検索から一定時間内に応答を得られない場合、自動的にローカル インデックスを使用した検索へフォールバックするようになりました。
自動フォールバックを利用できる環境: サブスクリプション版の従来の Outlook for Windows の Current Channel、Outlook for Mobile、Outlook for Mac で利用できます。新しい Outlook では開発中です。
接続状態やサービスの待ち時間によって、従来の Outlook の検索がローカル インデックスに自動的にフォールバックします。
検索の応答時間の改善
平均的な応答時間も重要ですが、特に応答が遅い検索は、検索機能全体の信頼性に対するユーザーの印象に大きな影響を与えます。
従来の Outlook の検索で、応答が遅い上位 5% の検索について、以下の 2 つの変更により大幅な改善が得られました。
認証経路の最適化: 法人向けメールボックスでは、応答が遅い上位 5% の検索の待ち時間が 40% 短縮されました。
クラウド検索への移行: ローカル インデックスからクラウドに移行した種類のクエリでは、応答が遅い上位 5% の検索の待ち時間が 4.5 秒から 1.3 秒に短縮されました。
利用可能な環境: サブスクリプション版の従来の Outlook for Windows の Current Channel および Monthly Enterprise Channel で利用できます。商用環境とコンシューマー向けの両方で利用できます。
予定表検索スポットライトでは、検索条件に一致したイベントを予定表ビューに直接表示します。このようにカレンダー上で表示することで、検索結果として一致した予定だけでなく、その直前や直後の予定、または時間が重複している予定も確認できます。これらの情報は、検索結果そのものと同じくらい役立つ場合があります。また、ユーザーはワンクリックで従来のリスト表示に戻すこともできます。
利用可能な環境: Outlook on the web と新しい Outlook for Windows で 11 月から展開予定です。商用環境とコンシューマー向けの両方で利用できます。Outlook クライアント全体への展開を拡大する前に、フィードバックを評価しています。
予定表検索スポットライトでは、一致するイベントを前後の予定とともに表示し、リスト表示に戻すこともできます。
2. ランキングの評価と改善方法
検索機能の改善をどのように評価しているか
検索機能の改善を本番環境に展開する前に、再現性のある評価を行う必要があります。
まず、実際の企業ユーザーの受信トレイの特徴を再現するよう設計された生成メールボックスを使って、オフライン テストを実施します。これらのメールボックスには、数千件のメッセージ、会議出席依頼、ニュースレター、グループ メール、複数のプロジェクト間で重複するトピックなどが含まれています。生成されたデータを使うことで、お客様の実際のメールボックスをテスト データとして使用することなく、テスト条件を制御し、再現性のある評価を行うことができます。
評価用データ セットには、期待される正しい検索結果があらかじめ分かっている数千件の検索クエリが含まれています。その構成には、キーワード、名前、メール アドレス、およびそれらを組み合わせた検索など、実際に使用されている数千種類の検索パターンが反映されています。オフライン評価は、改善を繰り返し行ううえで有効ですが、あらゆるメールボックスの状態やユーザーの検索意図を完全に再現できるわけではありません。そのため、広範囲に展開する前に、制御された実環境での実験とオンライン品質指標を使用して変更内容を検証します。
Outlook の規模に対応したランキング モデルの蒸留
より優れたセマンティック ランキングも、Outlook の規模で利用されるサービスの応答時間と処理能力の要件を満たせなければ、実用的とは言えません。
現在、Outlook に特化した小規模言語モデルによるランキング モデルを開発しています。このモデルは蒸留という手法を用いてトレーニングされています。より大規模なモデルから小規模なモデルへ知識や判断基準を引き継ぐことで、Outlook に求められるパフォーマンス要件の範囲内で実用的に運用できるモデルを構築しています。エンジニアリング上の目標は、単にモデル単体の品質を向上させることではありません。実際の運用負荷のもとで、検索結果の関連性と応答速度のバランスをより良くすることを目指しています。初期のオフライン評価では有望な結果が得られており、現在、社内テストを進めています。
この取り組みと並行して、「the」「and」「is」などのストップ ワードをより適切に処理するなど、サービスにいくつかの小さな変更を展開しました。このストップ ワードの改善は、検索の約 3% に影響しました。対象となった検索では、ユーザーが検索結果のメールを開いて操作するなど、実際にメールを利用したことを示す検索結果のクリック数が増加しました。
ストップ ワード処理を利用できる環境: すべての Outlook エンドポイントで利用できます。商用環境とコンシューマー向けの両方で利用できます。
知識の蒸留では、大規模な教師モデルの関連性スコアを模倣する Outlook に特化した小規模な生徒モデルをトレーニングし、本番環境の待ち時間要件を満たします。
3. 指標とユーザーの検索意図とのギャップを埋める
Outlook では、検索結果ページに高評価または低評価でフィードバックできる機能が追加されました。このフィードバックを適切な診断コンテキストと組み合わせることで、エンジニアは、調査が必要な検索クエリの種類や検索結果のパターンを特定しやすくなります。特に重要な点として、検索結果を開いたり読んだりしたといった行動指標は成功を示していても、ユーザーは検索が失敗したと報告する場合があります。このようなユーザーからの明示的なフィードバックを収集することで、行動データなどの間接的な指標だけでは捉えられない、ユーザーの実際の検索意図とのギャップを把握できるようになります。
利用可能な環境: Exchange Online アカウントと Outlook.com アカウントで利用するサブスクリプション版の従来の Outlook for Windows の Current Channel、Outlook on the web、新しい Outlook for Windows、Outlook for Mobile、Outlook for Mac で利用できます。11 月と 12 月に、より多くの Outlook Search 画面に高評価または低評価のフィードバック機能を追加する予定です。商用環境とコンシューマー向けの両方で利用できます。
製品内のフィードバック プロンプトは、診断コンテキストとともに明示的な品質シグナルを取得します。
明示的なフィードバックが重要な理由
検索結果が意図と合わない場合は、高評価または低評価のフィードバック機能を使ってお知らせください。企業のメールボックスは、使われる語彙、コミュニケーション パターン、保存期間の履歴、組織構造がそれぞれ大きく異なります。同じ検索クエリでもユーザーによって期待する検索結果が異なる場合や、同じメッセージをまったく異なる情報から思い出す場合があります。そのため、検索は一度完成すれば終わりという機能ではなく、継続的に改善していく必要があるシステム上の課題です。検索結果が意図に合わない場合、高評価／低評価による明示的なフィードバックは、クリック数や検索結果を閲覧していた時間だけでは把握できない情報を提供します。そして、その情報は、次に優先して調査すべき検索上の課題を特定する手がかりとなります。