編注
原文：「What are vanity metrics? Insights from the Mixpanel team」。翻訳にあたり若干加筆修正を行っています。
虚栄の指標が組織に与える影響とは
「虚栄の指標（バニティメトリクス）」とは、実用的なインサイト（洞察）に欠け、エンゲージメントの「質」よりも「量」だけを重視し、パフォーマンスに関する有益な情報が得られない指標のことです。虚栄の指標に集中してしまうと、組織は誤った安心感に陥り、正しい意思決定が妨げられる可能性があります。
虚栄の指標は、見た目は立派ですが、実際のビジネスパフォーマンスには影響しません。それでも、この指標には追いかけたくなる誘惑があります。見栄えが良いので、この指標を見ることでチームの気分が高揚するからです。
しかし、その表面を少し掘り下げれば、そこにある数字は何の有用な情報も伝えておらず、むしろ誤解を招く可能性さえあることが判明します。虚栄の指標は、本当に重要なことから注意を逸らさせてしまうのです。
何が虚栄の指標なのかは組織によって異なります。ある組織では取るに足らない数値が、別の組織では極めて重要になる場合もあります。指標を評価する方法と、意思決定に有用な指標を見極める方法を理解することが重要です。
この課題解決のため、Mixpanelではプロダクト、アナリティクス、マーケティングの各チームに取材し、各チームにとっての虚栄の指標の定義、回避方法、代わりに追うべき指標についての知見を収集しました。
虚栄の指標の定義：プロダクト、アナリティクス、マーケティングチーム
Mixpanelのシニアプロダクトマネージャーであるディージェイ・サトダは、虚栄の指標の特徴について次のようにまとめています。
「虚栄の指標には共通点が2つあります。重要な意思決定には役立たないこと、ユーザーがプロダクトに対して感じる価値や価値の欠如に直接的に結びついていないことです」
例えば、「総訪問数」や「登録ユーザー総数」といった累積数値は、定義上、増加して当たり前のもののため、表面的には良好に見えることが多くなります。しかし、そこには重要な文脈が欠けています。
Mixpanelのソリューションエンジニアリング部門シニアマネージャー、ジオ・ブライデンは次のように警告しています。
「登録ユーザー総数が増加していても、それらが価値あるユーザーかどうか、求めているタイプのユーザーかどうか、獲得にどれだけのコストがかかったかは分かりません」
そして、こうした文脈を欠いた数値を見ることは「誤った安心感に陥らせる」とも述べています。
一般的に、ある機能を利用したユーザー数や新規登録者数といったローデータの数値は疑ってかかるべきです。シニアプロダクトマネージャーのジェナ・ボノは、「このような数値自体が悪いわけではありませんが、有用な情報にするための文脈が欠けているのです」と指摘します。
虚栄の指標の4つの特徴
つまり、虚栄の指標とは以下の特徴を持ちます。
- 実行可能な意思決定を促さない
- ユーザー価値との関連性が欠如している
- ビジネス成果に結びつかない
- 意味のあるインサイトを与えずに「見栄えが良い」だけである
このような特徴は、虚栄の指標かどうかを理解するための有用なガイドラインとなります。次に、さまざまなチームにおける具体的な虚栄の指標の例を見ていきます。
虚栄の指標の事例：Mixpanelチームが避けるもの
首席ソリューションエンジニアのアーロン・クリヴィツキーは、「ある組織にとって虚栄の指標となるものが、別の組織では中核的な業績指標となり得ることもある、と理解することは重要」と強調します。
「ある企業にとって動画視聴時間は完全に虚栄の指標ですが、YouTubeのような企業では、動画視聴時間は積極的に管理すべき極めて重要な指標です」
各チームにおける虚栄の指標の具体例をいくつか挙げながら、追跡すべき有用な指標ではない理由と、代わりに追跡すべき指標について説明していきましょう。
プロダクトと分析における虚栄の指標
指標は、開発中のプロダクトの種類とそのバリュープロポジション（提供価値）によって異なります。例えば、「レポート」はMixpanelの中核機能です。ユーザーは分析結果を確認するためにレポートを参照します。
グループプロダクトマネージャーのネハ・ネイサンは、「レポートの閲覧」はユーザーが踏み出す第一歩としては良いものですが、ユーザーがMixpanelから価値を見出す場所ではないと述べています。
「ユーザーがレポートを開いたからといって、Mixpanelの価値を実感したとは限りません。当社のプラットフォームの真価は、データを探索し深く掘り下げられる点にあります。閲覧されたレポートや開かれたレポートの数は、エンゲージメントを示さないため、私たちにとっては虚栄の指標に過ぎません。私はむしろ、探索を行ったユーザー数を重視し、こうした行動をする人々をアクティブユーザーと捉えています」
「アクティブユーザー」を明確な「バリューモーメント（価値創出の瞬間）」と結びつけることで、プロダクトから真の価値を得ているエンゲージメントユーザーの数をより明確に把握できます。
同様に、「総登録者数」は収益や価値と結びついていないため、プロダクトの健全性に関するインサイトをほとんど与えません。ジオ・ブライデンは次のように述べています。
「有料サービスへのコンバージョン率は、単なるユーザー数の水増しではなく、プロダクトが収益を生み出す能力をより直接的に測る指標です。この指標を追跡することで、獲得しているユーザーが有料サービスに適した層であるか、価格設定とバリュープロポジションが効果的かを把握できます」
マーケティングとグロースでの虚栄の指標
シニアグローバルキャンペーンマネージャーのクレア・アロウェイは、「ページビュー」や「インプレッション」、さらには「クリック単価（CPC）」といった一般的なマーケティング指標やグロース指標の多くが、容易に虚栄の指標になり得ると指摘します。
「これらは人気のあるキャンペーンやコンテンツの先行指標ではあるものの、最終的に私が責任を負うのはリードの獲得とリード単価の管理です。トラフィックが急増しても、虚栄の指標ではデータに埋もれがちです」
彼女は需要創出において、代わりに「パイプライン」や「MQL（マーケティング見込み客）」、そして「MQLから有望案件化までの時間」といった先行指標に注力すべきだと提言しています。
指標評価におけるもう一つの重要要素は、最終目標からの距離だとクレアは言います。
「ウェビナー招待メールの開封率が20％と30％では、今後の件名の書き方に影響します。かと言ってウェビナーの計画方法やメール本文の書き方自体が変わるわけではありません」
「メール開封率」は必ずしも虚栄の指標ではありませんが、ウェビナー自体の成功度を把握するほどではありません。変更を加える際にはこの点を念頭に置くことが重要です。
Mixpanelのシニア収益戦略・運用マネージャーであるメロディ・インも、ブランド認知度向上キャンペーンの投資利益率（ROI）に焦点を当てることは誤解を招きやすいと指摘しています。「屋外広告（OOH）やPRキャンペーンなど、多くの強力なマーケティングキャンペーンは、ROIに基づいて評価するのが非常に難しい」とし、代わりに「ブランドリフト調査」を活用し、少なくとも数か月間継続して実施することで、効果のタイムラグを考慮することを推奨しています。
売上高と収益での虚栄の指標
収益の虚栄指標に関しては、「セールスパイプライン」の数値に疑念を持つべきだと、データサイエンティストチームのアカッシュ・ムンガレは言います。
「『パイプライン』は虚栄の指標となる傾向があります。潜在的な取引からの収益は往々にして不正確で、水増しされたり、遅延したりする可能性があるからです」
アカッシュは、コンバージョン率や見込み顧客パイプラインといった「対抗指標（Counter Metrics）」を追加することを推奨しています。「単に大量の潜在収益を生み出したことを自画自賛するだけで終わらないようにするため」です。
より一般的に言えば、「活動指標」はほとんど価値を生みません。「ダッシュボードの作成数、プッシュされたコード行数、生成されたリード数、完了したタスク数といった指標は、メンバーが忙しそうな様子を見るには便利ですが、チームの作業がもたらす影響についての洞察は一切与えてくれません」と彼は指摘します。
誤解を招く使用状況指標
最後に、たとえ完全な虚栄の指標ではないにせよ、月間アクティブユーザー数（MAU）のような正規化されていない（ローデータである）利用指標は、支出額やユーザー数といった要因を調整して考えなければ、誤解を招く可能性があります。Mixpanelのシニアデータサイエンティスト、カレブ・ラムは次のように考えを述べています。
「MAUが高いアカウントの方が低いアカウントより健全だというのは簡単です。しかし、顧客を比較する場合、大規模なエンタープライズ顧客と中小規模のSMB顧客やスタートアップを正確に比較することはできません。エンタープライズ顧客は当然MAUが大きくなりますが、必ずしもSMB顧客より健全であるとは限りません」
代わりに、カレブは「顧客分析」を活用し、顧客を標準化または類似プロファイルのコホートに分類することで、MAUのようなローデータ指標を有用にすることを推奨しています。
「例えば、『MAU/MRR（月次経常収益）』や『MAU/従業員数』を使用すれば、コホート間で顧客の利用状況を比較でき、規模に関わらず、同業他社と比較して自社プロダクトを健全に活用している顧客を正確に特定できます」
