虚栄の指標を特定する：Mixpanelが実践するフレームワーク
分析の目的は、（1）マーケティング費用、プロダクト機能、運営予算といった「制御可能なインプット要素」と、（2）売上、購買、サブスクリプションなど、直接制御することが不可能な「重要なアウトプット要素」を測定することにあります。この2タイプの情報を得ることで、ビジネスパフォーマンスの全体像を把握できます。
アーロン・クリヴィツキーは言います。
「明確なインプットとアウトプットでないものは、プロセスを制御せず意思決定にも役立たないため、結局は虚栄の指標（バニティメトリクス）になってしまいます」
アーロンは、Mixpanel顧客の分析最適化をサポートする際、虚栄の指標を特定して排除することもよく行っています。
「顧客が『重要な指標がある』と言った場合は、その指標が制御できるインプットなのか、直接制御できないアウトプットなのかをマッピングするよう依頼し、その指標の向上・低下に誰が責任を持つのかを質問します。この質問に対する明確な答えがない場合、それはおそらく虚栄の指標です」
虚栄の指標を見分けるための質問例（4つのテスト）をいくつかご紹介します。
責任の所在テスト
- この指標を改善すべき責任者を特定できますか？
- 指標が変動した際の明確なアクションプランは存在しますか？
価値テスト
- この指標はユーザー価値と結びついていますか？
- 数値の向上・低下はユーザーへの影響を反映していますか？
意思決定テスト
- この指標は具体的なビジネス判断の根拠となりますか？
- この指標のパフォーマンスに基づいて、異なる行動を取れますか？
文脈テスト
- この指標は単独で実用的なインサイトを提供しますか？
- この指標が何らかの意味を示すために追加で必要な文脈は何ですか？
- 適切なガードレール指標を監視していますか？
虚栄の指標の代わりに追うべきもの
この記事を読むと、すべての指標が虚栄の指標だと心配になってくるかもしれません。しかし、それは絶対に違います。追跡すべき指標のヒントと例を以下に示します。
成果重視のプロダクト指標
最良のプロダクト指標は、ユーザー単位で測定され、累積ではなく、ユーザー価値の重要な瞬間と生み出したい成果に結びついています。
- 機能採用率（単なる使用回数ではない）
- 行動コホート別ユーザー継続率
- 主要ユーザー行動間のコンバージョン率（ヒント：ファネルレポートで分析）
品質重視のマーケティング指標
需要創出の指標は、クリック数やキャンペーン閲覧数だけでなく、生成されたリード数と関連コストに焦点を当てるべきです。
- クリック単価ではなく、見込み顧客単価（Qualified Lead Cost）
- リードから顧客への転換率
- 顧客生涯価値（顧客獲得チャネル別）
コンテキストに応じたビジネス指標
指標は、対となる指標を組み合わせることで、価値を発揮するための文脈を与えることが有用です。単独では有用でない指標も、他の指標と組み合わせることで有用になる場合があります。
- セールスパイプラインとコンバージョン率の組み合わせ
- 収益成長率とリテンション率の組み合わせ
- 関連要因で正規化された使用状況指標
エンゲージメントは量よりも深さ
ユーザーエンゲージメントの実態を示す指標は、登録数やクリック数といった表面的な指標に比べて常に価値が高いものです。こうした指標はプロダクト特性に大きく依存します。前述のネハが指摘したように、Mixpanelユーザーにとってレポート閲覧自体が真の価値提供の瞬間ではありません。表面的なエンゲージメントを超える、真の価値提供を示す指標を探求すべきです。
- 価値実現を示すユーザー行動
- プロダクトエンゲージメントの深さを示す指標
- プロダクト・マーケット・フィット（PMF）を示す行動指標
プロダクト分析を活用して意義ある指標に集中しよう
プロダクト分析ツールを活用することも有効です。例えば、Mixpanelは、ページビューや表面的な指標に焦点を当てるプラットフォームとは異なり、ユーザー行動とプロダクトとのインタラクションを追跡し、パフォーマンスに関する真のインサイトを提供し、意思決定を推進します。
Mixpanelは相互接続された分析プラットフォームなので、データウェアハウスと直接同期できます。そして、指標とその背景にある文脈を理解しながら、実用化するために必要な追加データレイヤーにアクセスできます。また、データガバナンス機能やLexicon、Saved Metricsといったツールにより、チームはデータ定義を統一して運用できるため、数値の信頼性を確保できます。
指標がユーザー価値やビジネス目標とどう結びつくかを直感的に把握できれば、今後の意思決定をさらに効果的に推進できるはずです。
Mixpanelチームからの主な学び
適切なツールとプロセスを整えることで、分析を最大限に活用し、虚栄の指標を追うことを避けられます。しかし真の差別化要因は、データを分析・解釈する能力を備えた優れたチームと、それを可能にするセルフサービス型分析プラットフォームの構築にあると私たちは考えます。
本質を重視する戦略を優先しましょう。
- 責任の所在をテストする： すべての指標に明確な責任者と行動計画を設定する
- ユーザー価値との連動： 見せかけだけでなく、ユーザーにとって重要な要素を測定
- 文脈を与える： 文脈のない生データは実用性に乏しい
- 対抗指標を活用： 本質の見逃しを防ぐ効果測定により主要指標のバランスを取る
- 比較のために標準化： セグメントや期間を跨いだ指標の比較ができるようにする
データ分析に興味を持っているチームなら、適切なツールとトレーニングで虚栄の指標を見抜く力を身につけられます。虚栄の指標を乗り越え、真に重要な指標に焦点を当ててみてください。
