編注
原文：「How to create a culture of experimentation in product teams」。翻訳にあたり若干加筆修正を行っています。
テスト文化はデータドリブンな意思決定に大切
会社全体でテストを実施する習慣を作ることは重要です。データに基づいた意思決定ができるようになり、各チームが思い込みに頼りすぎることを防ぐこともできます。
プロダクトマネージャーやエンジニア、そしてグロースチームがテストすることを推奨され、テストのためのツールやリソースが利用できるようになれば、継続的なイテレーション（短期反復型開発）によってイノベーションを促進できます。
「なんとなくそんな気がしたから」と、プロダクトチームが雰囲気だけでプロダクトに大規模な変更を行ったのを見たことはありませんか？
ここでいう「雰囲気」は、公の場では「仮説」や「前提」と呼ばれることもあります。そのほうがもっともらしく聞こえるからです。
しかし、実際の呼び方はどうあれ、 このような意思決定はデータを見てはおらず、「自分たちが正しいと思うこと」や「そうあるべきと感じること」、「おそらく正しいと思われること」に基づいて行われてしまっています。これは大きな問題です。
これを解決するには、プロダクトチームにおいて「テスト文化」を育てる必要があります。 感覚ではなく、データに基づいて意思決定を行う文化です。単なるA/Bテストにとどまらず、会社全体のさまざまなレベルで、「学び」と「イテレーション」を重視するマインドセットを築くのです。
ここからは、プロダクトマネージャーやチームリーダーがテストを導入するための、構造的なアプローチ方法を解説します。
テスト文化が重要なわけ
会社全体でテスト文化を築けば、データに基づいた意思決定を促し、仮定や思い込みに頼ることを防げます。プロダクトマネージャー、エンジニア、グロースチームがテストの実行を求められ、そのためのツールやリソースが与えられている環境では、イテレーションによりイノベーションが促進されます。
また、プロダクトチームがいきなり大きな決断を下すのではなく、小さな変更をテストすることで、コスト増を招くようなプロダクトの失敗を回避することができます。こうした段階的な変更はリスクを低減し、また、成功に必要な「学習する文化」をプロダクトチーム内で醸成することにもつながります。
テストを行えば、効果的なものとそうでないものを素早く見極められるので、学習サイクルも加速します。これにより、テスト文化を持つ企業は競争にも強くなります。より早くイノベーションを起こせるので、最終的により優れたプロダクトをより迅速に開発できるようになるのです。
テストの事例：Airbnb
旅行の宿泊施設を予約する、2者間オンラインマーケットプレイスを運営するAirbnbは、「ホスト」と宿泊施設を探している「旅行者」をマッチングしています。Airbnbは創業当初からテスト文化を取り入れており、コントロール型のテストを活用しながら、プロダクトの変更を理解・検証してきました。
その過程で、テストをより長期間実施する方法を学び（複雑なエコシステムを考慮に入れるため）、異なる検索レイアウトのテストなど、さまざまなことを試してきました。
成功するテスト文化に重要な要素
残念ながら文化は勝手に育ちません。会社にテスト文化を築いて促進するためには、必要な構成要素を意図的に整えます。自分が望む文化を積極的に推進していきます。
テスト文化を築くために最も重要な要素は、経営陣からの支持です。経営幹部やエグゼクティブが、テストを積極的かつ熱心に奨励していると、他のメンバーもテストを優先するようになるはずです。
リーダーシップからの支持なしでは、組織文化を変えることは難しくなります。会社の環境や雰囲気にもよりますが、失敗を恐れたり、失敗したと見なされることで自分のキャリアに影響があるかもと心配したりすることで、テストを避ける人も出てくるかもしれないからです。
こういったことから、心理的安全性を育むことが重要となってきます。「失敗」を学びの機会として捉える文化を促進することが求められます。
「この仮説をテストしたところ、結果は予想と異なりましたが、新たな仮説が得られました」と安心して言える。そして、その結果が「失敗」と見なされることを恐れない環境を作ることが大切です。期待した結果が得られなくても、テストからユーザーに関する貴重な情報が得られた、このデータを次のテストに活かそう、という考え方を育むのです。
リーダーがテストを推進し、チームの各メンバーがテストによって仮説を探求したり新しいことを試したりすることに自信が持てるようになったら、次は、データをアクセス可能な状態にする必要が出てきます。チームには、テストの結果を効果的に測定できる適切なツールとデータが必要です。これなしでは、テスト文化を作り出すことはできません。どんなに意欲的な組織でも、前進することは不可能です。また、チームには、テストを提案し、実施し、分析する方法について、明確なガイドラインとサポートが必要で、構造的なテストプロセスも必要です。
テストの事例：Netflix
Netflixは、DVDを人々の家に発送していた時代から、学びの文化を何十年にもわたって築き上げてきました。学びとテストは、会社全体に浸透しています。Netflixのブログには次のように書かれています。
「学び、優れた意思決定を行うためのベストな方法は、厳密なテストにより、アイデアや仮説を確認したり反証したりすることの他にありません。テスト結果を公開し、ありのままを共有することで、Netflixのメンバー全員が直感を養い、どのようにすればさらに優れた体験を提供できるかについてのアイデアを得ています。そして、その理想的な循環が繰り返されるのです」
