はじめまして。 分析チームの坂本としふみです。 今日は、「ミラティブを他の人に勧めますか？」というアンケートをどう分析し、プロダクト開発に活かしていくのかということを記事にしてみたいと思います。
NPS(Net Promoter Score)とは？
NPSは、ユーザーの利用継続意向を測るための指標で、多くのアプリやWEBサービスで採用されています。 NPSの計算方法は、点数を下記のように分類し、推奨者の割合から批判者の割合を減算したものをNPSとします。たとえば、推奨者が40%・批判者が8%だった場合、NPSは +32 となります。
| 点数 | 評価 |
|---|---|
| 10 - 9 | 推奨者(Promoter) ロイヤルティが高い熱心な顧客。自らが継続購入客であるだけでなく、他者へサービスを勧める『推奨』の役割も担う。 |
| 8 - 7 | 中立者(Passive) 満足はしているが、それ程熱狂的ではなく、競合他社になびきやすい。 |
| 6 - 0 | 批判者(Detractor) 劣悪な関係を強いられた不満客。放置しておくと悪評を広める恐れがある。 |
ちなみに、NPSの業界平均なども公開されていますが、サービスの特性や国によって異なることも知られています。そのため、NPSを他のサービスと比較するというよりは、自社サービスにおけるNPSの上下に着目することが重要です。
ミラティブもKPIの1つとしてNPSを測定しており、月に1回調査をしています。
自由記入欄を分析し、より深い示唆を得る
一般的なNPS調査では、0-10の点数を質問した後、「その点数にしたのはなぜですか？」という自由記入欄を設けています。この自由記入欄を分析すると、「批判者は何で批判なんだろう？」や「推奨者は何で推奨なんだろう？」という突っ込んだ示唆を得ることができます。
そこで、日本語を解析する一般的な手法の一つである、形態素解析を用います。形態素解析とは、文章を形態素(意味をもつ最小単位) に分解し、その形態素の品詞などを解析していく手法です。例えば、 Pythonで書いてみると下記のようなコードになります。
コード
import MeCab as mc
tagger = mc.Tagger('')
results = tagger.parse('ゲーム配信が簡単にできるので')
print(results)
結果
ゲーム 名詞,一般,*,*,*,*,ゲーム,ゲーム,ゲーム 配信 名詞,サ変接続,*,*,*,*,配信,ハイシン,ハイシン が 助詞,格助詞,一般,*,*,*,が,ガ,ガ 簡単 名詞,形容動詞語幹,*,*,*,*,簡単,カンタン,カンタン に 助詞,副詞化,*,*,*,*,に,ニ,ニ できる 動詞,自立,*,*,一段,基本形,できる,デキル,デキル ので 助詞,接続助詞,*,*,*,*,ので,ノデ,ノデ
※上記結果は、Colaboratory上のJupyter ノートブック (python3)で動作確認済
「ゲーム配信が簡単にできるので」という文章が「ゲーム / 配信 / が / 簡単 / に / できる / ので」と分解され、それぞれの品詞が推定されている事がわかります。
ということは、形態素解析を使うと 推奨者に多い言葉な何なのか？ その逆に、批判者に多い言葉な何なのか？ 推奨者だけによく出てくる言葉はなんなのか？ というような解析ができるということがイメージできたんじゃなかなと思います。
では実装だ！となるのもよいのですが、世の中にはきっと同じことを考えているひとがいるはずです。自社で開発する必要のあるものだけに集中し、車輪の再発明を避けるのはベンチャー企業の鉄則です。ということで、NPSの自由記入欄分析に有用なデータ分析サービスを紹介します。
ユーザーローカルによる分析
ミラティブでは、ユーザーローカル というサービスを利用しています。ユーザーローカルを使用すると、2つの文章の比較をすることができます。ワードクラウドとよばれる出現回数を表現する図や、単語分類といった図を作成することができます。
たとえば上記の例であれば、「吸い込む」と「吸引力」が高評価・低評価ともに頻度高く出現しています。おそらく、吸い込む力についてユーザーが着目しており、期待を上回って満足する場合とそうでない場合の両方があるのかな？ということが推測できます。また、「サイクロン」という言葉は高評価に偏在しているのは、おそらく「サイクロン掃除機がほしい」というニーズを満たしているからではないかと考えることができます。
ミラティブのNPS調査、自由記入欄を解析してみた
ミラティブのNPS調査の自由記入欄を解析してみたのが下記の結果です。
このデータを下記のような観点で眺めています。
| カテゴリ | 眺める視点 | 具体的には |
|---|---|---|
| 両方によく出る | 良くも悪くもユーザーが注目している機能や感情 | 「配信」「エモモ」などのの機能だったり、「楽しい」「面白い」というの感情は推奨者・批判者ともに注目されています。 逆に、「ギフト」「エモカラ」などの新機能の言及が少ないので、より浸透させていく余地があるなと感じています。 |
| 推奨者にだけ出現・推奨者によく出る | 運営がおいているプロダクトの価値とずれていないか確認 | 「簡単」「交流」「つながり」などの単語が目立ちます。これは、「わかり合う願いをつなごう」という弊社のビジョンや、「スマホ一台で簡単にゲーム配信」というミラティブのコンセプトが受け入れられているんだろうなと感じています。 |
| 批判者にだけ出現・批判者によく出る | 今後の改善ポイントとして認識 | 「バグ(る)」「重い」「ラグ」「不具合」など、品質に関する論点が頻度高く出現しています。配信アプリという特性上、「軽くてラグがなくて不具合がない」という品質が強く求められているんだと感じています。 |
※上記以外にもたくさん示唆はでるのですが、あまり書きすぎると今後のプロダクト戦略が赤裸々になってしまうのでこのへんでご勘弁を。
ちなみに、批判者に頻出している「バレる」「身バレ」などの単語は、「ミラティブ(バーチャル)上の人格やつながりをリアルな知人に知られたくない」という文脈です。これはNPS質問の「ミラティブを友人・知人に勧めますか？」という質問の特性上、「アプリには満足しているけど、リアルな友人に勧めたくない」という人が批判者に入ってしまうためです。今後は、そういった文脈を排除できるよう、質問の内容を改善中です。
また、今回は形態素の出現頻度のみに着目し、示唆だしを行いましたが、文章解析には、より文脈を数値化するような手法など、様々な手法が存在します。NPS調査に関して言うと、「傾向を早くつかみ、プロダクト開発のPDCAをまわす」ということが重要だと判断し、頻度分析にとどめています。(※この分析手法を選択した結果、ミラティブでは、NPSは実施から分析まですべて、非エンジニアであるコミュニティチームが回すことができています。)
解析結果からのネクストアクション
上記の結果から、やはり不具合解消の優先度を上げるべきだということで、まずはNPS調査で挙げられている不具合にはどのようなものが多いのかをリストアップしました。ちなみに、ミラティブのNPS調査では、回答者ごとに暗号化されたuser_idを自動付与しているので、それを復号することでOSや機種も特定することができます。
そして、NPSに強く影響する不具合を一覧にしてPMと優先度ミーティングを開催し、バックログに積みました。 また、ラグに関しては、「低遅延な配信を可能にする技術」の研究開発を行っています。(低遅延に関する取り組みはテックブログの過去の記事を御覧ください：Mirrativにおける低遅延配信への取り組みについて【開発中】)
ミラティブではエンジニアを募集しています
このようにミラティブでは、ユーザーの声を聞きながら開発をすすめています。 NPSのKPI化だけではなく、毎週金曜日には、ユーザーからの問い合わせのサマリー・AppStoreやGooglePlayレビューのサマリーをグローバル全社員で共有するなど、職種とわず全員がユーザーと向き合う時間をもっています。
そのあたりの雰囲気は、体験入社をしていただけるともっともっと深まるかなと思いますのでお気軽にご応募ください。
