クイーンズ大学の研究者であるDayi Lin氏、Cor-Paul Bezemer氏、Ying Zou氏、Ahmed Hassan氏が、さまざまな側面からSteamレビューを分析した報告書を公開した。レビューとプレイ時間の関係や、ゲームレビュー特有の特徴などの傾向を分析した、興味深い内容となっている。
今回の調査対象は、2016年3月7日にSteamストアで利用可能だった8025本のゲームのうち、レビュー数が25件未満のゲームを除外した6224本のタイトルだ。顔文字のみといった内容のないものをフィルタリングし、10954956件のレビューを抽出している。レビューに記載されているプレイ時間はレビュー投稿時のものを反映していないため、データ収集時の直近の6分以内に投稿されたレビューのみに絞って別途収集している。1か月間にわたっての、28159件のレビューを収集している。
1.プレイ時間とレビューの関係。
否定的なレビューは、肯定的なレビューのわずか半分のプレイ時間で投稿される。
図1は、ゲームを「おすすめする・しない」でレビューを区別した、レビュー投稿時のプレイ時間分布だ。調査によると、ゲーマーがレビューを投稿するまでのゲームプレイ時間の中央値は13.5時間となっている。調査ではレビューを「おすすめする」「しない」に分けて分析することで、否定的なレビューは肯定的なレビューよりも短時間のプレイで投稿されることを導き出している。なお、平均値ではなく中央値であることに留意いただきたい。Steamレビューには極端なサンプルが存在するため、平均値では実相とかけ離れた偏りが出る恐れがあるため、敢えて調査では中央値を使っているものと思われる。
この分析では、2174件の肯定的レビューと6285件の否定的レビューが使用されている。肯定的レビューのプレイ時間の中央値は15.5時間であり、否定的レビューのプレイ時間の中央値は6.6時間である。否定的なレビューなのだから、プレイ時間が短いのは当然と考えられるが、なかには長時間プレイしたにもかかわらずネガティブなレビューが投稿されるケースが存在する。詳細に分析した結果、ゲームコミュニティの環境（ゲームプレイをめちゃくちゃにするプレイヤーがいるなど）、最新のアップデートの品質、ゲームのダウンロード・コンテンツの価格などが、ゲームを気に入っていたプレイヤーの機嫌を損ねているという結論が導き出されている。逆説的には、最初の6時間にゲームの面白さを詰め込めば、肯定的なレビューを得られる可能性が高いといえるのかもしれない。
ゲームプレイ時間とレビューとの関係で特筆すべきは、基本プレイ無料（F2P）ゲームと有料ゲームの違いだろう。図2は、F2Pゲームと有料ゲームのレビュー投稿までのプレイ時間分布だ。F2Pゲームでは約1時間のところに大きな山が出来ており、レビュー投稿が集中していることが見て取れる。その理由について報告書では「無料ゲームはボリュームが少ない」、「ゲームにお金を投資しなかったため、プレイヤーが早々に投げ出してしまう」という2つの推測が付け加えられている。これは、かつて指摘された映画と、テレビドラマの脚本の違いに類似している。有料で観ることが前提の映画と違い、無料のテレビドラマでは冒頭から視聴者の心をつかまないとチャンネルを変えられてしまうのだ。何年もかけて開発したゲームであってもF2Pタイトルである限り、1時間以内に面白いと感じさせないと、ゲーマーは見切りをつけてしまうということだ。長いチュートリアルやルール説明は、ゲームの死に直結するといえるだろう。
2.ゲームレビューの内容分析。
ゲーマーはなにを考え、どのような言葉でゲームを語っているのか。
今回の報告書で筆者が注目したのは、研究者の4人がゲームレビューと、スマホのアプリストアにおけるアプリレビューを比較している点だ。レビューを分析するとアプリレビューには見られない、ゲームレビューならではの特徴が見えてくる。ゲーマーはレビューを通じて、なにを語っているのだろうか。
表1は、レビューの内容を「Pro（長所に言及しているもの）」、「Con（短所に言及しているもの）」、「Bug（バグに関するもの）」、「Suggestion（提案）」、「Video（映像クオリティ）」に分類し、それぞれの割合を示したものだ。表を見てわかることのひとつは、じつは「ゲーマーはバグについてかなり寛容である」ということだ。バグに言及したレビューの42％は肯定的なレビューであり、ゲームにバグがあっても必ずしも否定的なレビューにはなっていない。レビュー全体に占めるバグへの言及は、わずか8%に過ぎない。
表1を見ると、否定的なレビューであれ肯定的なレビューであれ、ゲームデザインの短所への不満が、バグへの不満の約4倍を占めていることがわかる。報告書は、「ゲーマーは（バグの数が少ないといった）ソフトの完成度よりも、優れたゲームデザインを高く評価する傾向にある」と結論づけている。一方で否定的なレビューで言及されるバグは、進行不能になる深刻なバグについてのものが多く、不満度が高いことも示唆している。そういった重大なバグは別として、通常のアプリと違い、ゲームの場合にはバグ修正以外の点にリソースを割く方が、評価を高めるのに有効といえるかもしれない。
レビューの内容について、報告書は他にも「ゲーマーは否定的なレビューだけでなく、肯定的なレビューの中にも、開発者にとって価値のある情報を書き込む傾向にある。開発者は（アプリレビューのように）肯定的レビューを無視するべきではない」と警鐘を鳴らしている。ゲーマーコミュニティは、開発者とともにゲームをより良いものにしようとしているといえるだろう。
報告書によると一部の偏ったレビューを除けば、多くのゲームレビューは205文字、30単語が中央値となるようだ。Twitterは280文字なので、多くのレビューは1回のツイートに収まるぐらいの長さと想像すればいいだろう。レビュー当たりの文字数の中央値には、肯定的レビューでも否定的レビューでも有意な差は認められない。肯定的レビューも否定的レビューもレビューの長さ自体は、ほぼ同じということだ。文字数の中央値がもっとも短かったのは『Karos Returns』の15文字で、もっとも長いのは『Drizzlepath: Genie』の1684文字となっている。（ただし、現在『Karos Returns』には長めのレビューも増えている。）全ゲームレビューの中央値は93文字で、ゲームのレビューは、モバイルアプリのレビュー（中央値は61文字）よりも長いことが調査によって明らかになっている。
文字数については他にも、ゲーマーはF2Pゲームよりも、有料ゲームについて長いレビューを書くことや、早期アクセスやインディーゲームにおいて長文のレビューを書いていることが明らかになっている。図4は、F2Pゲームと有料ゲームのレビューの中央値の分布を示している。F2Pゲームのレビューは1ゲーム当たり105文字の中央値、有料ゲームは1ゲーム当たり215文字と、2倍以上長い中央値を示している。早期アクセスやインディーゲームも、レビューがやや長い傾向にある。早期アクセスの大半はインディーゲームであるため、両者は似たような傾向になっている。
報告書はゲームレビューの可読性（読みやすさ）についても分析している。6768768件の英語レビューに対して行った可読性調査の結果、興味深い結果が示されている。可読性の調査にはColeman-Liau index （CLI）が使用されている。
CLI計算式
（0.0588×100単語あたりの平均文字数）－ （0.296×100単語あたりの平均センテンス数）－15.8
図6はレビューのCLI指数の分布と、中央値を示している。中央値は7.83であり、分布の第1四分位点と第3四分位点はそれぞれ7.20と8.43となっている。これは「ゲームレビューの4分の3は大人であれば問題なく理解できる文章である」ということを示している。文章の難易度に関しては、さまざまなジャンルのゲームでCLIの分布に大きな違いは見られなかったとのこと。ゲーマーは一定して指数8前後の難易度の文章をレビューに投稿しているといっていいだろう。ちなみに、髙畑哲男氏による「P.F. Druckerの英語の特徴」（リンク先PDF）によると、「もし高校野球の女子マネージャーがドラッカーの『マネジメント』を読んだら」でおなじみのドラッカーはCLI指数12.31だそうである。
筆者が興味をひかれたのは、報告書がモバイルアプリのレビューとの比較に言及した点である。それによれば、モバイルアプリのレビューではCLIの中央値は5.69であり、ゲームレビューの中央値よりも低い値に収まっている。統計学の専門的な話になるが、報告書はウィルコクソンの順位和検定（※）において、ゲームレビューとモバイルアプリのレビューの可読性の間には、大きな効果量を伴った明白な有意差が認められるとしている。報告書では「ゲームのレビューは、モバイルアプリのレビューよりも読みやすさが大幅に低くなっている」と結論づけている。
（※）順位和検定（Wilcoxon rank sum test） 得られた2つのデータ間の中央値に差があるかどうかを検定する検定法で、効果量とは現象に対する効果の大きさを表す指標
筆者はゲームレビューの可読性が低くなる理由について「パーマネント・デス」や「メトロヴァニア」、「プラットフォーマー」といった、ゲームレビュー特有の専門用語が原因ではないかと推測している。「メトロヴァニア」と「ウィルコクソンの順位和検定」という2つの単語のうち、どちらがより難易度が高い言葉かは意見が分かれるところだろうが、いずれも一般人にとって耳慣れない言葉には違いないだろう。
英語レビューだけでなく、日本語のレビューにおいても「バトロワ系」や「スポーツ系」といった分類が当たり前のように使われている。それぞれ「バトルロイヤル」「スポーツ」と単語の意味は平易だが、ノンゲーマーに「スポーツ系FPS」といっても、どういうものか想像するのは難しいだろう。もし難解な文章が新規ゲーマー獲得の障壁になっているとすれば、レビューの可読性について、今後も大いに研究する余地があるといえるのではないだろうか。報告書は、専門用語以外にもゲームレビューには多くの皮肉が含まれており、モバイル・アプリのレビュー分析ツールは役に立たないとの見解を示している。
報告書から浮かび上がってくるゲーマーの姿は「バグに寛容で開発者に助言を惜しまず」、「失望したゲームにも6時間ぐらいは付き合う寛容さがあり」、「Twitterぐらいの文字数で専門用語を多用する皮肉屋」というものだ。誰しも思い当たる節があると思われる。筆者にとって特に重要と感じたのは、レビューの可読性だ。仮にもゲームライターの末席を汚している身としては、ゲーマー人口拡大のためにも、初心者ゲーマーにもわかりやすい、専門用語を避けたレビューを書くことを心掛けたいと感じた次第である。
