『サクラチェッカー』はヤラセ発見機として使える無料サイトです。以前NHKなどのテレビ番組でも取り上げられ、口コミで話題になりました。
しかし、ここで気になるのはサクラチェッカーの信頼度。
ある程度の信憑性はあるとしても、この手のサイトで精度100%にするのはまず不可能です。
そこで今回はサクラチェッカーを実際に使用し、どれくらいの精度で嘘レビューを見抜けるのか検証してみました。
サクラレビューが多いジャンルを調査しました
今回の記事では『サクラチェッカー』の信頼度を調べるため、Amazonの商品を対象に調査を行いました。具体的には、次のように検証しています。
- Amazonで販売される商品の中から、粗悪品や偽物を選出
- ①のレビュー欄にサクラがあるかどうか確認する
- サクラの可能性が高ければ、商品のURLをサクラチェッカーに入力
- きちんと注意表示が出ればOK(詳細ページも確認)
調査対象は、サクラレビューが多いとされる美容グッズ・ダイエット系商品・電子機器など。
これらの中から粗悪品や偽物(メーカー名が違う商品・発送先がおかしい商品など)をピックアップし、それぞれのURLをサクラチェッカーに入力してみました。
検証①サクラチェッカーの信頼度
典型的なサクラレビューには効果あり
というワケで、怪しい商品を1つずつサクラチェッカーで検索してみました。
調査した製品数は約30個。
データが取れなければ50個くらい試す予定でしたが、良いデータが取れたので30個で終わりにしました。
結論から言えば、典型的なサクラレビューには一定の効果がありました。
NHKやクローズアップ現代など紹介されているだけあり、精度は高いと思います。以下、調査をした率直な感想です。
- 昔ながらの悪質商品なら、一定の効果がある
- 外国人が書いた嘘のレビュー(日本語がおかしい)は高確率で見抜ける
- レビュー数が多い商品なら、判定結果はそこそこ的中する
- 管理人が検証した際、7割以上が「妥当」と思われる判定結果だった
よくあるサクラレビューなら、かなり効果がある印象です。
管理人が検証したところ、7割以上の商品について妥当な判定結果を表示してくれました。
私見ですが、優秀だと思います。
ちなみに、私が購入した”粗悪品の羽毛布団”についても、ちゃんと「サクラ度90%」との結果が表示されています。
一般的な”やらせ”は高確率で検出
サクラチェッカーは、いろいろな要素から総合的にチェックしてくれる有難いツールです。
特に以下のような、昔ながらの悪質商品については高確率で検出してくれます。
- 異常な値引き率
値引き率が異常に高いオトク感を出しているもの(例:適正価格が1万円なのに、表記では「定価2万円で50%OFF=1万円」となっている) - レビューの分布がおかしい
自演による高評価(☆5レビュー)と、被害者による低評価(☆1レビュー)が真っ二つに分かれている。要はレビューの分布がおかしい。星5と星1が極端に多いのは典型的なタイプ。 - レビュー投稿日に偏りがある
商品の発売日に、高評価レビューが大量投下されている(レビューが特定の日付に集中しているのは不自然。通常、日付がバラバラになるべき) - 悪質業者によるレビュー操作
海外の悪質レビュー業者を雇い、評価を操作したと思われるもの(ゆえに不自然な日本語が多い)
ただし、全てのサクラレビューに対応できる訳ではないようです。
管理人が検証したところ、明らかな嘘レビューが記載されているにも関わらず、サクラ度0%と表示された製品もありました。
詳しくは3章で説明しますが、特定の条件をクリアした商品であれば、サクラチェッカーの判定基準に引っ掛からないようです。
検証②精度の高さはどれくらいか?
精度は高いが100%的中する訳ではない
サクラチェッカーは優秀ですが、精度100%ではありません。
「サクラの可能性」を一定の基準で判断するだけであり、全ての嘘レビューには反応しません。
そもそも管理人が検証した結果、サクラレビューが含まれるのに「安全」と表示された商品もありました。
またデータ不十分だと、下のように「分析不可」と表示されるパターンも多いです。
当然ですが、この手のツールで精度100%というのはあり得ないです。
よって妄信はしない方がいいでしょう。
効果がイマイチだったケース
効果がイマイチだったのが、下記のパターン。明らかに偽物だとしても、サクラチェッカーの判定基準に引っ掛からなかったようです。
- レビューの評価がバランスよく分かれている
- サクラレビューが多いものの、商品自体は悪くない
- 違和感のない日本語でかかれているレビュー(ただし総合的に見ると、レビューの内容がおかしい)
- レビューの日付をずらしている
- レビューの数が少ない
明らかに有名ブランドの偽物で、サクラレビューと思しき評価が多いにも関わらず…
上記のパターンに該当する場合、注意表示はされませんでした。
注意表示が出ない商品の特徴
対策済みの悪質レビュー
注意表示が出なかった商品について、個人的なイメージをまとめました。
結論からいえば、サクラチェッカーの判断基準に触れないように掻い潜った感じがします。
レビューの分布もバランスがよく、一見するとヤラセと見抜けない商品が多いと思いました。
そして中国人による偽の日本語レビューについては、極端におかしい内容でない限り反応しないのかな…という印象です。「微妙におかしい」くらいの内容だと、スルーされるのかもしれませんね。
結局はイタチごっこ
この点について詳細を調べたところ、最近ではサクラ業者側も対策を練っているそうです。
日経ビジネスの「やらせレビューの首謀者を直撃」という記事によると、悪質業者はあえて星3~4の評価を増やしたり、日本人レビュアーのみに依頼したりと工夫しているのだとか。
それと五つ星ばかりが並ぶのも不自然です。通常であれば、一般の購入者が三つ星をつけたり、不良品を手にした購入者が一つ星をつけたりするものですが、いくら待っても低評価がつかないことがあります。その場合、あえて一つ星や三つ星のやらせレビューを依頼することがあります。
引用元:https://business.nikkei.com/atcl/gen/19/00087/011700016/?P=3
なおイタチごっこの可能性について『サクラチェッカー』の管理者・ユウさんは「対策できないと思う」とコメントしています。
さらに不正業者はやり方をコロコロ変えてくるパターンが多いため、やはり妄信はしない方がいいかなと。
「あまり詳しくは言えないですが、対策は出来ないと思います。理由は色々ありますが、一例としては例えサクラレビューアーを雇っている業者でも低いレビューを削除することが出来ないからです。サクラレビューアーのFacebook非公開グループなどでサクラバイトを雇っている販売者側の苦労も確認しているので、彼らの痛いところをつくことは出来ていると思います。潜入調査して良かった点の一つですね」
引用元:https://www.j-cast.com/2019/07/16362728.html?p=all
アプリ業界に関して言えば、イタチごっこは本当に多いですよ。
補足|安全な商品は「サクラ度0%」と表示
同様の方法で、安全な商品(販売元が公式で、管理人が購入済みの製品が対象)もチェックしてみました。
チェックしたのは以下の商品です↓
- [Amazonブランド]Happy Belly 強炭酸水 プレーン
- BUFFALO 11ac/n/a/g/b 433Mbps USB2.0用 無線LAN子機
- パイプユニッシュ 排水口・パイプクリーナー液体タイプ 大容量 3本セット
- ナチュリエ スキンコンディショニングジェル
このような安全な商品については「サクラ度は0%です。 安全な商品です」と表示されました。
このことからも、怪しい製品だけに注意表示を出してくれるとわかりますね。
まとめ
管理人がサクラチェッカーを使用した結果ですが、信頼度はかなり高いと思います。
無料ツールの中では優秀な方でしょう。
以下、検証結果のおさらいです。
- よくあるタイプの嘘レビューに対しては効果がある
- 怪しい商品については、高確率で注意判定を出してくれる
- 管理人が試したところ精度は7割
- ただし全てのサクラを見抜くワケではない
- 「分析不可」と表示されるパターンもある
- サクラチェッカーの判定基準を掻い潜るサクラレビューもある
- レビューの数が少ないと、効果を発揮できない
結果を妄信しすぎず、あくまで補助として使用するのがベターという印象です。
それでは、ここまで読んでいただきありがとうございました。
パソコン関係の製品をよく買うが、サクラチェッカーはある程度参考にしています。
特に安くてそこそこ使える製品をよく買いますが、やはり当たりはずれは出ます。
特にメモリー系はメーカー物を買わないとダメだったと思われます。
アマゾンも抜き打ちでもっと調査をすればよいのだが、コスト面でほとんどしていないようです。
またユーザーも悪質なものがいて、中身をすり替えたり抜いたりして新品返品して、
それがまた出回るなどといった事もあり、アマゾンは便利ですが危険でもあり悩ましいです。
コメントありがとうございます!
パソコン関連の粗悪品が多いというのは管理人も耳にしました。Amazonさんは便利ですがいろいろ悩ましいですよね。お気持ちお察しします。
サクラチェッカーはありがたいサイトですが、2つほど疑問があります
1つ目は、なんだかんだと言っても某国製品に厳しいということです 私自身とんでもない某国製品をつかまされたこともありますので、全般的に信頼度が低いのは同意します 一方で、高額な国産有名ブランドの商品まではいかなくても「そこそこ使える格安商品」はどれなのか知りたいという人(私も含めて裕福とは言えない人)も結構いると思います その場合は、某国商品で比較的マシなものを知りたいわけですが、サクラチェッカーではそういう商品を見つけることはできません 「高い金出して国産有名ブランドの商品を買えば安心」というのは、私にもわかる話です
2つ目は、サクラチェッカーのスコアはどうやって出しているのかと もちろんそれなりに計算式があるのだと思いますが、Amazonにはあれだけ膨大な商品数があるわけですから、実際に使用した人がつけたスコアではないわけですよね いくつかの要素を入力して数値化しているだけでしょうから、やはり実際の使用感とは異なるではないかと思います
おまけですが、これは私個人の意見なんですが、「Vine先取りプログラムメンバー」のレビューを高評価の材料とされているのか、全く考慮されていないのか分かりませんが、メンバーの方は真面目にレビューされていると思いますが、上記のような国産有名ブランドの商品には「Vine先取りプログラムメンバー」のレビューは見たことありません そのような商品は、無償で商品を提供してレビューを書いてもらう必要がないからです むしろ、「Vine先取りプログラムメンバー」のレビューだけの商品やそれらが大半を占める商品は、某国商品ばかりと言えると思います ですから言い過ぎかもしれませんが、「Vine先取りプログラムメンバー」のレビューは、スコアを下げる要素として働くと思うのです ところがサクラチェッカーはそういうプログラムになっていないようです