【検証】サクラチェッカーの信頼度は?精度はどれくらいか調査


『サクラチェッカー』はヤラセ発見機として使える無料サイトです。

NHKなどのテレビ番組でも取り上げられ、口コミで話題になりましたよね。

しかし、ここで気になるのはサクラチェッカーの信頼度。

ある程度の信憑性はあるとしても、この手のサイトで精度100%にするのはまず不可能です。

そこで今回はサクラチェッカーを実際に使用し、どれくらいの精度で嘘レビューを見抜けるのか検証してみました。

サクラレビューが多いジャンルを調査しました

スマホ

今回の記事では『サクラチェッカー』の信頼度を調べるため、Amazonの商品を対象に調査を行いました。

具体的には、次のように検証しています。

検証の方法
  1. Amazonで販売される商品の中から、粗悪品や偽物を選出
  2. ①のレビュー欄にサクラがあるかどうか確認する
  3. サクラの可能性が高ければ、商品のURLをサクラチェッカーに入力
  4. きちんと注意表示が出ればOK(詳細ページも確認)

調査対象は、サクラレビューが多いとされる美容グッズ・ダイエット系商品・電子機器など。

これらの中から粗悪品や偽物(メーカー名が違う商品・発送先がおかしい商品など)をピックアップし、それぞれのURLをサクラチェッカーに入力してみました。

白うさ
腹筋ベルトとかイヤホンあたりは、サクラ製品が多いよ。

関連:楽天の『やらせレビュー』を見抜く方法

検証①サクラチェッカーの信頼度

典型的なサクラレビューには効果あり

サクラチェッカー1
サクラチェッカー1

というワケで、怪しい商品を1つずつサクラチェッカーで検索してみました。

調査した製品数は約30個。

データが取れなければ50個くらい試す予定でしたが、良いデータが取れたので30個で終わりにしました。

白うさ
データ対象としては少ないですが、完全手作業なので許してね。

 

結論から言えば、典型的なサクラレビューには一定の効果がありました。

NHKやクローズアップ現代など紹介されているだけあり、精度は高いと思います。

以下、調査をした率直な感想です。

信頼度を調査した結果
  1. 昔ながらの悪質商品なら、一定の効果がある
  2. 外国人が書いた嘘のレビュー(日本語がおかしい)は高確率で見抜ける
  3. レビュー数が多い商品なら、判定結果はそこそこ的中する
  4. 管理人が検証した際、7割以上が「妥当」と思われる判定結果だった

よくあるサクラレビューなら、かなり効果がある印象です。

管理人が検証したところ、7割以上の商品について妥当な判定結果を表示してくれました。

私見ですが、優秀だと思います。

ちなみに、私が購入した”粗悪品の羽毛布団”についても、ちゃんと「サクラ度90%」との結果が表示されています。

白うさ
7割当たるというのは、あくまで管理人が検証した結果だよ。

 

一般的な”やらせ”は高確率で検出

サクラチェッカーは、いろいろな要素から総合的にチェックしてくれる有難いツールです。

特に以下のような、昔ながらの悪質商品については高確率で検出してくれます。

よくあるタイプの悪質商品
  • 異常な値引き率
    値引き率が異常に高いオトク感を出しているもの(例:適正価格が1万円なのに、表記では「定価2万円で50%OFF=1万円」となっている)
  • レビューの分布がおかしい
    自演による高評価(☆5レビュー)と、被害者による低評価(☆1レビュー)が真っ二つに分かれている。要はレビューの分布がおかしい。星5と星1が極端に多いのは典型的なタイプ。
  • レビュー投稿日に偏りがある
    商品の発売日に、高評価レビューが大量投下されている(レビューが特定の日付に集中しているのは不自然。通常、日付がバラバラになるべき)
  • 悪質業者によるレビュー操作
    海外の悪質レビュー業者を雇い、評価を操作したと思われるもの(ゆえに不自然な日本語が多い)

ただし、全てのサクラレビューに対応できる訳ではないようです。

管理人が検証したところ、明らかな嘘レビューが記載されているにも関わらず、サクラ度0%と表示された製品もありました。

詳しくは3章で説明しますが、特定の条件をクリアした商品であれば、サクラチェッカーの判定基準に引っ掛からないようです。

検証②精度の高さはどれくらいか?

精度は高いが100%的中する訳ではない

クオリティ

サクラチェッカーは優秀ですが、精度100%ではありません。

「サクラの可能性」を一定の基準で判断するだけであり、全ての嘘レビューには反応しません。

そもそも管理人が検証した結果、サクラレビューが含まれるのに「安全」と表示された商品もありました。

またデータ不十分だと、下のように「分析不可」と表示されるパターンも多いです。

サクラチェッカー1

当然ですが、この手のツールで精度100%というのはあり得ないです。

なので、妄信はしない方がいいでしょう。

 

効果がイマイチだったケース

効果がイマイチだったのが、下記のパターン。

明らかに偽物だとしても、サクラチェッカーの判定基準に引っ掛からなかったようです。

  1. レビューの評価がバランスよく分かれている
  2. サクラレビューが多いものの、商品自体は悪くない
  3. 違和感のない日本語でかかれているレビュー(ただし総合的に見ると、レビューの内容がおかしい)
  4. レビューの日付をずらしている
  5. レビューの数が少ない

明らかに有名ブランドの偽物で、サクラレビューと思しき評価が多いにも関わらず…

上記のパターンに該当する場合、注意表示はされませんでした。

関連:サクラチェッカーの仕組みは?儲けのカラクリ

 

注意表示が出ない商品の特徴

注意表示が出なかった商品について、個人的なイメージをまとめました。

結論からいえば、サクラチェッカーの判断基準に触れないように掻い潜った感じがします。

レビューの分布もバランスがよく、一見するとヤラセと見抜けない商品が多いと思いました。

そして中国人による偽の日本語レビューについては、極端におかしい内容でない限り反応しないのかな…という印象です。

「微妙におかしい」くらいの内容だと、スルーされるのかもしれませんね。

白うさ
私見だけど、サクラチェッカーへの対策を取られているイメージがある。

 

この点について詳細を調べたところ、最近ではサクラ業者側も対策を練っているそうです。

日経ビジネスの「やらせレビューの首謀者を直撃」という記事によると、悪質業者はあえて星3~4の評価を増やしたり、日本人レビュアーのみに依頼したりと工夫しているのだとか。

それと五つ星ばかりが並ぶのも不自然です。通常であれば、一般の購入者が三つ星をつけたり、不良品を手にした購入者が一つ星をつけたりするものですが、いくら待っても低評価がつかないことがあります。その場合、あえて一つ星や三つ星のやらせレビューを依頼することがあります。

引用元:https://business.nikkei.com/atcl/gen/19/00087/011700016/?P=3

参考:日経ビジネス『アマゾン「やらせレビュー」の首謀者を直撃、楽天も餌食に』

 

なお、イタチごっこの可能性について『サクラチェッカー』の管理者・ユウさんは「対策できないと思う」とコメントしていますが…

不正業者は、やり方をコロコロ変えてくるパターンが多いです。なので、やはり妄信はしない方がいいかなと。

「あまり詳しくは言えないですが、対策は出来ないと思います。理由は色々ありますが、一例としては例えサクラレビューアーを雇っている業者でも低いレビューを削除することが出来ないからです。サクラレビューアーのFacebook非公開グループなどでサクラバイトを雇っている販売者側の苦労も確認しているので、彼らの痛いところをつくことは出来ていると思います。潜入調査して良かった点の一つですね」

引用元:https://www.j-cast.com/2019/07/16362728.html?p=all

アプリ業界に関して言えば、イタチごっこは本当に多いですよ。

補足|安全な商品は「サクラ度0%」と表示

同様の方法で、安全な商品(販売元が公式で、管理人が購入済みの製品が対象)もチェックしてみました。

チェックしたのは以下の商品です↓

検証に使用した製品(安全ver)
  • [Amazonブランド]Happy Belly 強炭酸水 プレーン
  • BUFFALO 11ac/n/a/g/b 433Mbps USB2.0用 無線LAN子機
  • パイプユニッシュ 排水口・パイプクリーナー液体タイプ 大容量 3本セット
  • ナチュリエ スキンコンディショニングジェル

このような安全な商品については「サクラ度は0%です。 安全な商品です」と表示されました。

このことからも、怪しい製品だけに注意表示を出してくれるとわかりますね。

まとめ

チェック

管理人がサクラチェッカーを使用した結果ですが、信頼度はかなり高いと思います。

無料ツールの中では優秀な方でしょう。

以下、検証結果のおさらいです。

サクラチェッカーの信頼度
  • よくあるタイプの嘘レビューに対しては効果がある
  • 怪しい商品については、高確率で注意判定を出してくれる
  • 管理人が試したところ精度は7割
  • ただし全てのサクラを見抜くワケではない
  • 「分析不可」と表示されるパターンもある
  • サクラチェッカーの判定基準を掻い潜るサクラレビューもある
  • レビューの数が少ないと、効果を発揮できない

結果を妄信しすぎず、あくまで補助として使用するのがベターという印象です。

それでは、ここまで読んでいただきありがとうございました。

↓関連記事は下です↓

あなたにオススメの記事はこちら

コメントを残す

メールアドレスが公開されることはありません。

CAPTCHA