Grammarly AI検出器: その#1 RAIDランキングが意味すること

GrammarlyのAI検出器は、編集されていない自然なAI文を検出する精度が高いとされています。Grammarlyは99%の精度に到達し、公開ベンチマークのRAIDで品質面において#1の順位を獲得していると述べています。このようなランキングは、大きく固定された一組の文章サンプルにおける性能を反映したものです。ただし、それがあなたの論文での特定のスコアを保証するわけではありません。さらに、あなたの分野の語彙や、何度も改稿した下書きにもそのまま当てはまるとは限りません。

GrammarlyのAI検出器がチェックするもの

GrammarlyのAI検出器は、grammarly.com上で利用できる無料のスキャンツールです。文章を貼り付けるかファイルをアップロードして「Scan for AI」をクリックします。このツールは、AI生成の可能性がどれくらいあるかを示す割合スコアを返し、2つのカテゴリに分けます。「Resembles AI text」と「No AI text patterns found」です。全体の割合は、「Resembles AI text」カテゴリに分類される文書内の比率を表します。人によっては、このツールを「Grammarly AI checker」として検索しており、それと同じ無料の検出器です。

この検出器は、Grammarlyの文章作成スイート内の1つのツールで、文法チェッカー、剽窃チェッカー、AI humanizerの隣にあります。Grammarlyは、ChatGPT、Gemini、Claudeのようなツールだけでなく、Grammarlyから生成されたAI文も識別できると述べています。

Grammarly ProはAI Detectorエージェントを追加し、単一のスコア以上のことができます。AI生成に見える具体的な箇所に印を付け、そのフレーズがそう見える理由を説明し、その同じ箇所についてGrammarlyのAI Rewriterでワンクリックの書き換え案を提示します。

Grammarlyはまた、この検出器は人間の文章を誤ってフラグ付けしないように設計されており、新しいAIモデルがリリースされるたびにモデルを継続的に更新しているとも述べています。Grammarlyは、このツールを研究論文、レポート、記事、学校の課題など複数の種類の文章に対して、提出前の確認として使うことをうたっています。

RAIDとは何か、そしてGrammarlyの#1ランキングが意味するもの

RAIDは学術的なベンチマークであり、Grammarlyがそれを作ったわけではありません。基となる論文は、研究者Liam Duganと共著者によって2024年のAssociation for Computational Linguisticsのカンファレンスで発表されました。その要旨は、明確に一点を指摘しています。多くの商用およびオープンソースの検出器は99%以上の精度をうたっていますが、難しいように構築されたデータセットでテストされる例は非常に少数です。

RAIDのデータセットは、意図的に大規模です。

その12の検出器すべてにおいて、論文の著者は一貫した弱点を見つけました。現在の検出器は、敵対的攻撃、サンプリング戦略の変更、反復に対するペナルティ、そして学習中に検出器が見たことのない生成モデルによって、簡単に欺かれてしまいます。著者たちは完全なデータセットを公開し、その後、他の検出器企業が検証できるように稼働中のリーダーボードも公開しました。

その公開リーダーボードが、RAIDのランキングを検証可能にしている要素の一つです。ほかの研究者や検出器企業は、同じデータセットをそれぞれのツールで実行し、結果を比較できます。これは、単独の企業が外部で確認できる手段なしに報告する「精度」の数値とは異なります。

論文の著者は、自分たちの評価を「領域外および敵対的ロバストネス」のテストだと説明しています。平たく言えば、検出器が学習時に想定していたのと似た文章での性能だけを確認したのではありません。各検出器が、想定されていない可能性のある領域、モデル、攻撃に対してどのように機能するかも調べています。

Grammarly自身のブログでは、Grammarlyがそのリーダーボードで品質部門の第1位になったと述べています。RAIDを、670,000本以上のテキストに対するテストとして説明しており、さまざまな文章スタイル、AIモデル、検出器を欺こうとする試みをカバーしています。さらに、Grammarlyのブログには、AI検出器はどれも100%正確ではない、たとえ自社の最高順位のものでも、ということがはっきり書かれています。

リーダーボードの順位は相対的なスコアであり、共有された固定のテキストセットに対して一度だけ測定されるものです。そのデータセットにおいて、検出器がどの程度機能したかを示してくれます。

同じ検出器があなたのエッセイでどれほどのスコアになるかを予測するものではありません。あなたのエッセイには固有の分野別語彙があり、文章の癖もあります。また、あなた自身の改稿を複数回経ている可能性もあります。RAIDのデータセットは、そのようなパターンを管理された形でテストします。特定の一人の実際のエッセイを再現するためのものではなく、ベンチマーク結果はどれほど大規模でも、提出前に自分の下書きを直接確認することの代わりにはなりません。

Grammarlyの独自AI機能とあなたのAIスコア

GrammarlyのAI検出器は、他社のAIツールのテキストだけをチェックするわけではありません。Grammarlyの自社ページでは、ChatGPT、Gemini、Claudeのようなツールだけでなく、Grammarlyから生成されたAI生成テキストも検出すると記載されています。これは、文章作成の際にGrammarlyの独自AI機能を使う場合に重要になります。

Grammarlyのプランページでは機能が別々の項目として列挙されています。文法とスペルの修正は「ミスなしで書く」の下に、生成機能は「AIプロンプトでテキストを生成する」の下に記載されており、プランに応じて利用可能な量が異なります。これらは別種の支援です。誤字や置き忘れたコンマを直すことは新しい文章を生み出しませんが、Grammarlyに文章を書かせたり書き換えさせたりするよう依頼することは違います。

GrammarlyのAI Rewriterまたは生成プロンプトを多用することは、下書きの中であなたのAIスコアとして表れる可能性が高い部分です。とくに、自分の文章を編集するのではなく、文や段落全体を生成した場合に当てはまります。文法とスペルの修正にとどまっている学生は、新しいテキストを生成するGrammarlyの機能を使っていません。この使い方だけでは、Grammarly自身の検出器からのフラグの主な原因にはなりにくいでしょう。学術的な文章作成に限って言えば、私たちの学術目的のGrammarly用AI humanizerのレビューでは、Grammarlyの生成機能が引用や専門用語の周辺でどの程度機能するかを見ています。研究論文や学位論文でGrammarlyを他のツールと比較検討しているなら、私たちのProofreaderPro.ai と Grammarlyの比較でも同じ論点を扱っています。

著者性: あなたがどのように書いたかの記録

Grammarlyの著者情報機能はAI検出とは別で、単一のスコアというよりは「経過記録」のように機能します。文章を書いている最中にドキュメントを追跡し、各セクションを分類します。つまり、あなたが入力したもの、オンラインの情報源から引用されたもの、そしてAIで生成されたものです。著者情報は、Grammarlyの剽窃チェッカーや引用ジェネレーターと同じスイートの一部です。AIスコアにフラグが立つことは、Grammarlyのツールが文章に対して作り出せる記録の唯一の形ではありません。

指導者や編集者があなたの文章におけるAIスコアを疑った場合でも、著者情報ならあなた自身の言葉以外に見せられる材料を提供します。自分の下書きとバージョン履歴を残しておくのと同じ考え方です。そのアプローチについてはプロセスは新しい証拠で説明しています。文章がどのように作られていったかを示す記録は、単一のパーセンテージより説得力があります。フラグが正式な紛争に発展した場合は、偽の AI 検出フラグに異議を申し立てる方法 (学生および研究者のハンドブック)のガイドで次の手順を取り上げます。

Grammarlyは検出器とhumanizerをどのように連携しているか

GrammarlyのAI検出器とAI humanizerは、Grammarlyのスイート内での別々のツールで、それぞれ専用ページと専用のFAQがあります。検出器は、AI文と人が書いた文章のサンプルで訓練されたモデルとして説明されています。humanizerは、Grammarlyの言語学者とエンジニアが構築したツールとして説明されています。AI文を、あらかじめ用意された4つの声のいずれか、または執筆サンプルから作成するカスタムの声へと書き換えます。

それぞれのページは「Go beyond」セクションのもとで相互にリンクしています。GrammarlyのAuthorship機能は、文書のどの部分が入力されたのか、オンラインのどこから参照されたのか、あるいはAIで生成されたのかを示すことで、それらを結びつけます。Grammarlyのhumanizer FAQは、そのツールがAI検出を回避するのに役立つかどうかを直接尋ねており、Grammarlyの回答は、それを目的に作られていないというものです。さらにhumanizerを、AI支援による文章をよりわかりやすく、自然に聞こえるようにする方法として説明しています。

GrammarlyとGPTZero

GrammarlyとGPTZeroはいずれも親会社を同じくしています。Grammarlyのサイトフッターには、Superhumanと同じ「Company」見出しのもとにGPTZeroが掲載されており、GPTZero自身のサイトでも、Grammarlyも所有するSuperhumanファミリーの一部だと説明されています。しかし、どちらの会社の検出ページも「2つのツールが同じ検出モデルを共有している」とは書いていないため、同じ資本関係があることは、同じ文章に対してスコアが一致するかどうかを示しません。

実際には、同じエッセイに対するGrammarlyのスコアとGPTZeroのスコアが食い違うことはあり得ます。なぜなら、2つの会社はそれぞれ独自に検出器を運用し、更新しているからです。両方のツールで1つの下書きを確認するなら、各ツールがマークする箇所を比べてください。マークされた箇所は、その2つのパーセンテージ以上に、あなたの下書きについて教えてくれます。私たちは、GPTZero自身の数字を、私たちのGPTZeroレビューに含まれる、その自身の精度に関する主張も含めて確認しました。

無料版とProの比較

GrammarlyのAI検出スキャンはgrammarly.comで無料です。テキストを貼り付けるかアップロードし、「AIをスキャン」をクリックして、AIの割合スコアを確認します。Grammarly Proは月US$12で、AI Detectorエージェントの機能が使えるようになり、段落レベルのフラグとAI Rewriterによるワンクリックの書き換えが可能になります。大規模な組織向けのGrammarly Enterpriseは、掲載された価格の代わりに、Contact Salesの料金モデルを採用しています。

GrammarlyのAIプロンプト許容量はプランによっても変わります。Freeでは月100、Proでは月2,000、Enterpriseでは無制限です。これらの上限は、検出スキャンそのものではなく、Grammarlyの生成機能に適用されます。どのプランにも、検出スキャンに関する明確な上限は記載されていません。研究執筆において、Grammarlyの無料プランが何を省いているかを詳しく見るには、学術執筆向けの無料Grammarly代替案のレビューをご覧ください。

高いベンチマーク順位は有用な情報ですが、それはあなた自身のエッセイが高得点になる保証ではありません。AIの助けで下書きを修正した結果がまだ高得点である場合、academic humanizerは、そのスコアを下げるために作られています。あなた自身の文体で機能し、引用、専門用語、数値には手を付けません。

よくある質問

Q: GrammarlyのAI humanizerは、AI検出と同じエンジンを使いますか？

Grammarlyは、この2つを別々のツールとして説明しており、それぞれに独自のページと、仕組みがどう動くかについての独自の説明があります。検出は、人間とAIのテキストサンプルで学習されたモデルであると説明されています。一方でhumanizerは、Grammarlyの言語学者とエンジニアが作ったツールだと説明されています。どちらのページにも、同じモデルを共有しているとは書かれていません。

Q: Grammarlyのhumanizerは、検出と併用するように設計されていますか？

はい。GrammarlyのhumanizerのFAQでは、このツールはAI検出を回避するためのものではないと述べています。humanizerを、検出と、Grammarlyの引用機能およびAuthorship機能と組み合わせることを推奨し、AIの利用を透明に保つように促しています。

Q: Grammarlyはhumanizerと検出を組み合わせたワークフローとして訴求していますか？

はい。両方のページにある「Go beyond」セクションの下で、それぞれが互いのページへリンクしています。GrammarlyのAuthorship機能は、文章のどの部分が入力され、どの部分がオンライン情報に基づき、どの部分がAIで生成されたのかを示すことで、それらを結び付けています。

Q: Grammarlyを使うと文章がAIっぽく見えますか？

AIの生成機能を強く使いすぎると、そうなる可能性があります。Grammarlyの検出は、ChatGPT、Gemini、Claudeの出力を識別するのと同じ方法で、Grammarly自身のAIツールからの出力を識別します。文法やスペルの修正は、このシグナルには含まれません。AI Rewriterで生成した、または大幅に書き換えたテキストが対象です。

Q: GrammarlyのAIチェッカーは無料ですか？

はい。grammarly.comのスキャンツールは無料です。テキストを貼り付けるかアップロードすると、割合のスコアが表示されます。AI Detector agentは、段落単位のフラグとワンクリックの書き換えを備えていますが、これには月額US$12のGrammarly Proサブスクリプションが必要です。

Q: Winston AIはGrammarlyのAI検出と比べてどうですか？

Winston AIは99.98%の精度をうたっており、Grammarlyの99%という主張よりわずかに高いとされています。外部テストでは、Winstonの実世界での精度は概ね75%から83%に近いとされており、詳細はWinston AI検出の精度の内訳をご覧ください。Grammarlyは、自社の数値を社内テストとRAIDランキングの組み合わせに基づいて算出しています。

Q: GrammarlyはGPTZeroとつながっていますか？

はい。所有関係によってつながっています。Grammarlyのサイトでは、Superhumanの隣にGPTZeroを会社フッターに掲載しており、GPTZero自身のサイトでも、Grammarlyを所有する同じSuperhumanファミリーの一部であると説明しています。Grammarlyは、自社の検出がGPTZeroの技術を使っているとは述べていません。

Q: GrammarlyのRAIDランキングは何を測定しますか？

Grammarlyの検出器が、RAIDが公開したデータセットに対してどの程度機能したかを、RAIDが評価した他の検出器と相対的に測定します。Grammarlyの自社ブログでは、このデータセットについて、文体やAIモデルが異なるものを含み、検出器を欺こうとする意図的な試みも含む、670,000以上のテキストだと説明しています。RAIDの学術論文では、公開されているランキングの土台となる検出器テストに用いられる、600万件を超える生成を含むより大きなデータセットが述べられています。RAIDの順位は、そのデータセットの外の任意の1つのエッセイに対して、同じ検出器がどのように機能するかを測るものではありません。

学術系 AI humanizer

AI支援の下書きを、あなた自身の文体で書き直してください。引用を入れ、技術用語や数値は記入したとおりのままにしてください。