反撃するフィルター

2003年8月

ベイズスパムフィルターの精度を向上させるには、リンクをたどり、その先に何が待ち受けているかを確認させることができるかもしれません。death2spamのRichard Jowsey氏は、現在、境界線上のケースでこれを実行しており、うまく機能すると報告しています。

なぜ境界線上のケースでのみ実行するのでしょうか？そして、なぜ一度だけ実行するのでしょうか？

Will Filters Kill Spam?で述べたように、スパム内のすべてのURLをたどると、面白い副作用があります。人気のあるメールクライアントがスパムをフィルタリングするためにこれを実行した場合、スパマーのサーバーは深刻な打撃を受けるでしょう。このことについて、ますます考えていくうちに、このアイデアは素晴らしいもののように思えてきました。これは単に面白いだけではありません。スパマーに対する、これ以上ないほど完璧な標的を絞った反撃であると想像するのは難しいでしょう。

そこで、スパムフィルターの開発者に、追加機能として「罰する」モードを提案したいと思います。このモードをオンにすると、疑わしいスパム内のすべてのURLをn回スパイダーします。nはユーザーが設定できます。[1]

多くの人が指摘しているように、現在のメールシステムの問題の1つは、あまりにも受動的であることです。メールシステムは、ユーザーが指示したことを実行するだけです。これまでのところ、問題を解決するためのすべての提案は、新しいプロトコルを必要としています。しかし、この提案は、新しいプロトコルを必要としません。

広く普及すれば、自動取得型スパムフィルターは、メールシステムを跳ね返らせるでしょう。これまでスパマーに有利に働いていたスパムの膨大な量は、今度はスパマーに不利に働くようになり、まるで顔面に跳ね返る枝のように、スパマーに打撃を与えるでしょう。自動取得型スパムフィルターは、スパマーのコストを上昇させ、売上を減少させるでしょう。スパマーの帯域幅使用量は急増し、サーバーは負荷に耐えきれなくなり、停止状態に陥るでしょう。その結果、スパムに返信しようとした人々にサーバーが利用できなくなります。

1時間に100万通のメールを送信すれば、サーバーに1時間に100万回のヒットが発生します。

これは、疑わしいスパムに対してのみ実行されるようにする必要があります。一般的に、何百万人もの人々に送信されるURLは、スパムURLである可能性が高いので、すべてのメール内のすべてのHTTPリクエストを送信すれば、ほとんどの場合うまく機能します。しかし、これが当てはまらないケースがいくつかあります。たとえば、Yahoo MailやHotmailなどの無料メールサービスから送信されたメールの下部にあるURLです。

このようなサイトを保護し、悪用を防ぐために、自動取得は、スパム広告サイトのブラックリストと組み合わせる必要があります。ブラックリストに登録されているサイトのみがクロールされ、サイトは人間によって検査された後にブラックリストに登録されます。スパムの寿命は少なくとも数時間であるため、新しいサイトを宣伝するスパムを妨害するために、このようなリストを時間内に更新するのは容易です。[2]

高容量の自動取得は、高帯域幅接続を持つユーザーにとってのみ現実的ですが、スパマーに深刻な問題を引き起こすのに十分な数のユーザーがいます。実際、この解決策は、問題を巧みに反映しています。スパムの問題は、スパマーが少数の騙されやすい人々に到達するために、すべての人にメールを送信することです。騙されにくい受信者は、単なる付随的な被害者です。しかし、騙されにくい大多数が、騙されやすい人々がスパムに返信することを阻止できる（または阻止する脅威を与えることができる）ようになるまで、スパムを受け続けることは止まりません。自動取得型スパムフィルターは、彼らにその方法を提供します。

それはスパムを撲滅するのでしょうか？そうではありません。最大のスパマーは、おそらくサーバーを自動取得型フィルターから保護できるでしょう。しかし、彼らがそれを行うための最も簡単で安価な方法は、メールに動作する登録解除リンクを含めることです。そして、これは、小規模なスパマーや、スパマーに宣伝を依頼した「正当な」サイトにとって必要となるでしょう。そのため、自動取得型フィルターが普及すれば、自動取得型フィルターは自動登録解除型フィルターになるでしょう。

このシナリオでは、スパムは、OSクラッシュ、ウイルス、ポップアップのように、適切なソフトウェアを使用しない人々にのみ影響を与える疫病の1つになるでしょう。

注記

[1] 自動取得型フィルターは、リダイレクトをたどる必要があり、場合によっては（たとえば、「ここをクリック」とだけ書かれたページの場合）、複数のレベルのリンクをたどる必要があります。また、HTTPリクエストが、人気のあるWebブラウザのものと区別できないように、順序とリファラーを含めるようにしてください。

応答がx時間以内に返ってこない場合は、かなり高いスパム確率にデフォルト設定してください。

nを一定にするのではなく、サイトを言及しているスパムの数の関数にするのが良いかもしれません。これにより、悪用や事故に対するさらなるレベルの保護が追加されます。

[2] この記事の最初のバージョンでは、「ホワイトリスト」という用語の代わりに「ブラックリスト」という用語を使用していました。ブラックリストのように機能する予定でしたが、ホワイトリストと呼ぶ方が、法的攻撃を受けにくくなる可能性があるため、ホワイトリストと呼ぶことを好みました。しかし、これは読者を混乱させているようです。

おそらく、複数のブラックリストがあるべきです。単一の障害点は、攻撃と悪用の両方に対して脆弱です。

謝辞この原稿を読んでくださったBrian Burton氏、Bill Yerazunis氏、Dan Giffin氏、Eric Raymond氏、Richard Jowsey氏に感謝いたします。