セキュリティとストレージのリーディングカンパニー|バラクーダ > ブログ > Web Application Firewall > Barracuda Web Application FirewallのWebスクレイピング対策

Barracuda Web Application FirewallのWebスクレイピング対策
TUSHAR RICHABADAS

2016年09月07日

価格比較機能は人気のツールです。このようなツールをAmazonやeBayと組み合わせれば、ずっと欲しかったスマートウォッチを最低価格で手に入れることができます。ところで、このツールの仕組みをご存知でしょうか。このツールの基盤となるテクノロジに細工すれば、攻撃に悪用できるとしたらどうでしょうか。

ほとんどの価格比較ツールには、Webスクレイピングと呼ばれる手法が使用されています。Webスクレイピングは、Webサイトの情報を自動収集する手法です。Googleなどの検索エンジンプロバイダは、この手法を使ってWebサイトのクローリングや情報収集を行っています。

Webスクレイピングには無害な用途もありますが、Webサイトにとって大きな脅威になる危険もあります。 Webスクレイピングの悪用例は、データ窃取から標的型攻撃まで幅広く、スパムリストを目的にしたメールアドレスの収集、競合他社の機密情報の収集、コンテンツの盗用や再公開、比較価格の公開、オークションのスナイピングなどがあります。このような行為は、ビジネスに悪影響を及ぼしかねません。たとえば、自社のビジネスを有利にするために、競合他社がWebサイトをクローリングして機密情報を収集するかもしれません。また、著作権保護されたコンテンツを盗用して自社のWebサイトに掲載し、収益を得ようとする可能性もあります。

Webクローラを悪用し、Webサイトに攻撃を仕掛けるケースもあります。自動クローラを多数使えば、Webサーバに過剰な負荷をかけてダウンさせることも可能です。2013年、GoogleBotに細工をして、SQLインジェクション攻撃をさせた事件が発覚しています。

パブリックWebサイトを検索結果に表示させたい場合、検索エンジンクローラにインデックス付けを許可する必要があります。ところが、この処理を悪用しようとする攻撃者を阻止する必要もあるのです。Barracuda Web Application Firewall(WAF)ならば、Webスクレイピングからお客様のWebサイトを簡単に保護できます。巧妙化するWebスクレイピングに対抗するために、WAFは複数の保護機能を備え、Webサイトを保護します。

Webスクレイピングの設定は、[Webサイト]>[Webスクレイピング]のページで実行できます。このページでは、ボットをブロックするポリシーの設定や、ホワイトリストボットのレビューまたは変更が可能です。

Webスクレイピングポリシーは、複数の手順で設定します。まず、ハニーポットを作成します。ハニーポットとは、応答に埋め込まれている隠しリンクや、robots.txtの「disallowed」セクションにある暗号化URLを指します。悪意のあるボットがサイトにアクセスすると、隠しリンクにアクセスするか、robots.txtの非許可URLにアクセスすることで、ハニーポットに侵入します。GoogleBotなどの無害なボットは、このような処理を実行しません。

ほとんどのボットは、ヘッドレスブラウザの自動ツールで実行されています。Barracuda WAFでは、JavasSriptチャレンジを応答で送信することにより、ボットを識別します。ブラウザがチャレンジを実行できない場合、ボットとして処理されます。また、Barracuda WAFでは、robots.txtにクロール遅延を挿入できます。クロール遅延時間に違反したボットは、悪意のあるボットとみなされ、ブロックされます。

WAFは、検索エンジンのクローラをホワイトリストとして登録し、リバースDNSルックアップでIPアドレスを検証します。そして、無害なボットにはサイトへのインデックス付けを許可します。これにより、検索エンジンの結果リストにWebサイトが掲載されるようになります。ホワイトリストは、偽のGooglebotの識別にも役立ちます。

Webスクレイピング対策は、ファームウェアリリース8.1以降に搭載されています。Barracuda Web Application Firewallの新リリースとアップグレードのベストプラクティスは、Barracuda Campusをご覧ください。

Barracuda Web Application Firewallは、お客様のWebサイトを攻撃から完全に保護し、Webサイトやサービスのパフォーマンス向上で威力を発揮します。Barracuda Web Application Firewallについて詳しくは、製品ページをご覧ください。Barracuda WAFは物理アプライアンスと仮想アプライアンスの両方で提供されており、30日間無料でお試しいただけます。こちらからお申し込みください。


タッシャー・リチャバダス(Tushar Richabadas)は、Barracuda Web Application Firewallチームのプロダクトマネージャであり、インドオフィスで働いています。タッシャーにつながりたい方は、LinkedInからどうぞ。

※本内容はBarracuda Product Blog 2016年8月1Barracuda Web Application Firewall protects against web scrapingを翻訳したものです。


コラム(バラクーダブログ)一覧へ

お問い合わせ

CONTACT