オールドドメイン収集するWEBサービスをリニューアルしました

以前まで運用していたDomain Searchというドメイン収集サービスがあったのですが、諸事情によりサービス停止、新たにDomain Crawlerサービスをリリースしました。

Domain Crawler(ドメインクローラー)とは

Domain Crawlerは、Domain Searchのリメイク版でDomain Searchは収集したドメインリストを会員さんに共有サービスでした。

しかし、会員さんによっては毎日ドメインリストをチェックする人もいれば、週に1回まとめてチェックする人もいるため不公正な状況が発生しました。

そこで、Domain Searchのドメインリストを共有する方法をやめ、仕組みも新しくして会員さんごとにサーバーを構築、それぞれ運用するスタイルに変更したのがDomain Crawlerになります。

Domain Crawler(ドメインクローラー)公式サイト

Domain Crawlerの仕組

Domain Crawlerの仕組みですが、いたってシンプルです。

サイトページに貼られているリンクを独自開発したクローラーで巡回してオールドドメインを探していきます。

また、一度解析したサイトページは一定期巡回しないようになっていたり、日本語サイトのみ巡回させたりと調整ができるようになっています。

クローラーが常時稼働

クローラーは24時間常に稼働しています。ログを見ていただければわかると思いますが、1秒の間に1~4サイトページを解析しています。

そして、ページ解析と同時にドメインが失効しているか、日本語サイトなのか、外部リンクは多くないかなどもチェックしています。

Domain Crawlerの特徴

Domain Crawlerの特徴ですが、下記のようなことがあります。

  • 会員さんごとにサーバー構築
  • 全自動で稼働が可能
  • クローラーの追加が可能(収集率をアップ)
  • 24時間365日稼働
  • Mozとの連携
  • 制約なし(ドメイン転売目的の利用もOK)

他のツールと大きく異なる点として、PC上で動作するのではなくサーバー上で動作するため24時間365日稼働させることができます。

そして、すべての機能をバッチ処理化しているため全自動で稼働が可能になっています。

1クローラーあたりのオールドドメイン検知数

あくまでも目安の数値になりますが、1クローラーあたりオールドドメインを収集できる数は、1日200個前後になります。月単位だと6,000個のドメインを収集してくれます。

もちろん巡回するサイトだったりクローラーの設定内容によって変わることもあります。

初月無料でデモサイトもある

Domain Crawler以外にも言えることですが、実際に触ってみて体験してほうが手っ取り早い思いますので、公式サイトにデモサイトを準備しています。

実際に稼働している状態にしているので、どのようなドメインが収集できているか確認することができます。

また、初月無料にしていますので、思ったものと違ったなど初月で解約もOKです。

Domain Crawler(ドメインクローラー)公式サイト

最後に

Domain Crawlerは、まだまだ改善する余地があるため定期的にバージョンアップをおこなっていきます。

オールドドメイン収集にお困りの方はぜひご検討いただければ幸いです。

Domain Crawlerについてのお問い合わせは、公式サイトにお問い合わせフォームを準備していますのでそちらからお願いします。