オープンデータまで待てない人の、スクレーパー共有サイト(ScraperWiki)

最終更新日

scraperwiki

Webページからプログラムを使って情報を取り出すことをWebスクレイピング、プログラムの名前をスクレイパーと呼びます。
(Webクローリング、クローラーと呼ぶ場合も)

ScraperWikiは、ブラウザ上でスクレイパーを記述しデータを取得・保存することができるWebサービスです。
作成したスクレイパーコードや保存したデータは、他のユーザーと共有したり一般に公開することができます。

ScraperWikiをためしてみよう | ScraperWiki Data Blog

スクレイパーの作成画面

PHP,Python,rubyを使ってスクレイパーを記述することができます。
scraperwiki1

スクレイパーの自動実行

作成したスクレイパーを定期的に自動実行するよう設定できます。
scraperwiki2

取得したデータの公開

スクレイパーによって取得したデータは、CSVやJSONファイルとしてダウンロードすることができます。
scraperwiki3
また、「Explorer with AP」を利用すればWeb APIを使ってJSONデータを取得することもできます。

Profile Details: _shimizu | ScraperWiki

 
 
【参考】
スクレイピングするなら ScraperWiki 使うといいよ – ヤルキデナイズドだった
ScraperWiki を使って勝手 RSS フィードしてみた – 旧・私と私の猫の他は誰でも隠し事を持っている