これは使えるなぁ。
http://route477.net/rubyscraping/?Mechanize
WWW::Mechanizeでできること
- ウェブサイトへのアクセスの自動化
- リンクをたどる
- フォームをsubmitする
- リダイレクトをたどる
- アクセスしたページの履歴を覚える(history)
- cookieの設定・送信
- ファイルのアップロード
なんだかよく分からずやったインストール手順
- DOS窓から gem install mechanize
- gem install nokogiriもやっておいた
その後家でやったら、何かとエラーがでた。
rubygemsのバージョンがどうも古かったようで、新しいのをインストールしたら直った。
(http://rubyforge.org/frs/?group_id=126&release_id=37073からzipをダウンロードし、中のsetup.rbを実行。)
macさんだと sudo gem update --system でアップデートいけた。
アクセスと出力
require 'rubygems' require 'mechanize' require 'kconv' agent = WWW::Mechanize.new agent.get('https://trading1.sbisec.co.jp/ETGate') #HTMLタグで囲まれた中身出力 puts agent.page.at('html').inner_text.tosjis #BODYタグで囲まれた中身出力 puts agent.page.at('body').inner_text.tosjis #titleタグで囲まれた中身出力 puts agent.page.at('title').inner_text.tosjis
参考