これは使えるなぁ。
http://route477.net/rubyscraping/?Mechanize
WWW::Mechanizeでできること
- ウェブサイトへのアクセスの自動化
- リンクをたどる
- フォームをsubmitする
- リダイレクトをたどる
- アクセスしたページの履歴を覚える(history)
- cookieの設定・送信
- ファイルのアップロード
なんだかよく分からずやったインストール手順
- DOS窓から gem install mechanize
- gem install nokogiriもやっておいた
その後家でやったら、何かとエラーがでた。
rubygemsのバージョンがどうも古かったようで、新しいのをインストールしたら直った。
(http://rubyforge.org/frs/?group_id=126&release_id=37073からzipをダウンロードし、中のsetup.rbを実行。)
macさんだと sudo gem update --system でアップデートいけた。
アクセスと出力
require 'rubygems'
require 'mechanize'
require 'kconv'
agent = WWW::Mechanize.new
agent.get('https://trading1.sbisec.co.jp/ETGate')
#HTMLタグで囲まれた中身出力
puts agent.page.at('html').inner_text.tosjis
#BODYタグで囲まれた中身出力
puts agent.page.at('body').inner_text.tosjis
#titleタグで囲まれた中身出力
puts agent.page.at('title').inner_text.tosjis
参考