ウェブサイトへのアクセスの自動化 WWW::Mechanize

これは使えるなぁ。

http://route477.net/rubyscraping/?Mechanize

WWW::Mechanizeでできること

  • ウェブサイトへのアクセスの自動化
    • リンクをたどる
    • フォームをsubmitする
    • リダイレクトをたどる
    • アクセスしたページの履歴を覚える(history)
    • cookieの設定・送信
    • ファイルのアップロード

なんだかよく分からずやったインストール手順

  • DOS窓から gem install mechanize
  • gem install nokogiriもやっておいた

その後家でやったら、何かとエラーがでた。
rubygemsのバージョンがどうも古かったようで、新しいのをインストールしたら直った。
http://rubyforge.org/frs/?group_id=126&release_id=37073からzipをダウンロードし、中のsetup.rbを実行。)

macさんだと sudo gem update --system でアップデートいけた。

アクセスと出力

require 'rubygems'
require 'mechanize'
require 'kconv'

agent = WWW::Mechanize.new
agent.get('https://trading1.sbisec.co.jp/ETGate')

#HTMLタグで囲まれた中身出力
puts agent.page.at('html').inner_text.tosjis

#BODYタグで囲まれた中身出力
puts agent.page.at('body').inner_text.tosjis

#titleタグで囲まれた中身出力
puts agent.page.at('title').inner_text.tosjis

参考