curl
からは、javascriptを有効にしたブラウザと同じHTMLソースを取得することが難しいことがあります。このような場合、phantomjs
を使用すると便利です。
$ npm i -g phantomjs phantom
公式サイトにてバイナリも配布されてるので、node
からのインストールが依存関係などで失敗する場合、こちらをダウンロード、解凍して実行権限を与えると良いでしょう。
https://phantomjs.org/download.html
$ curl -sLO https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
$ aunpack phantomjs-2.1.1-linux-x86_64.tar.bz2
$ cd phantomjs-2.1.1-linux-x86_64/bin/
$ chmod +x phantomjs
$ ./phantomjs --version
set.js
varsystem=require('system');varpage=require('webpage').create();argumentvarurl=system.args[1];page.open(url,function(){console.log(page.content);phantom.exit();});
$ phantomjs set.js https://google.com