【開発日誌】homeディレクトリのパーミッションは変えてはいけない。SSHログインできなくなる。サーバーサイドスクレイピングの技術調査は概ね終了

【注意】
個別ユーザーのhome dirのパーミッションを777に変更すると、sshログインできなくなった。
戻して復旧。homeディレクトリのパーミッションは変更するべきではない。

-------------------------------------

サーバーサイドでのスクレイピングが動作することが確認できた。

【現在の手順】
ミドルウェアを常駐させる。(1〜3)
1)xvfb起動 ※bash.profileに「export DISPLAY=:1」を入れておく。background
2)selenium-server  バックグラウンドで動かす。
3)selenium(node) バックグラウンドで動かす。node.jsonというファイルに、firefoxを設定。locale C

スクリプト実行(4 〜 5)
4) php スクリプトでスクレイピング
 →ファイルに結果を出力する。

5)出力された内容をDBにインサート。(未実装)

firefoxはlocaleがCでないと動かない。
phpを起動する端末もlocaleはCでないといけないようだ

検討課題;ログ出力
http://qiita.com/junpei_iwa/items/8dc9f62b4118186cf2df

次は、CakePHPの使用法を検討し、画面作成のめどをつける予定。

コメント

このブログの人気の投稿

分散処理など

VBAでEdge操作は不可能ではないが、ナンセンス

docker+nginx+wordpress リバースプロキシにてはまった件