【開発メモ】サーバーサイドでのJavascriptが絡んだスクレイピングを行うためのヒントその他

PHP中心で、サーバーサイドアプリケーションの開発中。
ウェブブラウザで見たときにjavascriptによってページ内容が変更された後の状態を、サーバーサイドでスクレイピングしたい。単純にＨＴＭＬをパースしたり正規表現で取ってきたりするのでは不可能。

以下2つ、突破口となりうると思われる。

phantomJS・・・サーバーサイドでJavaScriptを動かすということ・・・？
selnium 2.0 PHP ・・・サーバーサイドでWebBrowserを動かしてしまう。

参考：一番下の部分が重要

※追記
phantomJS
selnium 2.0 PHP


# 単純なスクレイピングのライブラリ（不採用の予定）
------------------------------------------------------
PHP Simple HTML DOM Parser（http://simplehtmldom.sourceforge.net/)
Goutte


# PHPのシンタックスハイライト(sakura)
----------------------------
http://techfun.cc/php/php-sakuraeditor.html


# CakePHPは把握するべき
--------------------------------
http://qiita.com/kazukichi/items/2ef6f81e11709f1a75bd
http://book.cakephp.org/3.0/ja/intro/conventions.html


# MySQL
------------------------
・select
http://www.phpbook.jp/tutorial/mysql/index6.html
・日付型
http://www.dbonline.jp/mysql/type/index4.html
・権限
http://www.dbonline.jp/mysql/user/index5.html
http://www.dbonline.jp/mysql/user/index6.html
・ユーザーとパスワード
http://www.dbonline.jp/mysql/connect/index3.html
・★文字化け対策
http://d.hatena.ne.jp/satox/20120929/1348872362


コメント

コメントを投稿

このブログの人気の投稿

分散処理など

分散処理に入門してみた Hadoop＋spark 40分でわかるHadoop徹底入門 （Cloudera World Tokyo 2014 講演資料） Amazon Elastic MapReduceの使い方─Hadoopより手軽にはじめる大規模計算 ※ Amazon EMR公式 上記記事のコメントに「EMRは初心者向きじゃない。実運用向き。」とある。「ちょっと試すのなら、CDHのVMイメージをダウンロードして、ちょっと速めのマシンで複数のVMを走らせた方が手っ取り早いです。」とも。 CDHとは 「CDHは、Apache Hadoopや関連プロジェクトすべてを包含し、機能検証済み、かつ、世界でもっとも導入実績の多いディストリビューションです。本ディストリビューションは、100％ Apacheラインセンスに基づくオープンソース製品であり、Hadoopソリューションとしては唯一、バッチ処理、インタラクティブSQL、インタラクティブ検索、ロールベースのアクセスコントロール機能などを備えています。他のディストリビューションよりも、さらに多くの企業ユーザーにダウンロードされ使用されているディストリビューションと言えます。」 Cloudera Manager 「我々は、Apache Hadoop とそのエコシステムのインストール、構成管理、および監視をするために一番適しているのは Cloudera Manager であると考えています。」とのこと。 Hadoopクラスタを簡単に実行できるHDInsightと、新しいAzure Data Lakeサービスを一般公開 Azure Data Lake ・・・Amazon EMRにも言えることだが、従量課金制なので、料金見積もりが難しく、手を出しにくい。 データサイエンティスト養成読本 R活用編 ビッグデータ周辺にかかわる人材の3系統として、営業系、統計系、技術実装系の三系統がある、というようなことが書かれていたと記憶している。その3角形の中に、いろいろな技術・ナレッジのキーワードが書かれていた。再読したい。
続きを読む

VBAでEdge操作は不可能ではないが、ナンセンス

http://blog.livedoor.jp/motoki_8791/archives/51373321.html WebDriver経由での操作しかできなくなるらしい。COM経由では無理とのこと。 VBSから、WebDriver経由での操作をすることも可能なようだが、seleniumを使ったほうがよい。 COMとは https://ja.wikipedia.org/wiki/Component_Object_Model .NETの前の技術なので、基本.NETに取って代わられる。ただし、IEをスクリプトから操作する際などにつかわれた、とういうことが、.NETの項に書いてある。
続きを読む

docker+nginx+wordpress リバースプロキシにてはまった件

イメージ
Dockerにて、 1) リバースプロキシ用nginxのコンテナ 2) wordpress+nginx用コンテナ を作り、1から2に転送をしたところ、urlのドメイン名またはIPアドレスにPort番号が付加されて表示された。 やりたいこと「http://xxx.xxx.xxx.xxx」にアクセスしたら、url欄には、 こう表示したい→：http://xxx.xxx.xxx.xxx しかしこのようになる→：http://xxx.xxx.xxx.xxx:39000 nginx.conf(正確にはnginx.confにincludeされるconf.d内のファイル)には以下のように設定した。     server {             server_name _;             listen 80;             port_in_redirect off;             proxy_redirect off;             access_log /var/log/nginx/access.log main;             location / {                     port_in_redirect off;                     proxy_set_header Host $http_host;                   ...
続きを読む