さまざまなWebサイトで公開される情報を「自動的に」収集・解析するWeb-Scraping技術のひとつに、Seleniumを用いる方法がある。Seleniumのフレームワークを用いると、リモートからブラウザ操作が可能になり、Web-Scrapingを効果的に行うことが期待される。
これまで、何度か、Seleniumを我が自宅サーバ上で動作可能にするようトライしたことがあるがことごとく失敗していた。
この数か月間、JupyterLab上でのプログラム開発環境を整備してきたところであるが、このプログラム環境を活用してSeleniumの動作環境を構築することを改めて試み、今回、なんとか成功した。動作環境の構築は、Python並びにJavaScript(Node)、それぞれの言語環境で行った。
このエントリーでは、Selenium動作環境の構築にかかわる、一連の手続きをメモしておいた。 (続きを読む)
以前も書いたが、この数カ月間、汎用プログラム言語Pythonについて学んでいる。
このプログラム言語、想像した以上に凄い。初心者用の簡易プログラム言語ぐらいのものだと馬鹿にしていたが、かなりのものなのではと思うようになった。いまはやりの機械学習とかAIの開発のなかで中心的なプログラム言語として選ばれている理由が少しわかってきたようにも思う。
Pythonというプログラム言語について、現時点での、個人的な印象を書いておくことにした。かなり断片的で、ひとりよがりな印象になってしまうかもしれないが、それはそれで、自分の頭のなかを整理しておくだけでもいいのではと考えた。 (続きを読む)
この数カ月間、汎用プログラム言語Pythonについて学んでいる。かなり興味深いプログラム言語との印象を受けている。
これまで、Anaconda3, Jupyter Notebook を自宅に設置しているLinuxサーバ上にインストールし、そのうえでPythonの動作環境を整えようと作業を続けてきた。Webに公開されている情報をたよりに試行錯誤的に作業を続けてきたが、最近になって、かなり安定した動作を得られるようになった。
ここらで、一連のインストール作業をメモとして残しておくことにした。
なお、本ブログ上に既報の関連記事は以下：
ひと月前にAnacondaパッケージをServer上にインストール（「CentOS7.6上にAnacondaでTensorFlow をインストール」）し、Pythonデータ解析環境を整備。そこで、Jupyter Notebookの使用を試してみた。
このJupyter、ローカルなLAN環境下では問題なく動作したが、LANの外部からアクセスするには、ApacheのProxy設定を整える必要があった。Google上でこれを可能とする情報を調べてみたところ、外部からプロキシー経由でアクセスする方法についての記述を見つけることができ、動作環境を整えることができた。
以下、Apacheのconfiguration file（/etc/httpd/conf.d/vhost.conf)の関連部についてメモしておいた。 (続きを読む)