Seleniumを用いて、アマゾンサイトの商品検索サイトで書名検索する際に出力される書籍の表紙画面のURLを取り出してみた。
書名を入力とし、表紙画面を出力する node module getImage()を作成したので、テストのサンプル(test.jsと実行結果）、moduleを定義しているamazon_search.jsのソースをアップしておいた。
なお、アップしたソース、並びにその使用については本サイトは責任を負わないので念のため。
(続きを読む)
Webアプリケーション作成用のフレームワークのNUXTJSに興味を持った。
このフレームワークの枠組みについて一通り理解するために、我がLinuxサーバ上にこれをインストールし、MySQL DBにアクセスし、DB上のデータをWeb上に描画するまでを実際にやってみた。
作業内容について比較的詳細にメモしておいた。
(続きを読む)
さまざまなWebサイトで公開される情報を「自動的に」収集・解析するWeb-Scraping技術のひとつに、Seleniumを用いる方法がある。Seleniumのフレームワークを用いると、リモートからブラウザ操作が可能になり、Web-Scrapingを効果的に行うことが期待される。
これまで、何度か、Seleniumを我が自宅サーバ上で動作可能にするようトライしたことがあるがことごとく失敗していた。
この数か月間、JupyterLab上でのプログラム開発環境を整備してきたところであるが、このプログラム環境を活用してSeleniumの動作環境を構築することを改めて試み、今回、なんとか成功した。動作環境の構築は、Python並びにJavaScript(Node)、それぞれの言語環境で行った。
このエントリーでは、Selenium動作環境の構築にかかわる、一連の手続きをメモしておいた。 (続きを読む)
JupyterLab上で Pythonに加えて、R言語ならびに JapaScript(node.js)の kernelを追加した。
作業内容を、以下、簡単にメモしておいた。
(続きを読む)
CentOSへの移行作業のうち、前回までに記載していない追加的な事項についてメモしておいた。
Mail Server(postfix) については、Letsencryptを用いて、STARTTLSによる接続保護手続きを導入した。導入手続きについても記述。 (続きを読む)