Tag Archeve for the ‘selenium’ Category
Monday, November 23rd, 2020
Seleniumを用いて、アマゾンサイトの商品検索サイトで書名検索する際に出力される書籍の表紙画面のURLを取り出してみた。
書名を入力とし、表紙画面を出力する node module getImage()を作成したので、テストのサンプル(test.jsと実行結果)、moduleを定義しているamazon_search.jsのソースをアップしておいた。
なお、アップしたソース、並びにその使用については本サイトは責任を負わないので念のため。
(続きを読む)
Posted in IT(情報処理) | No Comments »
Monday, September 21st, 2020
Seleniumによりログイン操作と操作後のCookieを取得・保存し、取得・保存したCookieを用いて要ログインページにアクセスしてみた。
サンプルとして操作の対象としたのは本サイト(https://memorandum.yamasnet.com/) 自身。要ログインページにアクセスするため、他サイトに迷惑をかけないようにした(つもり)。
以下、一連の手続き、スクリプトソースをメモしておいた。
(続きを読む)
Posted in IT(情報処理) | No Comments »
Saturday, September 5th, 2020
Web上に公開されている情報を「自動的に」収集するツールとして、Selenium が有効なのではと考え、いろいろ調べていた。
Seleniumを用いたChromeブラウザのコントロールが、それなりに安定して実行できるようになったので、作業メモを残しておいた。
なお、一連のテストはjupyter lab上で行った。
(続きを読む)
Posted in IT(情報処理) | No Comments »
Wednesday, February 19th, 2020
さまざまなWebサイトで公開される情報を「自動的に」収集・解析するWeb-Scraping技術のひとつに、Seleniumを用いる方法がある。Seleniumのフレームワークを用いると、リモートからブラウザ操作が可能になり、Web-Scrapingを効果的に行うことが期待される。
これまで、何度か、Seleniumを我が自宅サーバ上で動作可能にするようトライしたことがあるがことごとく失敗していた。
この数か月間、JupyterLab上でのプログラム開発環境を整備してきたところであるが、このプログラム環境を活用してSeleniumの動作環境を構築することを改めて試み、今回、なんとか成功した。動作環境の構築は、Python並びにJavaScript(Node)、それぞれの言語環境で行った。
このエントリーでは、Selenium動作環境の構築にかかわる、一連の手続きをメモしておいた。 (続きを読む)
Posted in IT(情報処理), Serverの構築と運用覚書き | No Comments »