[WEBスクレイピング]複数ページの繰り返し処理について
いつも参考にさせて頂いてます。
WEBで複数ページがある場合のスクレイピング分からずです。ご教示ください。
社内で利用しているWEBページから表形式になっているデータを取得したいです。
なぜかダウンロード用のボタンが設定されておりません。
1000行を超える事もあり、1ページには収まりません。
(1ページに収まる場合は正常にCSVを出力できてます)
ページは、下記のような動きをします。
右端の>>は押下すると一番最後のページまでジャンプしてしまいます。
図内の4ページ目のように右から2番目のページボタンを押すと次のページが表示されます。
最後のページは、表示が出ていて、これは「値の取得」で変数に入れる事ができました。
肝心のページのXPathです。
1ページ目://*[@id='btns-pagesize']/button[1]
「テーブルスクレイピング」ライブラリを利用して、
パス内の数字の1を変数にしたものを、「ページ遷移要素のPath」に設定、
1から最後のページ(図内では240ページ)まで繰り返し処理、CSVファイルで出力できれば
希望が叶うのですが、その設定方法がよく分かりませんでした。
もしかして、テーブルスクレイピングを繰り返し処理で包んで都度ファイル出力するのでしょうか。
それだと、膨大なファイル数になってしまいます。。。
何か良い知恵をお授けください。
よろしくお願い致します。
tomomi 回答した質問
回答とコメントは、会員登録(無料)で閲覧できるようになります。
新規登録