CSVデータのインポート時に稀に破損する
データインポート時に取り込んだデータが破損するケースがあります。
対策や解決の可能性など教えてほしいです。
症状:データインポートにてCSVを取り込んだ後、実行。停止後再稼働すると取り込んだデータが破損し、数値の一部が空白(変数に取り込めないので空白じゃない可能性あり)になる。
※取り込み時は破損せずに取り込めてました。
環境:WinActor Ver 7.2.1
取り込みCSV:45列×5万行
稼働中の書き込みExcel:現在5列×1.3万行 (5万行まで予定)
Ver5から追加された”データ数”では読み込むだけで莫大な時間がかかるため、データインポートにてまとめて取り込んだあと処理をしています。
シナリオ構成的には簡素でFirefoxとExcel1つの繰り返し操作となっております。
すでに取り込みデータを3分割しているので、これ以上の分割は避けたいのですがいい手立てはないでしょうか。
ーー追記ーー
Q.「変数に取り込めない」ことをどこで把握してますか。
A.データ一覧にて確認しています。
こちらが初回にデータを読み込んだ状態となってお、最終行まで数値が反映されています。
この状態で実行すると、データ一覧から変数値取り出し→ブラウザで検索→情報取得→エクセルに値の設置 のシナリオが成功します。
(一時停止ではなく)停止させると下記の状態になります。
Q.処理済みの(チェックがある)行が全部ブランクに見えてる感じですか。
A.チェックあり≠処理済みではなく、処理の有無に関係なくブランクが発生しています。(処理3000行スタートで停止後300以降すべてブランク)
Q.フロー内で、変数を上書きする処理を入れてますか。
A.いいえ、取り出しのみで上書き処理は必要がないのでしていません。
行数によりデータが残っている部分もありますが、大半が画像のように消えます。※見出しが消えているのは塗りつぶしです。
この状態でデータを更新せずに実行すると下のようなエラーがポップアップします。
Q.「変数に取り込めない」場合も、数値の一部は取り込めてるということ??
A.データ一覧の行が多く確認しきれてませんが、少なくともデータ一覧の1~20行はデータが残っており、500行目ではデータが消えてました。
Q.それぞれCSVのコピーをサクラエディタとかExcelで開いたら、そのセルがどうなってるか。
A.Excelで開くと問題なく開き、異常は見られない
Q.新しいシナリオファイルで、「csvファイル→変数値」でその行を読み込んでみたら、そのセルがどうなってるか
A.正常な数値を変数に格納できました。停止後に再実行しても正常でした。
Q.セル内改行が含まれてる系のセルだったりしますか。
A.空白系が含まれているとインポートエラーが出たため、置換にて削除しています。
Q.これは、1.3万行/5万行ってことですか。
A.13万件を5万、4万、4万に分割しており、そのうちの1.3万行/5万行まで進行しているということです。
Q.Webシステムへのデータ入力ですか。
A.(社内システムから取り出し)→CSVデータ→Web検索→最新データを取得 です。
将来的には最新データを元に、社内システムの既存データを更新 及び Excel利用した業務補助ツールの作成 を見込んでいます。
Excelで行をカウントアップするフローへの切り替え
→通しでできないので、実行分の行のみエクセルに保存&再開時参照。
Excelへの変換を経てみたら、まるっと解消しちゃったりしませんか。
→こちらは検証して後日追記させてもらいます。