データの整合性

晴れ今日公開した某管理ページがあるのだけど、その中で不具合が発生していた。
ページごとのアクセス数の集計をしているのだけど、集計元となるデータを挿入する際の、負荷を分散する箇所で不具合が発生しており、通常よりかなり多いアクセス数を記録していた。
それの重複をとる作業を行った。
プログラム書いて、それを回しただけなのだけど、何しろ時間がかかった。
第一の処理、これが約4時間。 第二の処理、これが日をまたいで、約16時間もかかった。 対称となるデータが300万件近かったし、現在のデータも書き込まれている最中での処理だったので、こんなに時間がかかったのだろうけど……

無事、データの整合性も取れたので一安心。