「IT / ICT Glossary」シリーズでは、主に国家資格「ITパスポート(iパス)」に関連した用語を解説致します。
iパスの学習範囲は「企業と法務」など、システム以外の分野も含まれていますので、業種・職種に関わらず、社会生活を送る上で、とても参考になると考えています。
今回のキーワードは「時系列データ」です。
目次
大まかに説明すると
時系列データは、時間の経過とともに変化するデータで、株価や天気のデータが例です。
分析や予測を行う前に、データの欠損値や外れ値を処理し、日付の整合性を確認します。
また、データの正規化や標準化も重要です。
正規化はデータを0から1の範囲に収め、標準化は平均0、標準偏差1にします。
これにより、データのスケールが統一され、分析の精度やスピードが向上します。
こうした前処理は、より良い予測と分析のために不可欠です。
時系列データとは
時系列データとは、一定の時間の間隔で観測されたデータの系列であり、時間の経過とともに変化する現象を記録したデータです。
株価や経済指標のデータをはじめ、気象データなどさまざまなものが該当し、基本的には過去から未来に向かって順番に並ぶデータです。
時系列データには一定のパターンやトレンド、季節性などがあり、過去のデータを分析することで将来の動向を予測することなどに役立てられます。
季節性とは、一定の周期で変動することを意味します。
なお、データにはランダムな変動やノイズが含まれる場合があるので注意しなくてはなりません。
時系列データの前処理
時系列データを分析して将来予測などを行うにあたっては、取得したデータをそのまま用いるのではなく、前処理を行う必要があります。
時系列データの前処理の主な方法として、質的変数の処理、欠損処理、外れ値処理をはじめ、スケールが異なるデータの処理、データ間隔のリサンプル、タイムゾーンの変換などが挙げられます。
欠損値や外れ値の処理といったデータクリーニングを行うことで、分析のスピードや精度を上げることができるため、前処理は分析前の大切な作業です。
欠損値の処理
データの欠損を発見し、その原因を特定したうえで、欠損を埋める方法を選んで補完します。
時系列データでは、連続したデータの間に欠損が発生することが少なくありません。
この場合、平均値または中央値、前の値や次の値を補完することや予測モデルなどで補います。
外れ値の検出と処理
統計的手法やビジュアル化の方法を用い、外れ値を発見して原因を特定します。
原因に応じて、除外するか、そのまま使用するか、修正するかを選択することが必要です。
日付データの整合性をチェック
時系列データにおいては、日付の連続性や周期性をチェックしなくてはなりません。
日付の重複やズレた日付などが見つかった場合には修正を行います。
データの正規化と標準化
機械学習やデータ分析するには、データの正規化や標準化という前処理を行うことで、データのスケールを統一し、モデルの学習や解釈を容易にでき、分析スピードを上げることができます。
正規化と標準化は、いずれもデータのスケールを変換する方法ですが、その目的と手法に違いがあります。
データの正規化
データを0から1の範囲にスケーリングする方法で、最小値を0、最大値を1としてほかの値をそれに比例させます。
データの範囲が一定であることが重視される場合に用いられる方法です。
データの標準化
データの平均が0、標準偏差が1となるように変換する方法で、平均を引き、標準偏差で割ります。
標準偏差とは、平均からプラスマイナスどれくらいの差があるのかを示す値です。
これによって、データの分布を平均が0、分散が1の正規分布に近づけて標準化を図ります。
データの分布が正規分布に従うことが重視される場合に適用される方法です。
本キーワードの関連情報
今回のキーワードは、ITパスポート試験シラバスの、以下カテゴリに分類されています。
試験のご参考にもなれば幸いです。
カテゴリ:ストラテジ系 / 大分類1「企業と法務」 / 中分類1「企業活動」
2. 業務分析・データ利活用
目標「身近な業務を分析し、データの利活用によって問題を解決するための代表的な手法を理解し、活用する。業務を把握する際のビジュアル表現を理解し、活用する。」
説明「身近な業務を把握して分析する手法、代表的なビジュアル表現、データ利活用、OR(Operations Research)及びIE(Industrial Engineering)の手法を理解し、活用する。」
(3) データ利活用
・データを分析して利活用することによる,業務改善や問題解決
① データの種類及び前処理
・データを集める目的,集めるデータの種類及び特徴
・データ利活用のための簡単な前処理
・機械判読可能なデータの作成、表記方法
参考・引用元資料
【ITパスポート試験】試験内容・出題範囲
https://www3.jitec.ipa.go.jp/JitesCbt/html/about/range.html
ここまで読んで頂いて、誠にありがとうございます。今後ともどうぞよろしくお願い致します。