変換・加工

ウィキペディア小見出し辞書

変換・加工 (Transform)

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/03/21 23:21 UTC 版)

「Extract, Transform, Load」の記事における「変換・加工 (Transform)」の解説

変換・加工工程では、情報源から抽出したデータに一連の規則や関数を適用し、ターゲットにロードできるデータにする。データによってはほとんど変換・加工を必要としないこともある。それ以外の場合、以下のような変換を1つ以上加えることで、最終ターゲットが必要とする形にする。 特定のカラム（列）だけを選択する（ロードしない場合はNullカラムを選択）。 符号値の変換（例えば、ある情報源で男性を"1"、女性を"2"としていて、データウェアハウスでは男性を"M"、女性を"F"としている場合など）を自動データクレンジングと呼ぶ。ETLにおいては、手動でのクレンジングは発生しない。 個人情報の秘匿 (例えば住所・氏名・電話番号など "*" などに変換する) 自由形式の値を符号化（例えば、"男性" を "1" に、"Mr" を "M" にマッピングするなど） 新たに計算した値を導出（例えば、「売上高 = 販売数 * 単価」といった計算） 複数の情報源のデータの統合（マージなど） 複数行のデータの集約（例えば、販売店ごとの総売り上げ、地域ごとの総売り上げなど） 代替キー値生成 転置または回転（行と列の入れ替え） カラムを複数のカラムに分割する（例えば、CSV形式で1つのカラムに複数の要素がある場合、それを分割して複数のカラムにする）。 単純または複合データの妥当性検証を任意の形式で適用する。規則設計と例外処理によって、そのデータを次のステップに渡すかどうかを決定する。上述の変換・加工の多くは、例外処理の一部として実行される（例えば、ある位置のデータが期待した符号で解釈できない場合など）。

変換・加工 (Transform)

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/03/26 00:12 UTC 版)

「Extract/Transform/Load」の記事における「変換・加工 (Transform)」の解説

変換・加工工程では、情報源から抽出したデータに一連の規則や関数を適用し、ターゲットにロードできるデータにする。データによってはほとんど変換・加工を必要としないこともある。それ以外の場合、以下のような変換を1つ以上加えることで、最終ターゲットが必要とする形にする。 特定のカラム（列）だけを選択する（ロードしない場合はNullカラムを選択）。 符号値の変換（例えば、ある情報源で男性を"1"、女性を"2"としていて、データウェアハウスでは男性を"M"、女性を"F"としている場合など）を自動データクレンジングと呼ぶ。ETLにおいては、手動でのクレンジングは発生しない。 個人情報の秘匿 (例えば住所・氏名・電話番号など "*" などに変換する) 自由形式の値を符号化（例えば、"男性" を "1" に、"Mr" を "M" にマッピングするなど） 新たに計算した値を導出（例えば、「売上高 = 販売数 * 単価」といった計算） 複数の情報源のデータの統合（マージなど） 複数行のデータの集約（例えば、販売店ごとの総売り上げ、地域ごとの総売り上げなど） 代替キー値生成 転置または回転（行と列の入れ替え） カラムを複数のカラムに分割する（例えば、CSV形式で1つのカラムに複数の要素がある場合、それを分割して複数のカラムにする）。 単純または複合データの妥当性検証を任意の形式で適用する。規則設計と例外処理によって、そのデータを次のステップに渡すかどうかを決定する。上述の変換・加工の多くは、例外処理の一部として実行される（例えば、ある位置のデータが期待した符号で解釈できない場合など）。