データ処理
データ処理
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2020/09/06 08:40 UTC 版)
データ処理(データしょり、英: Data processing)は、英語Data Processingの前半をカタカナ語とし、後半を漢語訳した語である。情報処理やコンピューティングとほぼ同様の意味で、特に科学的に意味がある区別は無いが、情報処理の「情報」やコンピューティングの「計算」という語にある数理的色彩が比較的薄いデータベースの処理などといったものを指す。コンピュータ以前にはタビュレーティングマシン等の機械により、それ以前には人手により行われていたが、コンピュータ以後はもっぱらコンピュータによるそれを指す。バズワード的には、1960年代や1970年代にはコンピュータ業界(のうち主にいわゆる「企業システム」向けベンダ等)を指す語として多用されていたが(たとえば業界ネタを集めた『The Devil's DP Dictionary』という題の本がある)、近年は「IT」などの語に置き換えられあまり見なくなった。
- 1 データ処理とは
- 2 データ処理の概要
- 3 参考文献
データ処理
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/04/25 08:59 UTC 版)
冗長化されたシステムは、大きく分けてデュアルシステムとデュプレックスシステムに分かれる。 デュアルシステムは、同じ処理を2組のコンピュータシステムで行い、その結果を照合機でクロスチェックし、処理の正しさを確認しながら処理を進行していくシステム構成。サーバー本体のみならず、電源やケーブル、データベースなど全てを二重化する。コンピュータ・システムにおいては、一瞬の停止も許されない、例えば金融機関や交通機関の運行管理などのシステムで冗長化を行うことが多く、システム内部に相似形のサブシステムを常に並列して稼動させておき、片側に障害が生じたときでも停滞なくもう片側だけで基本的なサービスが行えるように設計・運用されているのがデュアルシステムである。障害発生時には、問題のある側のシステムをメイン処理から切り離し、残された側のシステムのみで処理を続行しつつ、障害からの回復を図る。故障時の切り換えだけでなく処理結果の比較によって異常検出や多数決が行えるのも特徴。 デュプレックスシステムは、主系(稼働系ともいう)と副系(待機系ともいう)からなる2系列の処理システム構成で、ホットスタンバイとコールドスタンバイに分かれる。ホットスタンバイは、待機系をいつでも動作可能な状態で待機させておき、障害発生時に直ちに切り替える方式。コールドスタンバイは、通常時は稼働系でオンライン処理、待機系でバッチ処理を行いながら待機させるが、主系の障害発生時には、主系で行っていたオンライン処理を副系に引き継ぐことで処理を継続する。つまりそれぞれのサブシステムで互いに異なる処理を行う構成。コールドスタンバイは障害発生時まで電源を停止している場合もある。 クラスタシステムは、2つの用語があり、「高可用性クラスタシステム」、つまりフェイルオーバーができるデュプレックスシステムを指す場合と、複数台が同時に稼動して負荷分散しながら並列に処理をする「負荷分散クラスタシステム」を指す場合がある。この用語を使用する場合、どちらを指す言葉なのかを明確にするために、「クラスタシステム」という用語の前に、「高可用性」か「負荷分散」を付けて明確化する必要がある。後者の負荷分散クラスタシステムは、結果的に全体を1台の高性能のコンピュータであるかのように利用する。連携しているコンピュータのどれかに障害が発生した場合には、ほかのコンピュータに処理を肩代わりさせることで、システム全体として処理を停止させないようにしている。 また、特に重要なシステムでは、災害や広域障害などに備えて複数のシステムを例えば東京と大阪などのように離れた場所に設置するようになっている。 こういった冗長化は、サービスの継続性が高められるという点で有用であるが、多額の費用がかかることから、完全な冗長化が施せるシステムは費用対効果の面で限られる。一般の消費者向けや企業でも通常の事務処理で用いられるパソコンでは、瞬時の停止を避けるほどの冗長化を施すことは稀であり、ほとんど唯一、比較的脆弱とされるハードディスク・ドライブの故障だけは作成・保存されたファイルすべてが失われる危険性があるのでRAIDによって冗長化が行われることがある。
※この「データ処理」の解説は、「冗長化」の解説の一部です。
「データ処理」を含む「冗長化」の記事については、「冗長化」の概要を参照ください。
データ処理
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2020/11/09 06:37 UTC 版)
2D-NMRでのデータ処理の中で、1D-NMRにはない2D-NMR固有の処理について述べる。
※この「データ処理」の解説は、「二次元NMR」の解説の一部です。
「データ処理」を含む「二次元NMR」の記事については、「二次元NMR」の概要を参照ください。
データ処理
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2021/10/09 20:28 UTC 版)
より一般的なデータ処理におけるビニングは、離散化とも言い、データの濃度を減らすための前処理手法の一つである。ビニングを行うことで、データに含まれる誤差や分散といった「雑音」を排して適切な値を補完し、見通しを良くすることで、データから構成するモデルの質を向上させる可能性がある。 ビニングは、規則的に並んでいるデータの値を、隣接する値との間で評価し、適当な値で置換することで、データの局所的な平滑化を実現し、モデルの構成を容易にすることを狙う。規則的に並ぶデータは、いくつかの区間・階層、即ち「ビン」に配分され、各ビンの中で適当な値により平滑化する。ビンの区切り方には、標本数を一定にする分位数で区切る方法、値の範囲を一定にする固定幅を用いる方法がある。値の置換方法としては、ビンの中の平均値や中央値を採用する方法、ビンの中の標本のうち最大値・最小値を「境界値」として近い方の境界値を採用する方法、などがある。ビニングは、データを集約してデータ数を減らし高次の階層とすることで、概念階層を構築する手法としても用いることができる。この手続きは、決定木のような機械学習のアルゴリズムにも必要なものである。 ビニングは例えば、大量のデータを扱う際に、効果的な手法となる。膨大なデータを扱う場合、計算の処理速度や、可視化するならばその描画速度、データが密な範囲での重ね描きに問題がある。生のデータにビニングを施すことで、各ビンにおける個別の値を縮小し、データをより速く処理できるようになる。また、作図にあたって全データを逐一描くのではなく、ビン1つを1個のデータとして、データを表す記号の表示方法など異なる切り口で可視化することで、描画もより速くなり、重ね描きの問題も解消できる。ビニングは、データの分解能を犠牲にするので、データ分布の微細構造に意味があるような場合、それを見落とすことになる欠点があるが、多くの場合利点がそれを上回る。また、高次元のデータを扱う場合には、ビンの数が指数関数的に増えるため、効果が乏しくなる。
※この「データ処理」の解説は、「ビニング」の解説の一部です。
「データ処理」を含む「ビニング」の記事については、「ビニング」の概要を参照ください。
データ処理
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2021/09/15 04:07 UTC 版)
データ処理におけるレスポンスタイムとは、エンドユーザーが知覚する以下のような時点間の間隔を意味する。 操作者が端末からコンピュータが応答すべき要求を入力した時点 端末にその応答の最初の文字が表示された時点 遠隔データシステムでのシステム応答時間は、問合せメッセージを送信完了した時点と、応答メッセージが問合せ発信地で受信され始めた時点の間隔である。
※この「データ処理」の解説は、「応答時間」の解説の一部です。
「データ処理」を含む「応答時間」の記事については、「応答時間」の概要を参照ください。
データ処理
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2021/09/18 16:10 UTC 版)
「ハッブル・ディープ・フィールド」の記事における「データ処理」の解説
それぞれの波長で最終的な結合した画像を作るのは複雑な処理であった。露出中に宇宙線が衝突して生じた明るいピクセルは、同じ露出時間で撮影した別の画像と比較し、宇宙線の影響で生じたピクセルかそうでないかを確認して取り除かれた。元々の画像にはスペースデブリや人工衛星の軌跡も存在するが、これらも注意深く取り除かれている。 地球からの反射光が全体の4分の1のコマに明らかに存在し、Xの字のように映る。これは反射光に影響された画像を撮影し、影響されていない画像と並べて、影響されている画像から影響されていない画像を引くという方法で除去されている。結果として得られた画像はなめらかであり、それから明るいコマから減じられることもあった。この手順により、反射光に影響された画像から反射光をほぼ全て取り除くことができた。 342枚の画像それぞれから宇宙線や反射光の影響が取り除かれたので、次に結合しなければならない。科学者たちは、1対のコマの間で望遠鏡の向きを絶えず変える「drizzling」と呼ばれる技法を開発したHDFの観測に参加していた。WFPC2のCCDチップのそれぞれのピクセルには、直径0.09秒の範囲が記録されるが、コマの間で望遠鏡の向きが少し変わることにより、結果として得られた画像は複雑な画像処理技術を用いて結合され、最終的な角分解能はこの値より良くなる。HDFの画像では、それぞれの波長で最終的なピクセルの大きさは0.03985秒角になっている。 ハッブル宇宙望遠鏡で撮影された画像は白黒画像であり、元から色が付いていたというわけではない。元々の白黒画像から、それぞれを赤、緑、青などに割り当てて1枚のフルカラー画像として合成して現在公開されているような画像ができている。
※この「データ処理」の解説は、「ハッブル・ディープ・フィールド」の解説の一部です。
「データ処理」を含む「ハッブル・ディープ・フィールド」の記事については、「ハッブル・ディープ・フィールド」の概要を参照ください。
「データ処理」の例文・使い方・用例・文例
- 電子データ処理
- データ処理は外注してしまうという手もある。
- 電算機はデータ処理に役立つ.
- データ処理のほとんどを行うコンピュータの部分(マイクロプロセッサ・チップ)
- データ処理の結果を印刷する出力装置
- データ処理システムのオペレーションを監視、統制、制御、確証するプログラム
- データ処理装置のネットワーク構成を作る(データフォーマットとデータ処理を含む)設計原理の仕様
- 会計または商売の管理におけるデータ処理
- コンピュータによるデータ処理
- 制御作業はそのデータ処理を始めた
- 大きな既存のデータベースでのパターンと相関関係を発見するために高度なデータ検索能力と統計アルゴリズムを用いるデータ処理
- 機能の一部が別々の場所で実行され、通信設備によって接続されるデータ処理
- 統計カードやパンチテープを用いない、電子的な手段による自動データ処理
- データ取得と他の段階または処理がコヒーレントシステムに統合された自動データ処理
- 結果が規則によって完全に指定されるデータ処理(特に単一命令から生じる処理)
- 実行されるオペレーションが優先事項のシステムによって決定されるデータ処理
- 外部処理の速度を維持するのに充分な早さのデータ処理
- 時間的尺度因数が1を超える時に、データ処理で使用される時間的尺度
- コンピューターによる集中一括データ処理方式
- オフラインシステムという,コンピューターのデータ処理方法
- データ処理のページへのリンク