データを使用する場合、ほとんどの人は、インサイトと分析が使用しているデータと同じくらい優れていることに同意します。 基本的に、ガベージデータインはガベージ分析アウトです。 データクリーニングは、データクレンジングとデータスクラビングとも呼ばれ、質の高いデータ意思決定に関する文化を作成する場合、組織にとって最も重要な
データクリーニングとは何ですか？
データクリーニングとは、データセット内の不正なデータ、破損したデータ、誤った形式のデータ、重複したデータ、または不完全なデータを修正または削除するプ
複数のデータソースを組み合わせると、データが重複したり、誤ってラベル付けされたりする可能性が多くなります。 データが正しくない場合、結果とアルゴリズムは正しく見えるかもしれませんが、信頼できません。 プロセスはデータセットごとに異なるため、データクリーニングプロセスの正確な手順を指定する絶対的な方法はありません。 しかし、それはあなたがそれを正しい方法を毎回やっている知っているので、あなたのデータのクリーニングプロセスのためのテンプレートを確立すデータのクリーニングとデータ変換の違いは何ですか？
データクリーニングとデータ変換の違いは何ですか？
データクリーニングは、データセットに属していないデータを削除するプロセスです。 データ変換は、ある形式または構造から別の形式または構造にデータを変換するプロセスです。 変換プロセスは、データラングリング、またはデータマンジング、倉庫保管および分析のための1つの「生の」データフォームから別の形式にデータを変換およびマ この記事では、そのデータをクリーニングするプロセスに焦点を当てています。
どのようにデータを消去しますか？
データクリーニングに使用される手法は、会社が保存するデータの種類によって異なる場合がありますが、次の基本的な手順に従って、組織のフレームワーク
ステップ1:重複または無関係な観測値を削除する
重複した観測値または無関係な観測値を含む、データセットから不要な観測値を削除します。 重複した観測は、データ収集中に最も頻繁に発生します。 複数の場所のデータセットを結合したり、データをスクレープしたり、クライアントや複数の部門からデータを受信したりすると、重複したデータを作成する機会があります。 重複排除は、このプロセスで考慮される最大の領域の1つです。無関係な観測値は、分析しようとしている特定の問題に収まらない観測値に気づいたときです。
無関係な観測値は、分析しようとしている特定の問題 たとえば、ミレニアル世代の顧客に関するデータを分析したいが、データセットに古い世代が含まれている場合は、これらの無関係な観測値を削除するこ これにより、分析がより効率的になり、主要なターゲットからの気晴らしを最小限に抑えるだけでなく、より管理しやすく、よりパフォーマンスの高いデー
ステップ2:構造エラーを修正
構造エラーは、データを測定または転送し、奇妙な命名規則、タイプミス、または誤った大文字化に気づくときです。 これらの不整合は、カテゴリまたはクラスのラベルが誤っている可能性があります。 たとえば、「N/A」と「Not Applicable」の両方が表示されますが、それらは同じカテゴリとして分析する必要があります。ステップ3
ステップ3
ステップ3: 不要な外れ値をフィルタリング
多くの場合、一目で分析しているデータに収まらないように見える一回限りの観測があります。 不適切なデータ入力など、外れ値を削除する正当な理由がある場合は、作業しているデータのパフォーマンスに役立ちます。 しかし、時にはそれはあなたが取り組んでいる理論を証明する外れ値の出現です。
覚えておいてください：外れ値が存在するからといって、それが間違っているわけではありません。 この手順は、その番号の有効性を判断するために必要です。 外れ値が分析に無関係であることが判明した場合、または間違いである場合は、それを削除することを検討してくださ
ステップ4:欠損データの処理
多くのアルゴリズムは欠損値を受け入れないため、欠損データを無視することはできません。 不足しているデータに対処するには、いくつかの方法があります。 どちらも最適ではありませんが、両方を考慮することができます。最初のオプションとして、欠損値を持つ観測値を削除できますが、これを行うと情報が削除または失われるため、削除する前にこれに注意してくださ
ステップ4:検証とQA
データクリーニングプロセスの最後に、基本的な検証の一部としてこれらの質問に答えることができるはずです。
- データは理にかなっていますか？
- データはそのフィールドの適切なルールに従っていますか？それはあなたの働く理論を証明したり反証したり、洞察を光にもたらしたりしますか？
- それはあなたの理論を証明したり反証したりしますか？
- 次の理論を形成するのに役立つデータの傾向を見つけることができますか？そうでない場合、それはデータ品質の問題のためですか？
誤った結論または”汚れた”データのために、ビジネス戦略と意思決定が不十分であることを知らせることができます。 誤った結論は、あなたのデータが精査に耐えられないことを認識したときに、報告会で恥ずかしい瞬間につながる可能性があります。
あなたがそこに着く前に、あなたの組織で質の高いデータの文化を作成することが重要です。 これを行うには、このカルチャを作成するために使用するツールと、データ品質があなたにとって何を意味するかを文書化する必要があります。
品質データのコンポーネント
データの品質を決定するには、その特性を検討し、組織にとって最も重要なものと、それらが使用されるアプリケーシ
5品質データの特性
- 妥当性。 定義されたビジネスルールまたは制約にデータが準拠する度合い。
- 正確さ。 データが真の値に近いことを確認します。
- 完全性。 すべての必要なデータが既知である程度。
- 一貫性。 データが同じデータセット内および/または複数のデータセット間で一貫していることを確認します。
- 均一性。 同じ測定単位を使用してデータを指定する度合い。
データクリーニングの利点
クリーンなデータを持つことは、最終的に全体的な生産性を向上させ、意思決定に最高品質の情報を可能にします。 利点は次のとおりです。
- 複数のデータソースが再生されているときのエラーの除去。
- より少ない間違いはより幸せな顧客およびより少なく失望させた従業員のために作る。
- さまざまな関数をマップする機能と、データが何をすることを意図しています。
- エラーを監視し、エラーがどこから来ているかを確認するためのより良いレポート、それが簡単に将来のアプリケーションのために不正または破損したデー
- データクリーニングのためのツールを使用すると、より効率的なビジネス慣行と迅速な意思決定のためになります。
効率化のためのデータクリーニングツールとソフトウェア
Tableau Prepのようなソフトウェアは、データを組み合わせてクリーニングする視覚的かつ直 Tableau Prepには、データフローを構築するためのTableau Prep Builderと、組織全体のフローのスケジュール、監視、管理を行うためのTableau Prep Conductorの2つの製品があります。 データスクラビングツールを使用すると、分析者や管理者が分析をより迅速に開始し、データに対する信頼性を高めることができるため、データベース管理者
データの品質と、データの作成、管理、変換に必要なツールを理解することは、効率的で効果的なビジネス上の意思決定を行うための重要なステップです。 この重要なプロセスは、組織内のデータ文化をさらに発展させます。 Tableau Prepが組織にどのような影響を与えるかについては、マーケティング代理店TinuitiがTableau Prepで100以上のデータソースを集中化し、500人のクライアントに対してマーケテ