AIアプリケーションにおけるデータ品質の重要性

青と紫の立方体ピクセルが複雑なパターンを形成する、抽象的な3Dデジタルランドスケープ。

人工知能(AI)は、10年前には想像もできなかったスピードでイノベーションを推進しています。AIは、効率化の向上、データ駆動型の意思決定の促進、セキュリティの強化を通じて、ほぼすべての産業やビジネスに関与しています。また、化学や生命科学を含む多くの科学研究分野にも革命をもたらしています。これら2つの業界におけるAIの進歩は、材料発見の新しい手法や創薬の加速につながり、研究室に入る前に数百万もの実験を実行できる予測モデルを生み出しました。

AIが日常生活のあらゆる側面に影響を与える中、AIの強力さの源泉が何であるか、そしてテクノロジーがどこでつまずくのかを見失いがちです。その重要な要素の一つが、あらゆるAIアプリケーションにおけるデータ品質の重要性です。

データ品質の定義

データ品質の定義は人によって異なる場合がありますが、一般的には、正確性、一貫性、完全性、関連性という4つの主要な要素の組み合わせで構成されます。

  1. 正確性とは、データに誤りや間違いがないことを保証するものです。‍
  2. 一貫性とは、データが統一された形式で表現されていることを意味します。‍
  3. 完全性とは、必要なデータがすべて揃っていることを確実にします。‍
  4. 関連性とは、データが目的のタスクに適用可能であることを検証するものです。

これらの要素を満たすデータセットは、AIアルゴリズムのトレーニングに不可欠です。しかし、これらの要件を満たせなかった場合の結果についても考慮することが重要です。

正確性

不正確なデータセットでモデルをトレーニングすると、不正確なモデルが出来上がります。データセットの正確性が低いと、汎化性能が低下する可能性が高まります。モデルの汎化性能が低い場合、トレーニングセットに含まれていないデータに対してはうまく機能しません。正確性の欠如がもたらす最終的な結果は、モデルの信頼性が損なわれることであり、導入後に克服することが困難な信頼と信用に関する問題につながります。

一貫性

データに一貫性がない場合、新しいデータをトレーニングセットに取り込む際により多くの労力が必要となります。欠損フィールドの特定、単位の変更、重複、その他の不整合を修正する作業は、時間のかかるプロセスです。多くのデータサイエンティストは、データセットの一貫性を向上させるためにかなりの時間を費やしています。データパイプラインの初期段階でデータの一貫性が優先されていれば、この時間をAIアルゴリズムの開発により有効に活用できるはずです。

完全性

モデルの意図する目的に対して必要なすべての情報を含む完全なデータセットにアクセスできなければ、モデルの理解にギャップが生じます。これらのギャップは、モデルのバイアスとして現れる可能性があります。バイアスのかかったモデルは、トレーニングセットと類似していないデータに遭遇した際、不適切な予測を行う傾向があります。バイアスのかかったモデルは、有害なステレオタイプを助長したり、ユーザーに否定的な社会的影響を与えたりする可能性があるため、多くの倫理的および法的懸念を伴います。

関連性

データセットが目的のタスクに関連していない場合、有用なモデルをトレーニングするのにより多くの時間が必要になる可能性があります。トレーニングに関連のないデータを使用すると、最終的な決定に影響を与えないデータまで考慮しようとするため、モデルが混乱します。この無関係なデータが原因でモデルのトレーニングフェーズに時間がかかる場合、有用なモデルを構築するために、より多くの時間、計算リソース、およびコストを費やすことになります。

CASは人間味のあるアプローチでデータ品質を保証します

データの品質に関する懸念は至る所に存在しますが、CASは科学データに関連するこれらの要素の重要性を認識し、優先的に取り組んでいます。化学やライフサイエンスのデータは、そのソースによって大きく異なる場合があります。化学における分子構造の表現方法には、MDL Molfile (MOL)、Structure-Data Format (SDF)、Simplified Molecular Input Line Entry System (SMILES)、International Chemical Identifier (InChI) など、いくつかの異なる手法が存在します。これらの分子表現にはそれぞれ一長一短があります。CASは、すべての分子フォーマットをCAS REGISTRY®にマッピングする技術を活用しています。技術だけでは正確な一致を判断できない場合、専門家の知見を用いて正しい構造を特定します。このような人手によるキュレーションを通じて、CASおよびパートナー企業のさまざまなAIアプリケーションで使用される、化学構造と化学反応の両方に関する高品質なデータベースを維持しています。

同様に、CASはライフサイエンスデータへの最近の拡大においても、人手によるキュレーションに依存してきました。CASの科学者と技術者からなるグローバルチームが、薬理学、バイオマーカー、シグナル伝達経路などのライフサイエンスデータを精査しています。この取り組みにより、高品質なデータセットの鍵となる、データの正確性と一貫性が確保されています。当社の薬理学データセットを用いて、タンパク質標的に対する分子の活性を予測する既存モデルをトレーニングしたところ、ベースラインモデルと比較して、実験値と予測値の差が56%減少し、標準偏差が23%減少しました。この成果は、すべてのCASデータセットに共通するデータ品質の重要性を実証しています。

CASは、AIアプリケーションにおけるデータ品質の重要性を確信しています。人手を介することで、高精度で一貫性のあるデータセットを生成しています。100年以上にわたる歴史の中で、私たちはコンテンツとナレッジマネジメントの専門知識を培ってきました。当社の科学者はこの専門知識を駆使し、特定のAIアプリケーションに対するデータセットの完全性と関連性を判断しています。この専門知識を活用することで、データセット内の完全性や関連性の問題を特定し、それらの課題に対処するための計画を策定することが可能です。