生成モデルからベクトル・データベースまで〜AI/MLの未来を解き明かす〜

本記事では、生成AIからベクターデータベースのまで、AI/MLにおける最新のインサイトと、主要な概念、ユースケース、実装を成功させるための実践的なガイダンスについて紹介します。

（このブログは、2024年2月7日のブログ「Unveiling the future of AI/ML: From generative models to vector databases」の翻訳です。）

人工知能(AI)はこの1年で急速に発展し、多くの人にとって現実のものへと変化しました。

ChatGPTのようなツールはこの変化を促進し、消費者と企業の双方にとって重要な瞬間を迎えています。

このAI革命におけるデータベースの役割は極めて重要です。

最近、私はForresterの副社長アナリストであるMike Gualtieri氏とAerospikeの製品責任者であるLenley HensarlingとのAI市場動向をテーマにしたディスカッション（ウェビナー）の司会を務める機会がありました。

彼らのインサイトは、数多くの企業リーダーとの対話から得られたもので、非常に示唆に富んでいました。

ディスカッションの主な内容はこちらです。

GenAIとベクトルデータベース101：市場と定義

Lenleyは、生成AIは確かに世界的な注目を集めているものの、AIとML（機械学習）はかなり以前からエンタープライズ分野で急速に進化してきたと強調しました。

これにより、LLMsや生成AIからベクトルデータベースまでの重要な概念や革新について掘り下げる準備が整いました。

ベクトルデータベースとは、ベクトルとして表現されたデータを効率的に格納、管理、検索するためのデータベースです。

これには、それぞれのベクトル埋め込みと類似検索アルゴリズムが含まれています。

そして話題は、企業に特化したベクトル・データベースが必要かどうかに移りました。

Mikeは、マルチモデルデータベースに関するForresterの見解を示し、機能が拡張するにつれて複数のデータストアを管理することの難しさを強調。

一方、Lenleyは、ベクターデータベースの真価が問われる毎秒数百万件の検索を処理するためには、単にベクターを保存するだけでなく、インデックスを作成し類似検索を効率的に行うことが重要であると強調しました。

データベースマネジメント業界の2024年トレンド解説〜今年はベクトルデータベースが台頭する？〜

この1年で企業の生成AI採用を支えたアーキテクチャの1つは検索拡張世代（RAG）です。

Lenleyは、RAGはデロイトやマッキンゼーのような経営コンサルタントが、企業独自の状況に合わせてアドバイスをカスタマイズする方法に似ており、特定の組織のニーズに合わせてLLMをカスタマイズする手段であると説明しました。

RAGは、組織独自のデータから得られたベクトル埋め込みを採用し、関連するカスタマイズされた情報で事前に訓練されたモデルの応答を強化します。

Mikeは、RAGが特に個人の生産性向上アプリケーションに優れていることを指摘しました。

また、企業プロジェクトやイノベーションを推進する上で、リアルタイム機能が重要であることも強調しました。

このAI/ML主導の分野においては、生成AIが台頭する以前から高性能データベースに依存していました。

これらのアプリケーションは、多くの場合、学習と推論の両方の段階で特徴ストアとしてリアルタイム・データベースに依存しています。

そのため、現在ではベクトル・データを取り込む可能性もあります。

AIを活用することで、不正検知システムはトランザクションデータのパターンや異常を分析し、ダイナミックな環境における結果の精度とスピードを向上させることができます。

リアルタイム・データベースは何年も前から不正検出に応用されていますが、ベクトル・データベースは複数の特徴を高次元ベクトルに変換することで、これらのモデルに効率的にデータを追加することができます。

ペイパルが不正検出にグラフデータベースを活用する理由

ジェネレーティブ・エンジニアリングとは、さまざまな工学分野に固有の「言語」を認識する概念です。

二人は、LLMがもたらす革新が、これらの分野に大きな影響を与え、変容をもたらすことを強調しました。

ウェビナーの最後のセクションでは、AIプロジェクトの成功に必要なインフラに関する実践的なガイダンスが紹介されました。

Mikeは、プロセスをデータ準備、トレーニング、推論の3つの作業負荷に細分化。

彼は、GenAIや他のモデルはHugging Faceのようなプラットフォームで容易にアクセスでき、トレーニングの複雑さの多くが抽象化されている一方で、真の課題はこれらのソリューションのスケーリングにあると説明し、焦点のシフトを指摘しました。

データ準備には、多くの場合、多様なデータを数千のML特徴量に変換することが含まれ、推論には、スケールの異なる場所から複数の変数をリアルタイムで検索することが要求されます。

Lenleyは、優れた例としてレクシスネクシスのThreatMetrix製品を取り上げました。

同社は、脅威検知のためのデータ分析を数時間から数カ月に拡張することで、膨大な量のデータを効果的かつ経済的に処理しています。

生成AIについて、Lenleyは、リソースを節約する方法として、セマンティック・キャッシングの概念に触れ、キャッシュ内のベクトル・データをチェックすることで、基礎モデルの呼び出しを減らすと見解を述べました。