本ブログは、弊社チーフサイエンティストNaren Narendranの「Introducing Vector Search」の翻訳です。
人工知能（AI）は、ユースケースや業界で至る所に存在しています。
ほぼすべてのビジネスプロセスがAIの価値を最大限に活用しようとする組織にとって適切な対象となっています。
特に、ChatGPTのような大規模言語モデル（LLM）とともに大きな注目を集めているのが生成AI（GenAI）です。
従来の「予測的」AIも変化を遂げており、ベクトルソリューションが登場し、既存のAIと機械学習（ML）のユースケースの性能と効率を向上させる先進的な技術を取り入れ、新たな用途をサポートしています。
ベクトルは、よりコンパクトな形で特徴データのセットをエンコードし、MLモデルに供給するためにも使用されています。
現代AIの課題：データ急増と危険な結果の抑制
企業はAI/MLアプリケーションの近代化やGenAIソリューションの採用に本腰を入れていますが、障壁にも直面しています。
伝統的なデータベースは、多様なソースからの大量のリアルタイムデータを効果的に処理することに苦労しており、これはAIモデルの機能とタイムリーな出力を生み出すために不可欠です。
LLM（大規模言語モデル）の自然言語処理能力は印象的ですが、膨大な計算能力（および深いポケット）を必要とします。
また、LLMは時に「幻覚」を見せ、時には危険な結果を引き起こすことがあります。
そのため、生産環境で創造的なAIアプリケーションをサポートしたい企業にとっては深刻な問題を提起します。
将来のAIアプリケーションは、この問題に対処するだけでなく、異種混合データの急増にも対応し、大規模で迅速にデータを整理し提供できるソリューションが必要です。
そのソリューションとなるのが、Aerospikeです。
私が約2年前にAerospikeに入社しました。
入社の決め手となったのは、同社がこの新しいAI時代のための強力で大規模、高性能なシステムというユニークなものを提供していたからです。
同社はすでに、PayPal、Adobe、Myntra、Flipkart、Riskifiedをはじめ、新規顧客を獲得し続けています。
これらの顧客は、eコマース、詐欺検出、顧客360のような古典的なAIユースケースにAerospikeを使用しています。
私たちが最近発表した資金調達は、市場で一般的に利用可能ではなかった機能を必要とする、生産レベルのAIのビジョンを加速させます。
これは、企業がAI革新を拡大し、AIの莫大な収益機会を活用するために必要なものです。
挑戦からチャンスへ： Aerospike Vector Search
ベクトルは、現代のAI/MLの多くの側面において基本となる新しいデータ表現エンティティとして登場しています。
ベクトルは、テキスト、画像、音声/動画など、さまざまなタイプのコンテンツを均一な方法で符号化できるため、汎用性の高いツールとなっています。
さらに、単に単語やピクセルだけでなく、コンテンツの意味的な意味も捉えることができるベクターの能力は、人工知能（AGI）に向けた進歩を支える曖昧な推論を行うための強力な数学的ツールとなっています。
ベクトルは、ほとんどの現代のMLモデルの内部共通言語の一部であり、従来のAI/MLとGenAIアプリケーションの両方を支える基盤となっています。
ベクトル・データベースが最も効果的であるためには、大量のデータを効率的かつ迅速に、そしてコスト効率よく取り込み、処理し、クエリする能力が必要です。
さらに、ベクトルを使用したセマンティック近似検索は、検索精度（品質）という新たな次元のパフォーマンスをもたらします。
Aerospikeは、一貫した精度を大規模に提供する唯一のエンタープライズレベルのベクトルソリューションとして、このニーズを満たします。
当社の高性能ベクトルソリューションは、コアデータベースの検索・取得機能を継承し、ベクトルの保存・取得におけるパフォーマンス、スケールそしてコスト面でのメリットを向上します。
既に当社のコアデータベースをご利用のお客様がご存知のように、本格的なマルチモデルのAerospikeデータベースは、何十億ものレコードを迅速に処理するための大規模なキースペースにわたる高速検索などの機能により、競合データベースのパフォーマンスやスケールの限界にぶつかることはありません。
さらに、Aerospikeは、インメモリとSSDベースのストレージを組み合わせることで、低コストで高いパフォーマンスを実現する特許取得済みのハイブリッドメモリアーキテクチャなど、お客様のパフォーマンスとコストのニーズに合わせたさまざまなストレージ構成を提供します。
Aerospikeのベクトルデータベースは、複雑なベクトルインデックス管理とトラバーサル操作を処理するコアストレージ層の上に、独立したスケーラブルな計算層とキャッシュ層を追加することで、この柔軟性を拡張しています。
この階層化アーキテクチャにより、Aerospikeのベクトルソリューションは、アプリケーションのニーズやコスト感に応じて、さまざまな運用方法を選択することができます。
これらの選択肢は、高いインジェスト/インデックス作成率、高いクエリ・スループット、またはベクトル・クエリの低レイテンシーに及びます。
品質面では、インデックスの新鮮さと品質をバランスさせる特許技術や、裏でインデックスを継続的に改善する自己回復メカニズムを使って高速な並列インジェストにありがちな検索精度の低下と戦っています。
グラフとベクトルを組み合わせることで、より深いつながりを実現
Aerospikeは、キーバリュー、ドキュメント、グラフ、そしてベクターデータベースを同じプラットフォーム上で提供できるため、柔軟で拡張可能なAIデータプラットフォームとして機能するユニークな能力を備えています。
グラフとベクトルはどちらも、AI/MLで使用される従来のフィーチャストアの現代的な拡張です。
グラフは、従来のキー・バリュー・データベースよりも自然に、エンティティ間の関係リンクを動的に捕捉、更新、検索します。
一方、ベクトルは、エンティティの意味的な意味と、意味的な類似性に基づくマッチングを捉える、コンパクトで密な数学的符号化を提供します。
例えば、セマンティック検索によって知識グラフの新しいつながりを発見したり、逆に、グラフ上でセマンティッククラスタリングを使って、より優れたエンティティ間の推論を可能にします。
参考：グラフデータベースとは
AerospikeはAIのために作られた
Aerospikeのスケールとパフォーマンスにおける伝統的なコアの強みは、当社のベクトル提供に活用されることで、古典的な予測AI/MLのパフォーマンスをさらに向上させ、進化するジェネレーティブAIの分野における重要なニーズを満たすことになります。
当社の投資家は、エアロスパイクがAIに対応するためにゼロから構築されたことを認めており、彼らの支援により、ミッション・クリティカルなエンタープライズ・アプリケーション向けにAIを完全に実現する準備が整いました。
このブログは、2024年4月4日のブログ「https://aerospike.com/blog/introducing-vector-search/」の翻訳です。
