Aerospikeのチーフサイエンティスト、ナーレン・ナレンドランが、人工知能と機械学習が現代の技術的状況をどのように形成しているのか、またベクトル・データベースが今日のAI/MLアプリケーションを悩ませている問題の多くをどのように解決できるのか、5つの質問に答えます。
ナーレン・ナレンドランはAerospikeのチーフ・サイエンティストです。
ベル研究所での基礎研究、グーグルやアマゾンでのチームリーダー、新製品やインフラの立ち上げなど、科学技術分野のさまざまな活動に30年間携わってきました。
そのキャリアを通じて、ナレンは斬新な技術的・科学的コンセプトをスケーラブルで高性能なハードウェアやソフトウェアに応用することに強い関心を寄せてきました。
以下にナーレンの紹介と、AIの現状に対する彼の見解、ChatGPTのような大規模言語モデル（LLM）を改善するためのベクトルデータベースの重要性、そしてAIの将来について紹介します。
Q: Aerospikeに入社したきっかけについて教えてください。
ナーレン：私は常に数学と理論コンピュータ科学に興味を持っていました。
特に、博士号を取得したころまでさかのぼりますが、アルゴリズムと、効率的に計算可能なものを定義するために形式的な数学をどのように使うことができるかに魅了されていたんです。
その中には、アルゴリズム的なアイデアを、高性能システムで大規模に応用することも含まれます。
ベル研究所にいた頃、私はソフトウェアやハードウェアの理論家やシステム構築者を含む興味深いグループの一員でした。
控えめに言っても、折衷的なグループでしたが、その共同作業は素晴らしい結果をもたらしました。
素晴らしい経験でしたし、それ以来、アルゴリズムや理論的なコンピューター・サイエンスの知識を実用的な状況に応用してきました。
幸運なことに、まだ社員が数十人しかいなかったころ、グーグルのニューヨーク・オフィスで働いていました。私が退社する頃には、従業員数は約5,000人になっていました。
しかし、初期の頃は信じられないような日々でした。
大規模で野心的なプロジェクトを推進する自由があり、グーグルのインフラから生まれ、今ではグーグル・クラウドの一部となっている大規模なシステムのいくつかを構築したグループの一員であったことに感謝しています。
アマゾンに移ってからは、人工知能（AI）や機械学習（ML）に初めて深く触れました。
私たちはAIとMLを使って、アマゾンのeコマース・カタログを、消費者がより簡単に閲覧し、必要なものを見つけられるように整理するようなことを行いました。
つまり、私が長年にわたって取り組んできたことは、アルゴリズム的なアイデアを大規模なシステムに適用することだったのです。
それこそが私がAerospikeに入社したきっかけでもあり、Aerospikeは、ユニークで強力な大規模高性能システムだと思っています。
Q：2023年にAIが注目されることについてどう思われますか？
Data scientists. Male programmer using laptop analyzing and developing in various information on futuristic virtual interface screen. Algorithm. marketing and deep learning of artificial intelligence
ナーレン：2023年はAIにとって素晴らしい年となりました。
しかし、AIの背後にある基本的な研究の多くは、ここ10年ほどの間に作られています。
AIは、ニューラルネットワークやその他の分野の背景にあり、画像認識や音声処理、自然言語処理などをもたらしました。
多くの人がAIに出会ったのは、アレクサのようなスマートアシスタントや、自動運転車などの自動車の中だと思います。
私は、2023年に2つの重要なことが起こったと考えています。
第一に、AIが次のレベルの規模に達したことです。
狭い地域に関するインテリジェントなものから、世界に関するインテリジェントなものになりました。
ChatGPT、つまりLLMは、ウェブから学んだ世界全体に関する専門知識を扱うようになりました。
実際に、ある程度までインテリジェントに話すことができています。
かつては限られたシナリオの中で働いていたニューラルネットワークが、今ではグローバルなシナリオの中で働いています。
第二に、ChatGPTのようなプログラムは、AIを劇的に世間に知らしめました。
以前は、AIはニッチなテクノロジー企業や舞台裏での使用例に追いやられていました。
しかし、ChatGPTは一般の人々の想像力をかき立て、この分野での新たな取り組みや関心に拍車をかけました。
誇大宣伝が薄れ、人々が最初の好奇心を乗り越えるにつれ、今後数年間でこれがどのように展開するかはまだ分かりません。
率直に言って、ChatGPTとLLMはある種の魔法の弾丸ではありません。
いくつかの欠点を解決する必要があります。
例えば、ChatGPTは言語を合成し、様々なソースから蓄積されたコンテンツを全体的で外部ユーザーに提示可能なものにすることに秀でています。
しかし、生成されるものの背後にある文脈を理解するのは得意ではありません。
今後数年のうちに、AIやMLで得られる結果を明瞭にし、文脈を理解するのに役立つ、ベクターのような補完的なテクノロジーについてもっと耳にするようになるでしょう。
それこそが、今をエキサイティングな時代にしているのです。
AI関連のアプリケーションは、今後数年のうちに、さらに多くのことが起こり、驚くような進歩を遂げるでしょう。
Q：AIにおけるリアルタイムデータの役割とは？
Businessman using cloud computing connect at big data on global network connection, Cloud service and networking data storage technology service on dark blue background.
ナーレン：人間のあらゆる努力と同じように、私たちは物事を可能な限り迅速かつ効果的に行おうと努力しています。
例えば、印刷機の発明によって、出版社は新聞を世に送り出すことができるようになりました。
最初は驚嘆に値するものでしたが、次のステップは読者にできるだけ早くニュースを届けるために、技術やプロセスを常に改善することでした。
同じことがAIにも当てはまります。
企業は、「このAIツールをどのように導入すれば、実際に起きている瞬時の出来事に対応できるのか。そして、すべての関連情報と適切な文脈でそれを行いたい」と考えています。
古典的なAIは、データの分析にオフライン・バッチ処理を用いています。
つまり、データは1日または1週間単位で扱われ、そこから予測や分析が行われるのです。
様々なテクノロジーが、ユーザーが即座に分析を利用できるようにしようとしてきました。しかし、そこには常にトレードオフがつきまといます。
そこでAerospikeが重要な役割を果たすのです。
Aerospikeの低レイテンシーと高スケール機能は、AIの進化にとって重要な要素です。
Aerospikeは、適切なコンテクストで提供されるリアルタイムのデータが、すべての関連データを含むという確信をユーザーに与えるでしょう。
Aerospikeが計画しているベクトル検索はその一例であり、当社のレイテンシーとパフォーマンスの強みを特に活用することができます。
Q: ベクターがこれほど大きな可能性を秘めている理由を教えてください。
Abstract connections of lines and spheres.
ナーレン：ベクトル検索は、AIを使ってセマンティック検索を行う新しい検索形態です。
キーワードやピクセル、画像の一部から検索する従来の手段の代わりに、ベクトルは、テキスト、画像、音楽、ビデオなど、実生活で扱うさまざまな種類のオブジェクトのセマンティクスを理解するのに役立つ汎用的な表現です。
ベクトルとは、そのすべてを捉え、これらの多様なオブジェクトについて考える均質な方法に変換することができる数学的実体です。
ベクトルは、テキストの言葉や画像のピクセルを超えて、これらの物事の深い意味を捉える。テキストが何を語っているのか、画像が何を表しているのかを捉えます。 つまり、データの細部を捉えるのではなく、意味を捉えるのです。
ベクターのマジックは、すべてのメディアタイプで統一された方法でセマンティクスをキャプチャできることです。
だからこそ、ベクターは普遍的なツールなのです。
異種のメディアタイプをすべてベクトルに変換すれば、どの2つが互いに近いかを数学的に分析することができます。
言い換えれば、2つの画像が関連しているという事実は、対応する2つのベクトルが数学的に近いときにとらえることができます。
今日のLLMやChatGPTの世界では、ベクトル検索は重要な役割を果たすことができます。
ChatGPTとLLMはテキストと言語を合成することに優れているが、その背後にあるものを理解していません。
彼らはもっともらしく見える言語を生成するように訓練されています。
その結果、ChatGPTやLLMによって生成されたテキストは、言語学的にはもっともらしく見えますが、時には事実と異なることもあります。
さらに、インターネット上のデータでトレーニングされたLLMは、あなたの企業に特化したデータにアクセスできない可能性があります。
ベクターは、精度と価値を達成するためのこのミッシング・リンクを提供する一つの方法です。企業データコーパスのベクトル検索から適切なデータをLLMに提供することで、より有効で信頼できる出力を生成することができます。
しかし、ベクターはLLMにまつわる現在の宣伝よりもはるかに幅広い用途があり、リコメンデーション・エンジンや異常検知、さらにはバイオインフォマティクスのような他の領域でも、基本的な検索ビルディング・ブロックとして機能します。
Q：今後、どのような変化が予想されますか？
ナーレン：過去10年間、LLMや画像認識、自然言語予測処理（NLP）などに使ってきたニューラルネットワーク・モデルは、”AI革命 “の今日に至るまで、非常に有用であることが証明されています。
しかし、一般化された知能という聖杯はまだ見つかっていません。
人間の知能がどのように機能するかは、まだ完全には解明されていません。
物事の根底にあるのはニューラルネットワークなのか、それともまだ発見されていないまったく別の何かなのか。
それはまだ未解決の問題だと思います。
あと10年か20年もすれば、もっと多くの洞察が得られるだろうし、現在のニューラルネットワークの概念は、一般化された知能の次のレベルへと私たちを導く技術に取って代わられるか、少なくとも後押しされると私は信じています。
歴史が教えてくれることは、私たちは常に学び、発見し、成長しているということです。これからの発見と進歩が楽しみです。
AerospikeでAI/MLを探求する
City Network
真に価値のあるAI/MLアプリケーションに不可欠な要素である、Aerospikeの低レイテンシーと高スケール機能のパワーをご覧ください。
Aerospikeの低レイテンシーと高スケール機能は、真に価値のあるAI/MLアプリケーションに不可欠な要素です。
ソリューションブリーフにて、より理解を深めていただくことができます。
このブログは。2023年12月4日のブログ「5 questions on real-time AI with Chief Scientist Naren Narendran」の翻訳です。
