Mengapa pangkalan data vektor sedang meningkat atasi siklus kegemilangan kecerdasan buatan

Pangkalan data vektor semakin popular, mengingat jumlah syarikat baru yang memasuki ruang ini dan para pelabur yang menyertai untuk mendapat bahagian dari keuntungan. Penyebaran model bahasa besar (LLMs) dan pergerakan Kecerdasan Buatan Generatif (GenAI) telah mencipta tanah lapang yang subur bagi teknologi pangkalan data vektor berkembang.

Manakala pangkalan data relasional tradisional seperti Postgres atau MySQL sangat sesuai untuk data berstruktur - jenis data yang telah ditentukan yang boleh dipilah dengan teratur dalam baris dan lajur - ini tidak begitu berkesan untuk data tidak berstruktur seperti imej, video, emel, kiriman media sosial, dan sebarang data yang tidak mematuhi model data yang telah ditentukan.

Pangkalan data vektor, sebaliknya, menyimpan dan memproses data dalam bentuk penghantaran vektor, yang mengubah teks, dokumen, imej, dan data lain menjadi representasi nombor yang menangkap makna dan hubungan antara titik data yang berbeza. Ini sangat sesuai untuk pembelajaran mesin, kerana pangkalan data menyimpan data secara ruang menurut berapa relevan setiap item dengan yang lain, menjadikannya lebih mudah untuk mendapatkan data yang semantik-nya serupa.

Ini terutamanya berguna untuk LLMs, seperti GPT-4 milik OpenAI, kerana ia membolehkan chatbot AI memahami konteks perbualan dengan lebih baik dengan menganalisis perbualan sebelumnya yang serupa. Carian vektor juga berguna untuk pelbagai aplikasi masa nyata, seperti cadangan kandungan dalam rangkaian sosial atau aplikasi e-dagang, kerana ia boleh melihat apa yang pengguna cari dan mendapatkan item serupa dengan cepat.

Carian vektor juga dapat membantu mengurangkan "halusinasi" dalam aplikasi LLM, dengan menyediakan maklumat tambahan yang mungkin tidak tersedia dalam set data latihan asal.

\"Tanpa menggunakan carian kemiripan vektor, anda masih boleh membangunkan aplikasi KI/PB, tetapi anda perlu melakukan lebih banyak latihan semula dan penyelarasan halus,\" jelas Andre Zayarni, Ketua Pegawai Eksekutif dan rakan pengasas startup carian vektor Qdrant kepada TechCrunch. \"Pangkalan data vektor muncul apabila terdapat dataset besar, dan anda memerlukan alat untuk bekerja dengan penghantaran vektor dengan cara yang efisien dan mudah.\"

Pada Januari, Qdrant telah mendapat $28 juta dana untuk memanfaatkan pertumbuhannya yang telah menjadikannya salah satu daripada 10 syarikat sumber terbuka komersial yang paling pesat berkembang tahun lalu. Dan ia jauh dari satu-satunya startup pangkalan data vektor yang mendapat dana baru-baru ini - Vespa, Weaviate, Pinecone, dan Chroma secara kolektif telah mendapatkan $200 juta tahun lalu untuk pelbagai tawaran vektor.

Sejak permulaan tahun ini, kami juga telah melihat Index Ventures memimpin siri pendanaan penuai $9.5 juta ke Superlinked, platform yang mengubah data kompleks menjadi penghantaran vektor. Dan beberapa minggu yang lalu, Y Combinator (YC) mendedahkan kumpulan Winter '24, yang termasuk Lantern, sebuah startup yang menjual enjin carian vektor yang dihoskan untuk Postgres.

Di tempat lain, Marqo telah mendapat siri permulaan $4.4 juta akhir tahun lalu, diikuti cepat dengan siri A $12.5 juta pada Februari. Platform Marqo menyediakan rangkaian penuh alat vektor secara langsung, merangkumi penjanaan vektor, penyimpanan, dan pengambilan, membolehkan pengguna mengelakkan alat pihak ketiga daripada OpenAI atau Hugging Face, dan ia menawarkan segalanya melalui API tunggal.

Para penubuh Marqo Tom Hamer dan Jesse N. Clark sebelum ini bekerja dalam peranan kejuruteraan di Amazon, di mana mereka sedar \"keperluan besar yang belum dipenuhi\" untuk carian bersepadu, fleksibel di pelbagai mod dan imej. Dan itulah saat mereka melompat keluar untuk membentuk Marqo pada tahun 2021.

\"Bekerja dengan carian visual dan robot di Amazon adalah ketika saya benar-benar melihat carian vektor - saya memikirkan cara baru untuk menjalankan penemuan produk, dan itu dengan cepat berkumpul pada carian vektor,\" jelas Clark kepada TechCrunch. \"Dalam robotik, saya menggunakan carian multimodal untuk mencari melalui banyak imej kami untuk mengenal pasti jika ada perkara-perkara yang tidak selari seperti hos dan bungkusan. Ini sebaliknya akan menjadi sangat mencabar untuk diselesaikan.\"

Masuklah ke perusahaan

Walaupun pangkalan data vektor sedang meningkat di tengah kecohnya ChatGPT dan pergerakan GenAI, mereka bukan penawar mujarab untuk setiap skenario pencarian perusahaan.

\"Pangkalan data khusus cenderung sepenuhnya terfokus pada kes penggunaan tertentu dan oleh itu boleh merancang seni bina mereka untuk prestasi pada tugas yang diperlukan, serta pengalaman pengguna, berbanding dengan pangkalan data umum, yang perlu memasukkan ia dalam reka bentuk semasa,\" Peter Zaitsev, pengasas syarikat sokongan dan perkhidmatan pangkalan data Percona, terang kepada TechCrunch.

Walaupun pangkalan data khusus mungkin cemerlang dalam sesuatu dengan mengecualikan yang lain, itulah sebabnya mengapa kita mula melihat incumbents pangkalan data seperti Elastic, Redis, OpenSearch, Cassandra, Oracle, dan MongoDB menambah kecerdasan carian pangkalan data vektor dalam campuran, begitu juga provider perkhidmatan awan seperti Microsoft Azure, AWS Amazon, dan Cloudflare.

Zaitsev mengaitkan tren terkini ini dengan apa yang berlaku dengan JSON lebih daripada satu dekad yang lalu, apabila aplikasi web semakin meluas dan pembangun memerlukan format data bebas bahasa yang mudah dibaca dan ditulis oleh manusia. Dalam kes ini, satu kelas pangkalan data baru muncul dalam bentuk pangkalan data dokumen seperti MongoDB, sementara pangkalan data relasional sedia ada juga memperkenalkan sokongan JSON.

\"Saya fikir perkara yang sama mungkin berlaku dengan pangkalan data vektor,\" kata Zaitsev kepada TechCrunch. \"Pengguna yang membina aplikasi KI yang sangat rumit dan berskala besar akan menggunakan pangkalan data carian vektor yang didedikasi, manakala individu yang perlu membina sedikit fungsi AI untuk aplikasi sedia ada mereka lebih cenderung menggunakan fungsi carian vektor dalam pangkalan data yang mereka gunakan sudah.\"

Tetapi Zayarni dan rakan sekerja Qdrant mempertaruhkan bahawa penyelesaian asli yang dibina sepenuhnya sekitar vektor akan memberi \"kelajuan, selamat dari segi ingatan, dan skala\" yang diperlukan apabila data vektor meletup, berbanding dengan syarikat yang menambah carian vektor sebagai sesuatu yang diselidik selepas itu.

\"Cadangan mereka adalah, 'kita juga boleh melakukan carian vektor, jika perlu,\" Zayarni berkata. \"Cadangan kami adalah, 'kami melakukan carian vektor terkini dengan cara terbaik yang mungkin.' Ia semua tentang spesialisasi. Sebenarnya kami mengesyorkan untuk bermula dengan pangkalan data yang sudah ada dalam tumpukan teknikal anda. Pada satu titik, pengguna akan menghadapi had jika carian vektor adalah komponen penting dalam penyelesaian anda.\"