Po długich miesiącach gadania, przyszedł czas na działanie - wreszcie rozpoczęliśmy wdrażanie semantic searcha! Przejście od teorii do praktyki było dość trudne, dlatego mamy dla Was garść informacji, które ułatwią Wam wejście w temat.
Rozmawiamy o tym czym jest semantic search, jakie nam daje korzyści w porównaniu do tradycyjnego wyszukiwania, co musimy mieć, żeby go wdrożyć, jak połączyć ze sobą poszczególne elementy całej układanki i jak takie rozwiązanie zaimplementować.
Dźwięki wykorzystane w audycji pochodzą z kolekcji "107 Free Retro Game Sounds" dostępnej na stronie https://dominik-braun.net, udostępnianej na podstawie licencji Creative Commons license CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/).
Informacje dodatkowe:
- "What is semantic search?", Elastic: https://www.elastic.co/what-is/semantic-search
- "Large language model (LLM)", Wikipedia: https://en.wikipedia.org/wiki/Large_language_model
- "What Is Retrieval-Augmented Generation, aka RAG?", NVIDIA Blogs: https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/
- "Hybrid Search Explained", Weaviate: https://weaviate.io/blog/hybrid-search-explained
- "Semantic search", SBERT: https://www.sbert.net/examples/applications/semantic-search/README.html#semantic-search
- Hugging Face: https://huggingface.co/
- PyTorch: https://pytorch.org/
- TensorFlow: https://www.tensorflow.org/
- Node.js: https://nodejs.org/en
- Elasticsearch: https://www.elastic.co/elasticsearch
- Kubernetes: https://kubernetes.io/
- "Build Semantic-Search with Elastic search and BERT vector embeddings. ( From scratch )", Abid Saudagar: https://www.youtube.com/watch?v=KSwPR9eig7w
- Jupyter Notebook: https://jupyter.org/
- SentenceTransformers Documentation: https://www.sbert.net/
- "k-nearest neighbor (kNN) search", Elastic Docs: https://www.elastic.co/guide/en/elasticsearch/reference/current/knn-search.html
- Transformers.js, Hugging Face: https://huggingface.co/docs/transformers.js/index
- "Export to ONNX", Hugging Face docs: https://huggingface.co/docs/transformers/serialization
- "Symmetric vs. Asymmetric Semantic Search", SBERT: https://www.sbert.net/examples/applications/semantic-search/README.html#symmetric-vs-asymmetric-semantic-search
- "Tutorial: semantic search with ELSER", Elastic Docs: https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search-elser.html
- "The Beginner’s Guide to Text Embeddings", Deepset: https://www.deepset.ai/blog/the-beginners-guide-to-text-embeddings