RAG efficiency improvement for building intellectual scientific knownledge databases
DOI:
https://doi.org/10.31649/1681-7893-2025-49-1-89-97Keywords:
artificial intelligence, large language models, LLM, retrieval augmented generation, RAG, knowledge base.Abstract
The article describes the development of an intellectual knowledge base based on scientific articles using large language models in the mode of generation by augmented search. Various methods of increasing the relevance of the sample of cited sources and generated answers of the language model and the choice of approaches to building language generative systems taking into account the specifics of scientific materials in Ukrainian and English are investigated. The use of different language models for generating answers is also considered. In the course of the study, a set of criteria for a comprehensive evaluation of generative systems was selected and recommendations for building scientific intellectual knowledge bases were provided.
An intelligent agent has been developed that allows searching and analyzing scientific articles and providing document citations in a convenient interactive form.
References
Andriopoulos, K. and Johan, P. (2023). Augmenting LLMs with knowledge: a survey on hallucination prevention. arXiv. URL: https://doi.org/10.48550/arXiv.2309.16459.
Wang, Chenguang, Mu Li, and Alexander J. Smola. Language models with transformers. arXiv preprint arXiv:1904.09408 (2019). URL: https://doi.org/10.48550/arXiv.1904.09408.
Jeong, Cheonsu (2023). A study on the implementation of generative AI services using an enterprise data-based LLM application architecture. arXiv. URL: https://doi.org/10.48550/arXiv.2309.
Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J.D., Dhariwal, P. and Neelakantan, A. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems 33, 1877–1901. DOI: https://doi.org/10.48550/arXiv.2005.14165.
Cui, J., Li, Z., Yan, Y., Chen, B. and Yuan, L. (2023). ChatLaw: open-source legal large language model with integrated external knowledge bases. DOI: https://doi.org/10.48550/arXiv.2306.16092.
Tolga Şakar, Hakan Emekci, Maximizing RAG efficiency: A comparative analysis of RAG methods / Natural Language Processing, Cambridge, Vol. 31, Issue 1, 2025, pp. 1-25.
Toni Taipalus. Vector database management systems: Fundamental concepts, use-cases, and current challenges / Cognitive Systems Research, Vol. 85, 2024. DOI: https://doi.org/10.1016/j.cogsys.2024.101216.
Roucher A. RAG Evaluation. URL: https://huggingface.co/learn/cookbook/rag_evaluation.
Herreros Q., Veasey T., Papaoikonomou T. RAG evaluation metrics: A journey through metrics. URL: https://www.elastic.co/search-labs/blog/evaluating-rag-metrics.
Trotman A., Puurula A., Burgess B.. Improvements to BM25 and Language Models Examined. In Proc., 19th Australasian Document Computing Symp., ADCS ’14, 58–65. New York: Association for Computing Machinery. https://doi.org/10.1145/2682862.2682863.
Romanyuk, O., Zavalniuk, Y., Pavlov, S., etc. New surface reflectance model with the combination of two cubic functions usage, Informatyka, Automatyka, Pomiary w Gospodarce i Ochronie Srodowiska, 2023, 13(3), pp. 101–106
Chen, W., Chen, J., Zou, F., Li, Y.-F., Lu, P. and Zhao, W. (2019). RobustiQ: a robust ANN search method for billion-scale similarity search on GPUs. Proceedings of the 2019 International Conference On Multimedia Retrieval (pp. 132–140). URL: https://doi.org/10.1145/3323873.3325018.
Downloads
-
PDF
Downloads: 1
Published
How to Cite
Issue
Section
License
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
