Wyniki wyszukiwania - BazTech

Ograniczanie wyników

Powiadomienia systemowe

Sesja wygasła!

Znaleziono wyników: 2

Liczba wyników na stronie

Wyniki wyszukiwania

Wyszukiwano:
w słowach kluczowych: GPT

Sortuj według:

Ogranicz wyniki do:

Benchmarking OpenAI's APIs and Large Language Models for Repeatable, Efficient Question Answering Across Multiple Documents

Filipovska Elena, Mladenovska Ana, Bajrami Merxhan, Dobreva Jovana, Hillman Vellislava, Lameski Petre, Zdravevski Eftim

Annals of Computer Science and Information Systems

2024

Vol. 39

107--117

The rapid growth of document volumes and complexity in various domains necessitates advanced automated methods to enhance the efficiency and accuracy of information extraction and analysis. This paper aims to evaluate the efficiency and repeatability of OpenAI's APIs and other Large Language Models (LLMs) in automating question-answering tasks across multiple documents, specifically focusing on analyzing Data Privacy Policy (DPP) documents of selected EdTech providers. We test how well these models perform on large-scale text processing tasks using the OpenAI's LLM models (GPT 3.5 Turbo, GPT 4, GPT 4o) and APIs in several frameworks: direct API calls (i.e., one-shot learning), LangChain, and Retrieval Augmented Generation (RAG) systems. We also evaluate a local deployment of quantized versions (with FAISS) of LLM models (Llama-2-13B-chat-GPTQ). Through systematic evaluation against predefined use cases and a range of metrics, including response format, execution time, and cost, our study aims to provide insights into the optimal practices for document analysis. Our findings demonstrate that using OpenAI's LLMs via API calls is a workable workaround for accelerating document analysis when using a local GPU-powered infrastructure is not a viable solution, particularly for long texts. On the other hand, the local deployment is quite valuable for maintaining the data within the private infrastructure. Our findings show that the quantized models retain substantial relevance even with fewer parameters than ChatGPT and do not impose processing restrictions on the number of tokens. This study offers insights on maximizing the use of LLMs for better efficiency and data governance in addition to confirming their usefulness in improving document analysis procedures.

Uncovering insights with kanguage modeling. Analyzing Przeglad Elektrotechniczny with GPT

Wójcik Dariusz, Majerek Dariusz

Przegląd Elektrotechniczny

2023

R. 99, nr 12

351--354

Recent advancements in natural language processing (NLP) have led to the development of powerful language models, which have significantly impacted various applications such as text classification, sentiment analysis, and language translation. This paper explores the application of the GPT-2 large language model to analyze the text of articles published in the 2023 edition of the Przegląd Elektrotechniczny journal. The model was fine-tuned on the entire text corpus, and a word analysis was performed to identify the most frequent words and their relationship to the articles. Our method uncovers insights into the most common topics, themes, and ideas discussed in the journal, offering valuable information for the Editorial Board and researchers to better comprehend the state of electrical engineering in 2023.

Ostatnie postępy w przetwarzaniu języka naturalnego (NLP) doprowadziły do opracowania potężnych modeli językowych, które znacząco wpłynęły na różne zastosowania, takie jak klasyfikacja tekstu, analiza nastrojów i tłumaczenie językowe. W niniejszym artykule zbadano zastosowanie dużego modelu językowego GPT-2 do analizy tekstu artykułów opublikowanych w wydaniu czasopisma Przegląd Elektrotechniczny z 2023 roku. Model został dostrojony do całego korpusu tekstowego i przeprowadzono analizę słów w celu zidentyfikowania najczęściej występujących słów i ich związku z artykułami. Nasza metoda odkrywa najczęstsze tematy, motywy i pomysły omawiane w czasopiśmie, oferując cenne informacje dla redakcji i naukowców, aby lepiej zrozumieć stan inżynierii elektrycznej w 2023 roku.