Wyniki wyszukiwania - BazTech

Ograniczanie wyników

2 2025

Znaleziono wyników: 2

Liczba wyników na stronie

Wyniki wyszukiwania

Wyszukiwano:
w słowach kluczowych: Llama

Sortuj według:

Ogranicz wyniki do:

Analiza wydajności wybranych modeli językowych na komputerze Raspberry Pi

Krzykowski Karol Paweł, Kopciał Piotr

Zeszyty Naukowe Warszawskiej Wyższej Szkoły Informatyki

2025

nr 32

7--37

W artykule omówiono możliwości implementacji wybranych dużych modeli językowych (LLM) na komputerze Raspberry Pi. W tym celu scharakteryzowano termin „duże modele językowe” (ang. Large Language Models – LLM) oraz omówiono możliwości komputera Raspberry Pi w wersji 5. Przedstawiono koncepcję, realizację oraz wyniki analizy wydajności modeli LLM. Przeanalizowano metryki dotyczące szybkości przetwarzania tokenów i czasu pracy modeli Llama 3.2, Llama 3.1, Phi 3.5 Mini oraz Gemma 2. Zbadano średnie zużycie mocy podczas korzystania z wybranych modeli oraz średnie zużycie mocy potrzebne do wygenerowania jednego tokena przez wybrane modele. Sformułowano wnioski końcowe.

This paper discusses the possibilities of implementing selected large language models (LLM) on the Raspberry Pi computer. The term “Large Language Models” (LLM) is characterized and the capabilities of Raspberry Pi computer version 5 are discussed. It presents the concept, implementation, and results of the performance analysis of LLM models. Metrics regarding token processing speed and operating time of Llama 3.2, Llama 3.1, Phi 3.5 Mini and Gemma 2 models were analyzed. The average power consumption during the use of selected models and the average power consumption to generate one token by selected models were examined. Final conclusions were formulated.

Automatic questions generation based on keywords using language models

Gniazdowski Tomasz, Bazan Marek, Marchwiany Maciej E.

International Journal of Electronics and Telecommunications

2025

Vol. 71, No. 3

In this paper, we presented a novel method for question generation, one of the most impactful NLP tasks in contacts of user interfaces, chatbots and intelligent assistants with a user. Our method outperforms commonly used methods in terms of quality and speed of question generation. Additionally, we benchmarked the most used methods of question generation that are based on the usage of Large Language Models in a fewshot approach as well as finetuned to that task. Our work is done for the Polish language, it has one of the most challenging and complex grammars, which makes the task even more difficult.