Wyniki wyszukiwania - BazTech

Ograniczanie wyników

1 2025

Powiadomienia systemowe

Sesja wygasła!

Znaleziono wyników: 1

Liczba wyników na stronie

Wyniki wyszukiwania

Wyszukiwano:
w słowach kluczowych: Open WebUI

Sortuj według:

Ogranicz wyniki do:

Analiza wydajności wybranych modeli językowych na komputerze Raspberry Pi

Krzykowski Karol Paweł, Kopciał Piotr

Zeszyty Naukowe Warszawskiej Wyższej Szkoły Informatyki

2025

nr 32

7--37

W artykule omówiono możliwości implementacji wybranych dużych modeli językowych (LLM) na komputerze Raspberry Pi. W tym celu scharakteryzowano termin „duże modele językowe” (ang. Large Language Models – LLM) oraz omówiono możliwości komputera Raspberry Pi w wersji 5. Przedstawiono koncepcję, realizację oraz wyniki analizy wydajności modeli LLM. Przeanalizowano metryki dotyczące szybkości przetwarzania tokenów i czasu pracy modeli Llama 3.2, Llama 3.1, Phi 3.5 Mini oraz Gemma 2. Zbadano średnie zużycie mocy podczas korzystania z wybranych modeli oraz średnie zużycie mocy potrzebne do wygenerowania jednego tokena przez wybrane modele. Sformułowano wnioski końcowe.

This paper discusses the possibilities of implementing selected large language models (LLM) on the Raspberry Pi computer. The term “Large Language Models” (LLM) is characterized and the capabilities of Raspberry Pi computer version 5 are discussed. It presents the concept, implementation, and results of the performance analysis of LLM models. Metrics regarding token processing speed and operating time of Llama 3.2, Llama 3.1, Phi 3.5 Mini and Gemma 2 models were analyzed. The average power consumption during the use of selected models and the average power consumption to generate one token by selected models were examined. Final conclusions were formulated.