Analiza wydajności wybranych modeli językowych na komputerze Raspberry Pi

• Autorzy: Krzykowski Karol Paweł , Kopciał Piotr

Identyfikatory

DOI

10.26348/znwwsi.32.7

Warianty tytułu

EN

Perforance analysis of selected language mmodels on Raspberry Pi

• Języki publikacji: PL

Abstrakty

PL

W artykule omówiono możliwości implementacji wybranych dużych modeli językowych (LLM) na komputerze Raspberry Pi. W tym celu scharakteryzowano termin „duże modele językowe” (ang. Large Language Models – LLM) oraz omówiono możliwości komputera Raspberry Pi w wersji 5. Przedstawiono koncepcję, realizację oraz wyniki analizy wydajności modeli LLM. Przeanalizowano metryki dotyczące szybkości przetwarzania tokenów i czasu pracy modeli Llama 3.2, Llama 3.1, Phi 3.5 Mini oraz Gemma 2. Zbadano średnie zużycie mocy podczas korzystania z wybranych modeli oraz średnie zużycie mocy potrzebne do wygenerowania jednego tokena przez wybrane modele. Sformułowano wnioski końcowe.

EN

This paper discusses the possibilities of implementing selected large language models (LLM) on the Raspberry Pi computer. The term “Large Language Models” (LLM) is characterized and the capabilities of Raspberry Pi computer version 5 are discussed. It presents the concept, implementation, and results of the performance analysis of LLM models. Metrics regarding token processing speed and operating time of Llama 3.2, Llama 3.1, Phi 3.5 Mini and Gemma 2 models were analyzed. The average power consumption during the use of selected models and the average power consumption to generate one token by selected models were examined. Final conclusions were formulated.

Słowa kluczowe

PL

Raspberry Pi; duże modele językowe; LLM; Llama; Phi 3.5 Min; Gemma 2; Ollama; Open WebUI

EN

Raspberry Pi; Large Language Models; LLM; Llama; Phi 3.5 Mini; Gemma 2; Ollama; Open WebUI

• Wydawca: Warszawska Wyższa Szkoła Informatyki
• Czasopismo: Zeszyty Naukowe Warszawskiej Wyższej Szkoły Informatyki
• Rocznik: 2025
• Tom: nr 32
• Strony: 7--37
• Opis fizyczny: Bibliogr. 23 poz., fot., rys., tab., wykr.

Twórcy

autor

Krzykowski Karol Paweł

• Warszawska Wyższa Szkoła Informatyki, Polska

autor

Kopciał Piotr

• Warszawska Wyższa Szkoła Informatyki, Polska

Bibliografia

• [1] ChatGPT. [Online]. https://chatgpt.com/.
• [2] OpenAI. ChatGPT Pricing. [Online]. https://openai.com/chatgpt/pricing/.
• [3] K. Krzykowski, Analiza wydajności wybranych modeli językowych na komputerze Raspberry Pi 5, Warszawska Wyższa Szkoła Informatyki, Warszawa, Praca magisterska 2025.
• [4] Gigabyte. [Online]. https://en.wikipedia.org/wiki/Gigabyte.
• [5] Gigabajt. [Online]. https://pl.wikipedia.org/wiki/Gigabajt.35
• [6] C. Dilmegani. What is Large Multimodal Models (LMMs)? [Online]. https://research.aimultiple.com/large-multimodal-models/.
• [7] Nvidia Corporation. Large Language Models. [Online]. https://www.nvidia.com/en-us/glossary/large-language-models/.
• [8] OVHcloud. Co to jest duży model językowy (LLM)? [Online]. https://www.ovhcloud.com/pl/learn/what-is-large-language-model.
• [9] F. Kurp, Sztuczna inteligencja od podstaw. Gliwice: Helion, 2023.
• [10] Raspberry Pi Ltd. Raspberry Pi 5 product brief. [Online]. https://datasheets.raspberrypi.com/rpi5/raspberry-pi-5-product-brief.pdf.
• [11] Raspberry Pi Ltd. Raspberry Pi 4 Tech Specs. [Online]. https://www.raspberrypi.com/products/raspberry-pi-4-model-b/specifications/.
• [12] Raspberry Pi Ltd. Raspberry Pi dokumentacja procesorów. [Online]. https://www.raspberrypi.com/documentation/computers/processors.html.
• [13] Hailo Technologies Ltd. Hailo. [Online]. https://hailo.ai/.
• [14] Hailo Technologies Ltd. Hailo-10H M.2 Generative AI Acceleration Module. [Online]. https://hailo.ai/products/ai-accelerators/hailo-10h-m-2-generative-ai-acceleration-module/.
• [15] Ollama (Github). [Online]. https://github.com/ollama/.
• [16] Open WebUI (Github). [Online]. https://github.com/open-webui/.
• [17] Tokeny. [Online]. https://learn.microsoft.com/pl-pl/dotnet/ai/conceptual/understanding-tokens.
• [18] htop- an interactive process viewer. [Online]. https://htop.dev/.
• [19] Watomierz GreenBlue GB202. Instrukcja obsługi. [Online].https://www.ted.net.pl/p/_//00/0019/001906/gb202-instrukcja.pdf.
• [20] B.M. Sánchez. What the Heck are Tokens? Demystifying the Building Blocks of AI Language. [Online]. https://www.linkedin.com/pulse/what-heck-to-kens-demystifying-building-blocks-ai-maneiro-s%C3%A1nchez-ojmvf.
• [21] A. Kacprzak, Prompt engineering i ChatGPT. Poradnik skutecznej komunikacji ze sztuczną inteligencją. Gliwice: Helion, 2024.
• [22] Ollama. [Online]. https://www.ollama.com.
• [23] PGE Obrót S.A. z siedzibą w Rzeszowie. Zestaw cen rozliczeniowych dla cennikow taryfowych innych niż Taryfa G. [Online].https://www.gkpge.pl/content/download/fb648c1ca12cfeba172a22d2385c5ed9/file/zestaw-cen-dla-cennikow-g-nie-pure_072024_web.pdf