Processing optimization with parallel computing for the J-PET scanner

• Autorzy: Krzemień W. , Bała M. , Bednarski T. , Białas P. , Czerwiński E. , Gajos A. , Gorgol M. , Jasińska B. , Kamińska D. , Kapłon Ł. , Korcyl G. , Kowalski P. , Kozik T. , Kubicz E. , Niedźwiecki S. , Pałka M. , Raczyński L. , Rudy Z. , Rundel O. , Sharma N. G. , Silarski M. , Słomski A. , Stola K. , Strzelecki A. , Trybek D. , Wieczorek A. , Wiślicki W. , Zieliński M. , Zgardzińska B. , Moskal P.

Identyfikatory

DOI

10.1515/nuka-2015-0134

• Konferencja: Polish Seminar on Positron Annihilation (42 nd ; 29.06-01.07.2016 ; Lublin, Poland)
• Języki publikacji: EN

Abstrakty

EN

The Jagiellonian Positron Emission Tomograph (J-PET) collaboration is developing a prototype time of flight (TOF)-positron emission tomograph (PET) detector based on long polymer scintillators. This novel approach exploits the excellent time properties of the plastic scintillators, which permit very precise time measurements. The very fast fi eld programmable gate array (FPGA)-based front-end electronics and the data acquisition system, as well as low- and high-level reconstruction algorithms were specially developed to be used with the J-PET scanner. The TOF-PET data processing and reconstruction are time and resource demanding operations, especially in the case of a large acceptance detector that works in triggerless data acquisition mode. In this article, we discuss the parallel computing methods applied to optimize the data processing for the J-PET detector. We begin with general concepts of parallel computing and then we discuss several applications of those techniques in the J-PET data processing.

Słowa kluczowe

EN

data aquisition system (DAQ); parallel computing; TOF-PET

• Wydawca: Institute of Nuclear Chemistry and Technology
• Czasopismo: Nukleonika
• Rocznik: 2015
• Tom: Vol. 60, No. 4, part 1
• Strony: 745--748
• Opis fizyczny: Bibliogr. 24 poz., rys.

Twórcy

autor

Krzemień W.

• High Energy Physics Division, National Centre for Nuclear Research, 7 Andrzeja Soltana Str., 05-400 Otwock/Świerk, Poland, Tel.: [phone], Fax: [phone]

autor

Bała M.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Bednarski T.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Białas P.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Czerwiński E.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Gajos A.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Gorgol M.

• Department of Nuclear Methods, Institute of Physics, Maria Curie-Sklodowska University, 1 M. Curie-Sklodowskiej Sq., 20-031 Lublin, Poland

autor

Jasińska B.

• Department of Nuclear Methods, Institute of Physics, Maria Curie-Sklodowska University, 1 M. Curie-Sklodowskiej Sq., 20-031 Lublin, Poland

autor

Kamińska D.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Kapłon Ł.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland
• Institute of Metallurgy and Materials Science of the Polish Academy of Sciences, 25 W. Reymonta Str., 30-059 Kraków, Poland

autor

Korcyl G.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Kowalski P.

• Świerk Computing Centre, National Centre for Nuclear Research, 7 Andrzeja Soltana Str., 05-400 Otwock/Świerk, Poland

autor

Kozik T.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Kubicz E.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Niedźwiecki S.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Pałka M.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Raczyński L.

• Świerk Computing Centre, National Centre for Nuclear Research, 7 Andrzeja Soltana Str., 05-400 Otwock/Świerk, Poland

autor

Rudy Z.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Rundel O.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Sharma N. G.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Silarski M.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Słomski A.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Stola K.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Strzelecki A.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Trybek D.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Wieczorek A.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland
• Institute of Metallurgy and Materials Science of the Polish Academy of Sciences, 25 W. Reymonta Str., 30-059 Kraków, Poland

autor

Wiślicki W.

• Świerk Computing Centre, National Centre for Nuclear Research, 7 Andrzeja Soltana Str., 05-400 Otwock/Świerk, Poland

autor

Zieliński M.

• Faculty of Physics, Astronomy and Applied Computer Science, Jagiellonian University, 11 S. Łojasiewicza Str., 30-348 Kraków, Poland

autor

Zgardzińska B.

• Department of Nuclear Methods, Institute of Physics, Maria Curie-Sklodowska University, 1 M. Curie-Sklodowskiej Sq., 20-031 Lublin, Poland

autor

Moskal P.

Bibliografia

• 1. Moskal, P. (2010). Patent applications: PCT/PL2010/00062, PCT/PL2010/00061.
• 2. Moskal, P., Salabura, P., Silarski, M., Smyrski, J., Zdebik, J., & Zieliński, M. (2011). Novel detector systems for the Positron Emission Tomography. Bio-Algorithms and Med-Systems, 7, 73–78. [arXiv:1305.5187].
• 3. Moskal, P., Niedźwiecki, Sz., Bednarski, T., Czerwiński, E., Kapłon, Ł., Kubicz, E., Moskal, I., Pawlik-Niedźwiecka, M., Sharma, N. G., Silarski, M.,Zieliński, M., Zoń, N., Białas, P., Gajos, A., Kochanowski,A., Korcyl, G., Kowal, J., Kowalski, P., Kozik,T., Krzemień, W., Molenda, M., Pałka, M., Raczyński,L., Rudy, Z., Salabura, P., Słomski, A., Smyrski, J.,Strzelecki, A., Wieczorek, A., & Wiślicki, W. (2014).Test of a single module of the J-PET scanner based on plastic scintillators. Nucl. Instrum. Methods Phys.Res. Sect. A-Accel. Spectrom. Dect. Assoc. Equip.,764, 317–321. DOI: 10.1016/j.nima.2014.07.052.[arXiv:1407.7395].
• 4. Moskal, P., Zoń, N., Bednarski, T., Białas, P.,Czerwiński, E., Gajos, A., Kamińska, D., Kapłon, Ł.,Kochanowski, A., Korcyl, G., Kowal, J., Kowalski,P., Kozik, T., Krzemień, W., Kubicz, E., Niedźwiecki,Sz., Pałka, M., Raczyński, L., Rudy, Z., Rundel, O.,Salabura, P., Sharma, N. G., Silarski, M., Słomski, A.,Smyrski, J., Strzelecki, A., Wieczorek, A., Wiślicki,W., & Zieliński, M. (2015). A novel method for the line-of-response and time-of-flight reconstruction in TOF-PET detectors based on a library of synchronized model signals. Nucl. Instrum. Methods Phys.Res. Sect. A-Accel. Spectrom. Dect. Assoc. Equip.,775, 54–62. DOI: 10.1016/j.nima.2014.12.005.[arXiv:1412.6963].
• 5. Raczynski, L., Moskal, P., Kowalski, P., Wiślicki, W.,Bednarski, T., Białas, P., Czerwiński, E., Gajos, A.,Kapłon, Ł., Kochanowski, A., Korcyl, G., Kowal, J.,Kozik, T., Krzemień, W., Kubicz, E., Niedźwiecki,Sz., Pałka, M., Rudy, Z., Rundel, O., Salabura, P.,Sharma, N. G., Silarski, M., Słomski, A., Smyrski, J.,Strzelecki, A., Wieczorek, A., Zieliński, M., & Zoń,N. (2015). Compressive sensing of signals generated in plastic scintillators in a novel J-PET instrument.Nucl. Instrum. Methods Phys. Res. Sect. A-Accel.Spectrom. Dect. Assoc. Equip., 786, 105–112. DOI:10.1016/j.nima.2015.03.032. [arXiv:1503.05188].
• 6. Wieczorek, A., Moskal, P., Niedźwiecki, Sz., Bednarski,T., Białas, P., Czerwiński, E., Danel, A., Gajos, A.,Gruntowski, A., Kamińska, D., Kapłon, Ł., Kochanowski,A., Korcyl, G., Kowal, J., Kowalski, P., Kozik,T., Krzemień, W., Kubicz, E., Molenda, M., Pałka, M.,Raczyński, L., Rudy, Z., Rundel, O., Salabura, P.,Sharma, N. G., Silarski, M., Słomski, A., Smyrski, J.,Strzelecki, A., Uchacz, T., Wiślicki, W., Zieliński, M.,& Zoń, N. (2015). A pilot study of the novel J-PET plastic scintillator with 2-(4-styrylphenyl)benzoxazole as a wavelength shifter. Acta Phys. Pol. A, 127(5),1487–1490. DOI: 10.12693/APhysPolA.127.1487.[arXiv:1502.02901].
• 7. Moskal, P., Sharma, N. G., Silarski, M., Bednarski,T., Białas, P., Bulka, J., Czerwiński, E., Gajos, A.,Kamińska, D., Kapłon, Ł., Kochanowski, A., Korcyl,G., Kowal, J., Kowalski, P., Kozik, T., Krzemień, W.,Kubicz, E., Niedźwiecki, Sz., Pałka, M., Raczyński,L., Rudy, Z., Rundel, O., Salabura, P., Słomski, A.,Smyrski, J., Strzelecki, A., Wieczorek, A., Wiślicki, W.,Wochlik, I., Zieliński, M., & Zoń, N. (2015). Hit time and hit position reconstruction in the J-PET detector based on a library of averaged model signals. Acta Phys. Pol. A, 127(5), 1495–1499. DOI: 10.12693/APhysPolA.127.149. [arXiv:1502.07886].
• 8. Kowalski, P., Moskal, P., Wiślicki, W., Raczyński, L.,Bednarski, T., Białas, P., Bułka, J., Czerwiński, E.,Gajos, A., Gruntowski, A., Kamińska, D., Kapłon,Ł., Kochanowski, A., Korcyl, G., Kowal, J., Kozik, T.,Krzemień, W., Kubicz, E., Niedźwiecki, Sz., Pałka, M.,Rudy, Z., Salabura, P., Sharma, N. G., Silarski, M.,Słomski, A., Smyrski, J., Strzelecki, A., Wieczorek,A., Wochlik, I., Zieliński, M., & Zoń, N. (2015).Multiple scattering and accidental coincidences in the J-PET detector simulated using GATE package. Acta Phys. Pol. A, 127(5), 1505–1512. DOI: 10.12693/APhysPolA.127.1505. [arXiv:1502.04532].
• 9. Kamińska, D., Gajos, A., Czerwiński, E., Bednarski, T.,Białas, P., Gorgol, M., Jasińska, B., Kapłon, Ł., Korcyl,G., Kowalski, P., Kozik, T., Krzemień, W., Kubicz, E.,Niedźwiecki, Sz., Pałka, M., Raczyński, L., Rudy, Z.,Rundel, O., Sharma, N. G., Silarski, M., Słomski, A.,Strzelecki, A., Wieczorek, A., Wiślicki, W., Zieliński,M., Zgardzińska, B., & Moskal, P. (2015). Searches for discrete symmetries violation in ortho-positronium decay, Nukleonika, 60(4), 729–732.
• 10. Korcyl, G., Bednarski, T., Białas, P., Czerwiński, E.,Kapłon, Ł., Kochanowski, A., Kowal, J., Kowalski,P., Kozik, T., Krzemień, W., Molenda, M., Moskal, P.,Niedźwiecki, S., Pałka, M., Pawlik, M., Raczyński, L.,Rudy, Z., Salabura, P., Sharma, N. G., Silarski, M.,Słomski, A., Smyrski, J., Strzelecki, A., Wieczorek,A., Zieliński, M., & Zoń. N. (2014). Trigger-less and reconfigurable data acquisition system for positron emission tomography. Bio-Algorithms and Med-Systems, 10(1), 37–40.
• 11. MPI A Message-Passing Internet Standard, from http://www.mpi-forum.org/docs/mpi-3.0/mpi30-report.pdf.
• 12. OpenMP Open MultiProcessing, from http://openmp.org/wp/.
• 13. Nickolls, J., Buck, I., Garland, M., & Skadron, K.(2008). Scalable Parallel Programming with CUDA.ACM Queue, 6(2).
• 14. Grama, A., Gupta, A., Karypis, G., & Kumar, V. (2003). Introduction to Parallel Computing. Adison-Wesley.
• 15. Pałka, M., Bednarski, T., Białas, P., Czerwiński, E.,Kapłon, Ł., Kochanowski, A., Korcyl, G., Kowal, J.,Kowalski, P., Kozik, T., Krzemień, W., Molenda, M.,Moskal, P., Niedźwiecki, Sz., Pawlik, M., Raczyński,L., Rudy, Z., Salabura, P., Sharma, N. G., Silarski,M., Słomski, A., Smyrski, J., Strzelecki, A., Wiślicki,W., Zieliński, M., & Zoń, N. (2014). A novel method based solely on FPGA units enabling measurement of time and charge of analog signals in Positron Emission Tomography. Bio-Algorithms and Med-Systems,10(1), 41–45. DOI: 10.1515/bams-2013-0104.[arXiv:1311.6127].
• 16. Krzemień, W., Silarski, M., Stola, K., Trybek, D.,Bednarski, T., Białas, P., Czerwiński, E., Kapłon, Ł.,Kochanowski, A., Korcyl, G., Kowal, J., Kowalski,P., Kozik, T., Molenda, M., Moskal, P., Niedźwiecki,S., Pałka, M., Pawlik, M., Raczyński, L., Rudy, Z.,Salabura, P., Sharma, N. G., Słomski, A., Smyrski, J.,Strzelecki, A., Wieczorek, A., Wiślicki, W., Zieliński,M., & Zoń, N. (2013). J-PET analysis framework for the prototype TOF-PET detector. Bio-Algorithms and Med-Systems, 10(2), 33–36.
• 17. Krzemień, W., Gajos, A., Gruntowski, A., Stoła, K., Trybek, D., Bednarski, T., Bialas, P., Czerwiński, E.,Kaminska, D., Kapłon, Ł., Kochanowski, A., Korcyl,G., Kowal, J., Kowalski, P., Kozik, T., Kubicz, E.,Moskal, P., Niedźwiecki, Sz., Pałka, M., Raczyński,L., Rudy, Z., Salabura, P., Sharma, N. G., Silarski, M.,Słomski, A., Smyrski, J., Strzelecki, A., Wieczorek,A., Wiślicki, W., Zieliński, M., & Zon, N. (2015).Analysis framework for the J-PET scanner. Acta Phys. Pol. A, 127(5), 1491–1494. DOI: 10.12693/APhysPolA.127.1491. [arXiv:1503.00465].
• 18. Brun, R., & Rademakers, F. (1997). ROOT – An object oriented data analysis framework. Nucl. Instrum. Methods Phys. Res. Sect. A-Accel. Spectrom. Dect. Assoc. Equip., 389, 81–86.
• 19. PROOF Parallel ROOT Facility, from https://root.cern.ch/drupal/content/proof.
• 20. Shepp, L. A., & Vardi, Y. (1982). Maximum likelihood reconstruction for emission tomography. IEEE Trans. Med. Imaging, MI-1(2), 113–122.
• 21. Białas, P., Kowal, J., Strzelecki, A., Bednarski, T., Czerwiński, E., Gajos, A., Kamińska, D., Kapłon, Ł.,Kochanowski, A., Korcyl, G., Kowalski, P., Kozik, T.,Krzemień, W., Kubicz, E., Moskal, P., Niedźwiecki,Sz., Pałka, M., Raczyński, L., Rudy, Z., Rundel, O.,Salabura, P., Sharma, N. G., Silarski, M., Słomski,A., Smyrski, J., Wieczorek, A., Wiślicki, W., Zieliński,M., & Zoń, N. (2015). GPU accelerated image reconstruction in a two-strip J-PET tomograph. Acta Phys, Pol. A, 127(5), 1500–1504. DOI: 10.12693/APhysPolA.127.1500. [arXiv:1502.07478].
• 22. Słomski, A., Rudy, Z., Bednarski, T., Białas, P., Czerwiński,E., Kapłon, Ł., Kochanowski, A., Korcyl,G., Kowal, J., Kowalski, P., Kozik, T., Krzemień, W.,Molenda, M., Moskal, P., Niedźwiecki, S., Pałka, M.,Pawlik, M., Raczyński, L., Salabura, P., Sharma, N. G., Silarski, M., Smyrski, J., Strzelecki, A., Wieczorek,A., Wiślicki, W., Zieliński, M., & Zoń, N. (2014). 3D PET image reconstruction based on the maximum likelihood estimation method (MLEM) algorithm. Bio-Algorithms and Med-Systems, 10(2), 1–7.
• 23.CIS, Świerk Computing Centre. Retrieved August 01,2015, from: http://www.cis.gov.pl/en/zasoby_obliczeniowe.
• 24.Wiślicki, W., Bednarski, T., Białas, P., Czerwiński, E.,Kapłon, Ł., Kochanowski, A., Korcyl, G., Kowal, J.,Kowalski, P., Kozik, T., Krzemień, W., Molenda, M.,Moskal, P., Niedźwiecki, S., Pałka, M., Pawlik, M.,Raczyński, L., Rudy, Z., Salabura, P., Sharma, N. G., Silarski, M., Słomski, A., Smyrski, J., Strzelecki,A., Wieczorek, A., Zieliński, M., & Zoń, N. (2014).Computing support for advanced medical data analysis and imaging. Bio-Algorithms and Med-Systems, 10(2), 53–58.