Problemy i wyzwania automatycznego przetwarzania informacji zapisanej w języku naturalnym

• Autorzy: Gładysz A.

Warianty tytułu

EN

Problems and challenges automatically processing of information stored in natural language

• Języki publikacji: PL

Abstrakty

PL

Rozwój społeczeństwa informacyjnego oraz technologii informatycznych pociągnął za sobą w sposób naturalny powstanie zautomatyzowanych systemów wspomagających wyszukiwanie i porządkowanie informacji. W nadmiarze informacji przechowywanych w dokumentach tekstowych dużego znaczenia nabiera automatyzacja przetwarzania języka naturalnego. Motywacją do badań nad komputerową analizą języka naturalnego jest nie tylko możliwość dialogu z komputerem w języku naturalnym, ale również i przede wszystkim analiza już istniejących tekstów oraz wydobywanie z nich informacji zapisanej w języku sformalizowanym umożliwiając operowanie nią w sposób automatyczny. W artykule dokonano przeglądu wybranych metod analizy dokumentów tekstowych wykorzystujących znane algorytmy wspomagające ich przetwarzanie. Zaprezentowano także wybrane problemy rozpatrywane na gruncie automatycznego przetwarzania języka naturalnego. Przedstawiono wyniki badań wstępnego przetwarzania dokumentów tekstowych na wybranej próbce danych. Docelowo posłużą one jako podstawa do dalszych badań dotyczących badania skuteczności zastosowania wybranych metod algebraicznych do identyfikacji słów kluczowych w dokumentach polskojęzycznych.

EN

Development of the information society and information technology entailed an a natural creation of automated systems supporting find and organize information. Too much information stored in text documents is extremely important to for automatic natural language processing. The motivation for research on computer analysis of natural language is not only an possibility of dialogue with the computer in natural language, but also and above all an analysis of already existing texts and extracting from them the information recorded in the formal language allowing it to operate automatically. In the article reviews of selection methods of analysis of text documents using natural language processing techniques. It also presents some problems dealt with automatic natural language processing. Presents the results of preprocessing of text documents on a selected sample of data. Ultimately, they serve as a basis for further assessment of method effectiveness for keyword identification in Polish texts.

Słowa kluczowe

PL

wyszukiwanie informacji; przetwarzanie informacji; język naturalny; analiza dokumentów tekstowych

EN

information retrieval; information processing; natural language; analysis of text documents

• Wydawca: Sieć Badawcza Łukasiewicz - Poznański Instytut Technologiczny
• Czasopismo: Logistyka
• Rocznik: 2014
• Tom: nr 3
• Strony: 2001--2010
• Opis fizyczny: Bibliogr. 25 poz., rys., pełen tekst na CD

Twórcy

autor

Gładysz A.

• Politechnika Rzeszowska im. Ignacego Łukasiewicza, Wydział Zarządzania; 35-959 Rzeszów; al. Powstańców Warszawy 12

Bibliografia

• 1. Abiteboul S., Buneman P., Suciu D., Dane w sieci WWW – od relacji do modelu semistrukturalnego i XML, MIKOM, Warszawa, 2001.
• 2. Brill E., Transformation-based error-driven learning and natural language processing: A case study of part-of-speech tagging, Computational Linguistics, 21:543, 1995.
• 3. Brown P. F., Della Pietra V. J., Della Pietra S. A., Mercer R. L., The mathematics of statistical machine translation: parameter estimation, Computational Linguistics, 19(2), 1993, s. 263-311.
• 4. Czerwiński M., Język, kultura, społeczeństwo. O potrzebie badań dyskursu, Studia z Filologii Polskiej i Słowiańskiej 41, 2006, s. 239–252.
• 5. Duan Y., Cruz Ch., Formalizing Semantic of Natural Language through Conceptualization from Existence, International Journal of Innovation, Management and Technology, 2 (1), 2011, s. 37-42.
• 6. Edmundson H. P., New methods in automatic extracting., J, ACM, 16(2), 1969, s. 264–285.
• 7. Greffenstette G., Tapanainen P., What is a word, what is a sentence? Problems of tokenization, In third International Conference on Computational Lexicography, Research Institute for Linguistics Hungarian Academy of Sciences, Budapeszt, 1994, s. 79-87.
• 8. Gruber T. R., A translation approach to portable ontologies, Knowledge Acquisition, 5(2), 1993, s. 199-220.
• 9. Hand D., Mannila H., Smyth P., Eksploracja danych, WNT, Warszawa, 2005.
• 10. Hearst M., Untangling Text Data Mining, Proceedings of ACL’99: the 37th Annual Meeting of the Association for Computational Linguistics, University of Maryland, June 20-26 1999.
• 11. Jurafsky D., Martin J,H., Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition, Prentice Hall, US, wydanie drugie 2008.
• 12. Kaplan R. M., Syntax, rozdz, 4, Mitkov, 2003, s. 70–90.
• 13. Kłopotek M. A., Inteligentne wyszukiwarki internetowe, Exit, 2001.
• 14. Knight K., Automating knowledge acquisition for machine translation, AI Magazine, vol, 18, 1997.
• 15. Losiewicz P., Oard D, W., Kostoff R, N., Textual data mining to support science and technology management, Journal of Intelligent Information Systems Springer Netherlands, 2000, s. 99-119.
• 16. Maybury M, T., LREC Workshop on Question Answering: Strategy and Resources, submitted for publication to Artificial Intelligence Magazine, 2002.
• 17. Mikheev A., Tagging Sentence Boundaries, Technical report, University of Edinburgh, 2000.
• 18. Mykowiecka A, Inżynieria lingwistyczna. Komputerowe przetwarzanie tekstów w języku naturalnym, PJWSTK, Warszawa, 2007.
• 19. Och F., Ney H., A Systematic Comparison of Various Statistical Alignment Models, Computational Linguistics, 29(1), 2003, s. 19-51.
• 20. Palmer D., Hearst M., Adaptive sentence boundary disambiguation, In Proceedings of the 4th Conference on Applied Natural Language Processing, Stuttgart, Niemcy, 1994.
• 21. Piskorski J., Shallow text processor for information extraction from free-text business documents, AE, Poznań, 2001.
• 22. Reynar J., Ratnaparkhi A., A maximum entropy approach to identifying sentence boundaries, In Proceedings of the 5th Conference on Applied Natural Language Processing, Washington D,C., USA 1997.
• 23. Schmid H., Unsupervised Learning of Period Disambiguation for Tokenization, Internal report, IMS, University of Stuttgart, 2000.
• 24. Tomassen S. L., Semi-automatic generation of ontologies for knowledge-intensive CBR, Norwegian University of Science and Technology, 2002.
• 25. Wierzbicki A.P., Klimasara E., Wybrane problemy zarządzania wiedzą, Instytut Łączności, Państwowy Instytut Badawczy, Praca nr 06300017, 2007.