Mechanizm analizy podobieństwa krótkich fragmentów tekstów na bazie odległości Levenshteina

• Autorzy: Niewiarowski A. , Stanuszek M.

Warianty tytułu

EN

Mechanism of analysis of similarity short texts, based on the Levenshtein distance

• Języki publikacji: PL

Abstrakty

PL

Artykuł przedstawia implementację mechanizmu typu text mining, bazującego na algorytmie odległości transformacyjnej autorstwa Vladimira Levenshteina , skutecznie wykrywającego podobieństwo wyrazów o różnej długości. Algorytm zastosowano do analizy podobieństwa jednozdaniowych fragmentów tekstów. Opracowany mechanizm cechuje szybkość analizy zdań i łatwość implementacji.

EN

This paper presents the proposal of text mining mechanism based on Levenshtein Distance Algorithm (LDA)[4], which effectively detect the similarity of different length words. This algorithm for similarity analysis of sentences is used and successfully detects similarities between single sentences. Mechanism is characterized by speed of data analysis and simplify of implementation.

Słowa kluczowe

PL

analiza języka naturalnego; analiza danych tekstowych; text mining; algorytm odległości Levenshteina

EN

natural language processing (NLP); natural language understanding (NLU); data mining; text mining; Levenshtein distance algorithm

• Wydawca: Wydawnictwo Politechniki Śląskiej
• Czasopismo: Studia Informatica
• Rocznik: 2013
• Tom: Vol. 34, nr 1
• Strony: 107--114
• Opis fizyczny: Bibliogr. 7 poz.

Twórcy

autor

Niewiarowski A.

• Politechnika Krakowska, Wydział Fizyki, Matematyki i Informatyki, ul. Podchorążych 1, 30-084 Kraków, Polska

autor

Stanuszek M.

• Politechnika Krakowska, Wydział Fizyki, Matematyki i Informatyki, ul. Warszawska 24, 31-155 Kraków, Polska

Bibliografia

• 1. Manning C. D., Prabhakar R., Hinrich S.: Introduction to Information Retrieval. Cambridge University Press, 2008.
• 2. Beeferman D., Berger A., Lafferty J.: Statistical models for text segmentation. Mach. Learn., Vol. 34(1÷3), 1999, s. 177÷210.
• 3. Lin D.: Automatic retrieval and clustering of similar words. COLING 1998, ACL, 1998, s. 768÷774.
• 4. Левенштейн В.И.: Двоичные коды с исправлением выпадений, вставок и заме-щений символов. Доклады Академий Наук СCCP 163 (4), 1965, s. 845÷848.
• 5. Chakrabarti S.: Mining the Web: Analysis of Hypertext and Semi Structured Data. Morgan Kaufmann, 2002.
• 6. Hamming R. W.: Error Detecting and Error Correcting Codes. The Bell System Technical Journal, Vol. XXIX, April, 1950.
• 7. Christos H. Papadimitriou.: Złożoność obliczeniowa. Helion, Gliwice 2012.