Wyniki wyszukiwania - BazTech

Ograniczanie wyników

Znaleziono wyników: 2

Liczba wyników na stronie

Wyniki wyszukiwania

Wyszukiwano:
w słowach kluczowych: statistical language modeling

Sortuj według:

Ogranicz wyniki do:

Hilberg’s Conjecture : a Challenge for Machine Learning

Dębowski Ł.

Schedae Informaticae

2014

Vol. 23

33--44

We review three mathematical developments linked with Hilberg’s conjecture – a hypothesis about the power-law growth of entropy of texts in natural language, which sets up a challenge for machine learning. First, considerations concerning maximal repetition indicate that universal codes such as the Lempel-Ziv code may fail to efficiently compress sources that satisfy Hilberg’s conjecture. Second, Hilberg’s conjecture implies the empirically observed power-law growth of vocabulary in texts. Third, Hilberg’s conjecture can be explained by a hypothesis that texts describe consistently an infinite random object.

Wprowadzenie do problematyki systemów komputerowego przekładu opartych na metodzie Statistical-Based Machine Translation

Gajer M.

Informatyka Teoretyczna i Stosowana

2006

R. 6, nr 10

225-231

Wczesne podejścia do zagadnienia translacji automatycznej bazowały głównie na regułach. Starano się wówczas ująć języki naturalne w sztywne karby gramatyki formalnej oraz wypracować jednoznaczne reguły transferu z gramatyki języka źródłowego przekładu do gramatyki języka docelowego. Jednak badania wykazały, że języki naturalne różnią się w dość istotny sposób od języków formalnych, w związku z czym wymagają nieco odmiennego potraktowania. Główna różnica polega na tym, że w językach naturalnych występują zbitki wyrazowe - tzw. związki frazeologiczne, których przekładu nie można dokonać, operując na poziomie pojedynczych wyrazów, ale które muszą być tłumaczone w sposób idiomatyczny. Dlatego w latach 90. zaproponowane zostały alternatywne podejścia, które wykorzystują istniejący dotychczas dorobek translatorski i wzorując się na nim starają się dokonać przekładu zupełnie nowych tekstów. Jednym z takich podejść jest translacja oparta na statystyce matematycznej. W artykule omówiono istotę tego podejścia oraz pokazano na podstawie przykładów, w jaki sposób należy budować statystyczne modele języka i translacji.

Early phase machine translation systems were based mainly on the set of rules. The scientists tried to describe natural languagies with the set of fixed rules of a formal grammar and to formalise the proces of syntactic transfer from the grammar of one language into another. But as it was proved the natural languages differ much from formal languages so thay must be managed in some different way. The main difference between natural and formal languages is that in any natural language there exist chunks of words that can not be translated on the level of single words but they maust be treated in an idiomatic way. In the 90s some alternative approaches to machine translation were proposed that take the advantage of existing bilingual corpora of texts written in source and target languages. One of them is Statistical-Based machine Translation (SBMT). In the paper the most important issues of SBMT were described and it was presented on some useful examples how to build statistical models of natural language and the model of translation between different languages.