Ce se află în spatele știrilor senzaționale despre manuscrisul Voynich și despre oamenii de știință ruși, este posibil să se determine cu exactitate limba din text, cât de adecvați sunt matematicienii în lucrul la „câmpul” lingvistic.
Pe 19 aprilie, mass-media rusă a difuzat știri despre descoperirea „epocală” a matematicienilor ruși: oamenii de știință care foloseau noua metodă nu numai că au dovedit semnificația celebrului „manuscris Voynich”, dar au putut, de asemenea, să stabilească că a fost scris în două limbi și cu excepția literelor pentru vocale.
Manuscrisul Voynich este un manuscris ilustrat medieval cumpărat în 1912 de anticariatul Wilfred Voynich. Creat în secolul al XV-lea (bazat pe analiza radiocarbonată a pergamentului - dar majoritatea oamenilor de știință în prezent nu consideră textul în sine un fals ulterior), este scris într-o limbă necunoscută folosind un alfabet necunoscut. Judecând după ilustrații, textul este format din blocuri tematice: botanice, astronomice, farmacologice și altele. Complexitatea decodificării textului a făcut din manuscrisul Voynich un „sfânt graal” pentru criptografi și obiectul multor studii, inclusiv a celor care utilizează metode Big Data.
Știrile despre manuscris au fost raportate ca ceva senzațional. Acest lucru a trezit imediat unele suspiciuni. „Înainte de aceasta, toate încercările de a descifra un document unic și chiar de a înțelege doar dacă este un text semnificativ au eșuat. 600 de ani de eforturi inutile!.. Criptografii CIA și NSA, supercomputerele și chiar doctorii „științelor oculte” și-au semnat impotența completă. Ultima postare a criptologului Gordon Rugg de la Universitatea Keele din Marea Britanie spune: „Manuscrisul Voynich este un fals. Un astfel de „text complex” este ușor de construit pentru oricine este familiarizat cu metodele simple de copiere”, se spunea în articol.
În primul rând, semnificația textului a fost recunoscută în anii 1970 și confirmată de mai multe ori în studiile din anii 2010, despre care a fost scris suficient de detaliat chiar și în mass-media internă. În al doilea rând, descoperirea prezentată știrilor a fost prezentată doar sub forma unei preimprimări a institutului și nu într-un articol dintr-un jurnal internațional evaluat de colegi (preimprimarea a fost publicată și în 2016).
Aceste ciudățenii din prezentarea materialului ne-au obligat să căutăm clarificări mai întâi de la autorul studiului, apoi de la experți independenți - lingviști care lucrează cu metode statistice și matematice, precum și cu decodarea scripturilor antice.
Este ușor să scrieți o formulă, dar este foarte scump să efectuați analize numerice
Video promotional:
În primul rând, pe scurt despre esența studiului. Autorii preimprimării, matematicieni de la Institutul de Fizică și Tehnologie din Moscova și Institutul de Matematică Aplicată al Academiei de Științe din Rusia, se bazează pe lucrările lor, potrivit cărora „distribuția de frecvență a simbolurilor textului este o caracteristică stabilă nu a autorului sau a subiectului textului, ci a limbii”. Adică, folosind un set cu ajutorul instrumentelor matematice, puteți determina în ce limbă este scris, datorită faptului că fiecare limbă are propriul său „profil” caracteristic (distribuția exponentului Hurst). Mai mult, luând aceste metode ca bază, oamenii de știință au stabilit că textul manuscrisului a fost scris într-un amestec de mai multe limbi. În același timp, i s-au adăugat spații false și au fost eliminate simbolurile care denotă sunete vocale.
Autorul principal al studiului, Yuri Orlov (IPM RAS și MIPT), a subliniat că manuscrisul Voynich nu este deloc scopul principal al lucrării lor. „Manuscrisul„ senzațional”este doar o ilustrare a metodei matematice de recunoaștere a limbilor din text - o problemă, de fapt, pentru învățarea automată”, a spus Orlov.
Manuscrisul în sine nu este absolut interesant pentru noi. Știința se referă în mod specific la statisticile limbilor. Prin intermediul acestuia, putem înțelege în ce limbă este scris acest manuscris. Dar nu ceea ce este scris acolo, acesta este un punct important. - Yuri Orlov. MIPT și Institutul de matematică aplicată numite după M. V. Keldysh
În ceea ce privește metoda lingvistică utilizată în lucrare, Orlov notează că analiza frecvenței combinațiilor de litere din texte în sine este un lucru bine cunoscut. Cu toate acestea, indicatorul Hurst este slab cunoscut lingviștilor, deoarece este dificil de calculat chiar și în termeni matematici. Formula în sine este ușor de scris, dar analiza numerică este foarte costisitoare. Pentru aceasta, supercomputerul situat la Institutul numit după M. V. Keldysh, subliniază matematicianul.
Alegerea limbilor indo-europene pentru analiză se explică prin faptul că toate sunt foarte asemănătoare, spune Orlov. Indicatorii dezvoltați de matematicieni fac mai ușor să se distingă limbile în cadrul aceluiași grup lingvistic, dar nu între familii. Desigur, teoretic este posibil să se efectueze aceeași muncă cu alte grupuri (Ural, Altai sau altele), dar valoarea analizei constă în completitudinea ei, Orlov este sigur. În cazul limbilor indo-europene, nu este dificil să tastați un corpus de texte pentru fiecare limbă; este mai dificil să o faceți cu alte familii.
Revenind la manuscrisul Voynich, Orlov a remarcat că el și colegii săi au citat cinci dovezi (profilul logaritmic al ordonării frecvenței literelor în text într-una și mai multe limbi, distribuția exponentului Hurst, portretul spectral al matricei probabilităților condiționate și altele) ale ipotezei despre amestecul de limbi în manuscris și ștergere. litere pentru vocale. Ei s-au distanțat emfatic de „hangoutul din jurul manuscrisului”, dar au prezentat un rezultat unic - o metodă deschisă, analiză statistică cu o evaluare a fiabilității care poate fi verificată independent.
„Concluzia este depreciată de faptul că nu înțelegem pe ce material au derivat și pe ce - și-au verificat formula”
Însuși presupunerea că textul manuscrisului Voynich este lipsit de litere pentru vocale, cu spații spațiate incorect este frumoasă și bună, notează lingvistul Evgenia Korovina, care se ocupă cu statistici matematice ale limbii (Institutul de lingvistică, Academia Rusă de Științe). Anterior, nimeni nu a prezentat o astfel de ipoteză. Ea, de exemplu, explică frumos de ce există mai puține litere decât s-ar aștepta pentru un text european. Dar problema este că autorii studiului nici nu au indicat ce texte în diferite limbi au comparat și care a fost volumul acestor teste. Un număr imens de limbi sunt menționate în preimprimare. Prin urmare, studiul nu este reproductibil: dacă luați texte arbitrare în aceleași limbi, nu este un fapt că vor apărea aceleași tipare.
Maria Molina, specialistă în metode de corpus în studiul limbilor antice (Institutul de lingvistică, RAS), este de acord cu Korovina. Noile metode de prelucrare a datelor lingvistice, în opinia ei, ajută la obținerea de informații despre ceea ce anterior era închis cercetătorilor lingvistici. Cu toate acestea, materialul de intrare slab pregătit discredită adesea chiar și cele mai bune tehnici de procesare a datelor.
Concluzia este depreciată de faptul că nu înțelegem pe ce material au derivat-o și pe ce bază și-au testat formula. În ceea ce privește materialul meu, știu sigur că există o mică eroare metodologică - și obțin numere critic diferite. - Maria Molina. Institutul de lingvistică RAS
„Garbage in - garbage out”, - adaugă Molina (GIGO este un principiu în informatică care înseamnă că datele de intrare incorecte vor duce la rezultate incorecte, chiar dacă algoritmul în sine este corect, - nota Indicator. Ru).
Metodele statistice sunt încă indicii de rezultate, nu rezultate
Albert Davletshin (angajat al Centrului pentru Studii Comparative Lingvistice al Institutului pentru Studii Comparative al Universității Umanitare de Stat din Rusia, studiază limbile Maya și Polineziană) a vorbit și mai clar. Dacă autorii preimprimării nu aveau de gând să descifreze manuscrisul Voynich, de ce o fac? Și, în plus, dacă vorbim în mod specific despre decodarea scrisului necunoscut, apare întrebare după întrebare: „Nu există date inițiale despre scriere - ce tip de scrisoare? Cum se obțin diferitele transcripții? Câte personaje? Ce stă la baza presupunerilor existente cu privire la natura scrisului? Care este lungimea unui cuvânt separat de spații și fără spații? Ce înseamnă spații? Cât de mare este dicționarul? Care este raportul dintre semnături și desene?
La început, se dovedește că textul este danez și doar danez (și acest lucru este istoric imposibil, despre care nu există niciun cuvânt în lucrare). Apoi se dovedește că textul este în două limbi necunoscute (verificarea în acest stadiu se dovedește a fi imposibilă și este luată pe credință). Mai mult, există multe modalități conservatoare de a arăta că două pagini (mari) sunt scrise într-o singură literă, dar în limbi diferite, fără a recurge la modele matematice complexe. În cele din urmă, dacă vocalele sunt eliminate din text, cât de mult se confirmă acest lucru prin metode standard, cunoscute de mult (de exemplu, Sukhotin, Shevoroshkina și Ventris)?"
Davletshin critică, de asemenea, insensibilitatea la filologie și istorie, caracteristică acestui tip de cercetare:
Ceea ce văd în text: sunt adesea oameni care doresc să ia sursa X și să uite că este o sursă și există în anumite contexte istorice, inclusiv lingvistice, și cumva contează ceva în ea. Ipoteza că există mai multe limbi într-un manuscris este interesantă. Dar ai putea să-l arăți cumva uman. Metodele statistice sunt încă indicii de rezultate, nu rezultate. -Albert Davletshin. Centrul pentru Studii Comparative Lingvistice, IVKA RSUH
Nu există niciun criteriu pentru a distinge rezultatele interesante de cele teribile
O poziție mai echilibrată a fost luată de Georgy Starostin, un expert în lingvistică istorică comparată (RSUH). El era mai interesat de cât de utile sunt noile metode matematice pentru rezolvarea problemelor cu care se confruntă lingviștii. „Modelul prezentat în articol face o impresie ciudată. Pe de o parte, se pare că aparține categoriei „orb”, analizând datele textului fără a se judeca preliminar cu privire la structura alfabetului (de exemplu, digrafele, precum engleza ch, sh, ar trebui considerate combinații de două litere, deși aceasta este de fapt una sunet). Pe de altă parte, vocalele sunt aruncate din șirurile comparate, care, potrivit autorilor textului, conțin mai puține informații și mai degrabă adaugă zgomot. În general, baza de testare este în mod clar foarte mică, este imposibil să vorbim despre ceva fundamental în atât de multe limbi."
Rezultatele comparației limbilor indo-europene și urale, prezentate în tabelul comparativ 3 din articol, nu inspiră un optimism deosebit în Starostin. Unii indicatori ai gradului de apropiere a limbilor sunt surprinși bine (de exemplu, conexiuni intra-germanice sau intra-romanice), alții slab (de exemplu, metodologia nu mai identifică familia indo-europeană). Principalul lucru este că nu există niciun criteriu pentru a distinge rezultatele interesante de cele teribile. În cel mai bun caz, metoda face posibilă identificarea grupurilor lingvistice mici (deși nici aici nu funcționează între finlandeze și estoneze strâns legate), dar toate aceste grupuri pot fi identificate în mod fiabil fără ea.
Tabelul 3 din preimprimare, care prezintă rezultatele comparării limbilor indo-europene și urale. Aceeași culoare din tabel. Sunt identificate 3 grupuri de limbi care sunt apropiate în perechi (în sensul normei L1 a distribuțiilor frecvențelor ordonate în texte fără vocală). Unele perechi lingvistice apropiate sunt marcate cu roșu, cum ar fi germană / maghiară, engleză / estonă, latină / bască și greacă / finlandeză. Autori de preimprimare: Arutyunov A. A., Borisov L. A., Zenyuk D. A., Ivchenko A. Yu., Kirina-Lilinskaya E. P., Orlov Yu. N., Osminin K. P., Fedorov S. L., Shilin S. A.
În cele din urmă, determinarea caracteristicii genetice a unui limbaj prin distribuția exponentului Hurst este o idee interesantă și, poate, chiar adusă la un punct științific. Dar acest lucru va necesita prelucrarea unui număr mare de texte în diferite limbi. Și problema apare imediat: multe limbi sunt nescrise și cât de corect este să comparăm sistemele de înregistrare alfabetică cu transcrierile fonetice rămâne neclar. Starostin este sigur că va exista foarte puțin sens practic din această idee. În cel mai bun caz, se poate aplica într-adevăr la incidente precum manuscrisul Voynich, atunci când există o ipoteză că un anumit limbaj cu o scriere alfabetică standard este criptat conform anumitor principii (de exemplu, cu ștergerea vocalelor etc.). Cu toate acestea, există foarte puține astfel de incidente în lume.
Rezumând
Ce este linia de jos? Discuția în jurul cercetării IPM și MIPT a dezvăluit o ruptură profundă între comunitatea lingvistică (chiar și cei care folosesc metode statistice) și „cei din afară” cu privire la specialiștii în lingvistică care au decis să-și aplice instrumentele matematice materialului lingvistic.
Faptul că matematicienii nu vor să lucreze împreună cu lingviștii nu dă naștere doar la gafe grosolane, care apoi migrează către mass-media (de exemplu, limba bască din preimprimare se numește indo-europeană, există o sintagmă „litere vocale”). Frumusețea modelelor și puterea de calcul a supercomputerelor este de fapt devalorizată de erori la punctul de intrare. Din nou, cu dorința și deschiderea contactelor cu colegii dintr-o disciplină diferită, aceste greșeli ar putea fi ușor evitate.
A se vedea aici manuscrisul Voynich.
