Merge pull request #78 from pedrodiascoelho/factors-concatenation

tests for factors embeddings combined with concat and for usage with the transformer model

.gitignore

@@ -36,6 +36,8 @@ models/rnn-spm
 models/wngt19
 models/ape
 models/student-eten
+models/factors/*.npz
+models/factors/*/*.npz
 models/*.md5
 
 data/*/corpus.*

models/factors/factors_concat.npz.decoder.yml

@@ -0,0 +1,12 @@
+relative-paths: true
+models:
+  - factors_concat/model.npz
+vocabs:
+  - vocab.en.fsv
+  - vocab.de.yml
+beam-size: 6
+normalize: 0
+word-penalty: 0
+mini-batch: 32
+maxi-batch: 100
+maxi-batch-sort: src

tests/factors/factors_concat.expected

@@ -0,0 +1,44 @@
+10.57614899
+10.42622185
+10.29610538
+10.21077633
+10.19735432
+10.08711052
+10.02677727
+9.95798206
+9.96733570
+9.88771152
+9.86617661
+9.85768986
+9.82780361
+9.83935165
+9.76221466
+9.74660397
+9.71316624
+9.68596077
+9.64169884
+9.64194584
+9.63357449
+9.60625553
+9.61707783
+9.54672050
+9.50734901
+9.51041698
+9.46823120
+9.42105770
+9.43571186
+9.41235352
+9.41745853
+9.40398884
+9.33471107
+9.30905056
+9.30204201
+9.24854946
+9.23444176
+9.22029591
+9.22781849
+9.22472954
+9.20387077
+9.14059830
+9.11035728
+9.11907005

tests/factors/factors_decoder_concat.expected

@@ -0,0 +1,98 @@
+in Indien und Japan treffen sich die Ministerpräsidenten .
+der neue Ministerpräsident Indi@@ ens fällt , fällt in den Verantwortungs@@ bereich Indi@@ ens mit seinem ersten Treffen in Frankreich , zur Diskussion über wirtschaftliche und sicherheits@@ politische Bin@@ dungen anlässlich seines ersten EU @-@ Besu@@ chs .
+Herr Bur@@ sche , an einem Tag , der sich Japan , um wirtschaftliche Beziehungen zu den wichtigsten Wirtschafts@@ kre@@ isen der Welt zu stärken .
+ganz oben auf der Tagesordnung stehen Pläne für mehr Nuklear@@ energie .
+Indien trägt zudem zur Zusammenarbeit zwischen den beiden Völkern bei .
+Kar@@ ra@@ s@@ ran@@ s werden durch die Polizei kontrolliert .
+ein V@@ ok@@ abu@@ lar , das nach 12@@ 50 km @-@ Gebiet in einer Größenordnung von 70 km @-@ h @-@ Flächen besch@@ lag@@ nahm@@ ter und aus der Polizei gehen konnte .
+die Verkehrs@@ poli@@ zei in Kar@@ ra@@ ra@@ ra@@ fen von heute Frü@@ her@@ über@@ bu@@ cht um 12@@ .30 Uhr zu bla@@ sen . sie bricht 12@@ .30 Uhr aus .
+die Polizei sagt , dass die Polizei damals nicht auf@@ hört und auf den Bur@@ ges Leben weiter@@ geht , bevor sie Land um@@ gangen wird .
+die Person , die die Bezeichnung des Blo@@ cks in einem Haus über die Wal@@ klärung des in einem Haus verb@@ ran@@ nt ist .
+Kar@@ ra@@ san@@ to schalten den L@@ auf der einen Seite stand , dass er den Führ@@ erschein@@ in@@ ha@@ hn zu@@ tragen muss .
+er soll am 23. September in Kar@@ ra@@ ra@@ s@@ ant auftreten , den Gerichtshof macht .
+der um@@ ge@@ kehr@@ te Preis drei@@ zehn Monate .
+George B@@ ig von N@@ air@@ n und managements bringt in R@@ auch
+ein Mann wird gegen die Vergewal@@ tigung der Frauen in zwei K@@ lei@@ dung gestellt .
+George B@@ us 28 , bei einer Anhörung beim Ober@@ sten Gerichtshof in Bezug auf die Anklage erhoben .
+er soll bei Le@@ th@@ ail@@ än@@ discher Dimension des schottischen Flug@@ zeugs in Pit@@ t@@ ella am 7. Juni 2013 beteiligt werden .
+es wird behauptet , sie über@@ fallen zu , während sie zum Zusammenbruch der Verwaltungs@@ leistung beigetragen hat und die Zustimmung verweigert .
+die di@@ cht@@ ur@@ sachen sollen dann eine zweite Frau beim Golf @-@ Komm@@ n im Bei@@ rat von N@@ air P@@ air @-@ Trade @-@ Programm ein@@ steigen .
+Richter Ra@@ e Or@@ ts@@ ort Preisen vom November 17 beim Ober@@ sten Gerichtshof in Edinburgh legten .
+überprüfen Sie den Unter@@ halt in der US @-@ amerikanischen Sen@@ dung " Menschenrechte "
+das atorische Verbr@@ enn@@ ungsh@@ ö@@ he bewirkt , dass Arbeitsplätze vernichtet werden , sagt die " kürzung C@@ sab@@ a C@@ len@@ us " .
+der Grund dafür , dass ich damit komme , Klassi@@ ker Indi@@ z für das Gesetz über die Bürgerrechte Ak@@ z@@ ente Mitbestimmung einzuführen .
+durch diesen Bru@@ ch der Rechtsvorschriften zur Gewerkschafts@@ gesetzgebung werden die Arbeitnehmer dieselben Rechts@@ möglichkeiten wie bei anderen Formen der Diskriminierung - die Beendigung des Rechts der Gewerkschaften in ihrem Heimatland
+die Änderung des Nationalen L@@ ad@@ line " , die Arbeitnehmer " vor der Aufnahme einer Diskriminierung des Gewerkschafts@@ bun@@ des für die zivil@@ rechtlichen Rahmens ermöglichen soll - und Ausgleichs@@ maßnahmen in Erwägung gezogen werden .
+aber sie ist gewiss keine radikale Initiative - zumindest von amerikanischen Normen .
+die beste Art und Weise , um zu verstehen , was unter wes@@ sen Brü@@ ss@@ ler und Ko@@ k@@ ain mit einer sehr amerikanischen Idee zu verstehen ist .
+obwohl die Gewerkschaften in den letzten Jahren - in denen die Staaten etwa die Länder in den letzten Jahren - leiden , haben die Amerikaner rund um die Welt ermutigt , sich und zu guter Le@@ tzt zu werden , auszudehnen und zu respektieren .
+es gab eine Zeit , in der Millionen von Amerikanern zu leben , als dieses Land die Demokratie , die Freiheit der Meinungsäußerung , die Pressefreiheit und das Recht auf Mit@@ gestaltung in Anspruch genommen hat .
+die Arbeitnehmer und ihre Gewerkschafts@@ organisationen haben bei der Gestaltung der neuen Jap@@ ans bes@@ ten@@ par@@ ats eine Rolle gespielt , die ausdrücklich eingeräumt , dass das Recht der Arbeitnehmer auf Ak@@ z@@ ente setzen und geschlossen vorgehen .
+nach dem Zweiten Weltkrieg haben die Vereinigten Staaten ok@@ ku@@ p@@ iert , die nach der Logik der Eisen@@ - und Eisen@@ - und Stah@@ lindustrie aufgefordert , eine Verfassung von Hitler zu schreiben zu können .
+die Arbeitnehmer würden in der neuen Nation la@@ hm legen und ihre Stimme erheben müssen , dass die Deutschen das Recht auf Zusammensch@@ luss der ungen der Unfall@@ - und Verbesserung beru@@ hende Recht auf Berufs@@ gruppe garantieren .
+Übereinkommen , die dieses Recht auf Eigentum einschränken oder abschaffen wollen ; Maßnahmen , die darauf richten sich als rechtswidri@@ g .
+als ehemalige Erste den Vorsitz der Menschenrechtskommission der Internationalen Kommission für Menschenrechte , die in der Allgemeinen Erklärung der Menschenrechte verfasst , die von den Vereinten Nationen als ein globales Monopol eingeführt wurde , und die Dra@@ ch@@ ter beteiligt .
+für Generationen haben die Amerikaner die Grund@@ prä@@ mis@@ se angenommen , dass die Lab@@ our@@ partei die Menschenrechte sind .
+als dieses Land teilten , wo andere Länder die Teilnahme an der zivilen und demokratischen Gesellschaften sagten , dass das Recht auf die Tarif@@ verhandlungen als gleichberechtigte Partner und als gleichberechtigte Partner mit Unternehmen und Regierungs@@ behörden invol@@ viert sind .
+mit diesen Rechten , die in Amerika unter@@ gebracht sind , ist es vernünftig , sie auf das amerikanische Sprichwort , dass die arbeitenden Menschen ein Recht auf freie und offene Gesellschaft haben müssen .
+L@@ appl@@ and - das hat der König vor fünfzig vor fünfzig vor fünfzig Jahren gesagt
+die Geschichte ist ein hohes Gut .
+jetzt weiß jeder , dass die Bewegung des Lab@@ ors nicht die Kraft der Nation , sondern sie erweitert hat .
+durch die Anhebung des Lebens@@ zyklus von Millionen und Lab@@ or@@ standards haben die Industrie das gesamte Produktions@@ volumen beseitigt .
+diejenigen , die an@@ greifen , haben diese einfache Umgebung ver@@ gis@@ st , aber die Geschichte wes@@ sen sie .
+wie die Geschichte ist , sollten wir mit der Geschichte sprechen .
+die form@@ ale Anerkennung von Rechten als Menschenrechten - und die Ausweitung der bürgerlichen Rechte auf das Diskrimin@@ ieren gegen Lab@@ ors - ist längst über@@ fällig .
+Gesundheits- und G@@ lan@@ z wiegen Ide@@ ale und das Versprechen der Demokratie .
+Rich@@ ter@@ recht , das jeden Schwangerschafts@@ unter@@ brech@@ ungen schließen können .
+ein internationales Gesetz , das die Sonn@@ tags@@ fo@@ kus@@ griff auf die Durchsetzung eines rechts@@ staatlichen Gesetzes beru@@ henden Gesetze , die voraussichtlich alle fünf Abtrei@@ bungen im Staat erhalten würden .
+die Maßnahme , die im Juni per Gesetz in Bezug auf das L@@ ec@@ ka@@ stri@@ ert , das im Juni dieses Jahres in Kraft treten kann , brauchen Ärzte , die über Patienten@@ rechte in einem Krankenh@@ aus von dreißig Jahren über Privilegi@@ en verfügen .
+das Urteil des Rich@@ ters bedeutet jedoch , dass die ärz@@ tliche Versorgung vorläufig geheim bleiben können und gleichzeitig solche Privilegi@@ en übernehmen .
+das Pla@@ k@@ in@@ ieren darf das Hand@@ buch ausüben , damit ihre Bemühungen um Privilegi@@ en erhalten bleibt , die italienische Ebene issen das Wort er@@ sparen .
+die Anhörung wird innerhalb eines Monats festgelegt , damit der Richter ein dauer@@ haf@@ teres Urteil gefällt wird .
+Abtrei@@ b@@ ungs@@ rechte Akti@@ visten , die Entscheidung zuletzt in einer Entscheidung von Ur@@ teilen gegen vergleichbare Maßnahmen , in denen Ärzte mehr Zeit gewährt werden .
+das Urteil des Unternehmens , das Gesetz ausübt , sorgt für eine un@@ geschü@@ tzte Gesundheits@@ regelung im Namen ihrer Rechte und Rechte , hieß , die n@@ ord@@ ste Delegation n@@ amens " Ehr@@ en@@ geb@@ rem@@ st " .
+es war nicht sofort klar , ob die Entscheidung an die Ärzte von den beiden zum Opfer fi@@ elen , die nicht vorsch@@ rif@@ ts@@ widri@@ g waren und sie auch bei ihrer Anwendung beantragt haben .
+unter 11 Bundes@@ staaten haben ähnliche Gesetze erlassen , die vor kurzem gericht@@ lich gegen solche verfassungs@@ widri@@ gen Entscheidungen treffen .
+wesentliche Bestandteile eines Eigentums@@ rechts , die am Freitag in dem Staat verbleiben würden , wurde von einem Bundes@@ tag durch ein föder@@ aler Beam@@ ter blockiert werden .
+die Abtrei@@ b@@ ungs@@ rechte bedeuten gemeinsam mit dem US @-@ tsch@@ a@@ os N@@ ö@@ tigung und der amerikanischen g verbundenen Klagen über die Eigentumsrechte .
+die Abtreibung haben Steuer@@ pfli@@ chtige Maßnahmen zum Schutz der Gesundheit der Frauen eingeführt , obwohl einige davon ebenfalls ihre Auswirkungen scheu@@ en .
+nur ein Arzt , der im Krankenh@@ aus@@ Bewus@@ st@@ sein@@ stellungen innehat , hat die Privilegi@@ en für Re@@ produ@@ ktivität .
+wenn alle anderen Ärzte in der Lage sind , Schluss zu machen , würde das Verfahren für die Sicherheit bedeuten , dann würde die Fraktion gesagt .
+mit dem Argument hieß es , dass die Beamten der Opposition Ass@@ isten@@ z@@ wirtschaft nicht bestraft würden , obwohl ihre Anträge auf Freund@@ schafts@@ freundliche Anträge zum Schutz rän@@ gen .
+verzö@@ gerte Diagno@@ sti@@ k und mangelnde Zugangs zu einer kostengünsti@@ geren Behandlung in ländlichen Gebieten .
+James Angel@@ ina Jo@@ sa und ihren Vater gebühr@@ enden Ehr@@ en gebühren an , die 2007 an O@@ ran@@ g@@ zahlungen gestorben sind .
+Frauen im ländlichen Königreich sind mehr als ihre Häuser , als ihr Er@@ b@@ gut an Kre@@ bser@@ krankungen zu sterben .
+die Forscher unter@@ su@@ chten Forschungs@@ ergebnisse von mehr als zum Opfer fallen , die im Jahr 2005 zir@@ ka Kre@@ bser@@ krankungen unter die Diagnose von 35 % .
+bei der Untersuchung von Griechenland , der Infrastruktur von Q@@ S wurde gesagt , dass diejenigen , die in den Regionen leben , in den Regionen und Gebieten des Staates leben , etwa 20 % häufiger als in städtischen Gebieten .
+kleine L@@ un@@ ge , an Klein@@ kredi@@ ten denken , Sti@@ ck@@ Krebs
+die Forscher Wissenschaftler stellen über sieben Jahre .
+Dr. Jordan Jordanien hat gesagt , im Alter von E@@ ier@@ stock@@ krebs , nachdem sie existi@@ erende Krankheiten diagno@@ sti@@ ziert sind , und auch noch Über@@ leben@@ schancen .
+ältere Frauen und diejenigen , deren Krebs@@ ro@@ w@@ ag@@ g@@ ons zum Zeitpunkt der Diagnose besser war .
+die Bewohner in regionalen und entle@@ genen Regionen des Staates waren etwa 20 % häufiger in der Studie als in städtischen Gebieten .
+obwohl die Studie nicht dazu gedacht war , warum Frauen , die in der Stadt leben , eher noch an schwer@@ fällige Kre@@ bser@@ krankungen zu sterben , wurde empfohlen .
+diese Krankheit wird am besten durch die ökologische Belastung der Umwelt am Herzen liegen und sie in den Groß@@ städten .
+obwohl sie die T@@ el@@ em@@ edi@@ n @-@ medizinischen Dienste für die Fern@@ dienste verbessert haben , su@@ g@@ ger@@ iert , mehr Geld , um Frauen in die Heimat von ihren Gemeinschaften zu gestatten , zu unterstützen .
+Dr. Jordanien hat gesagt , unabhängig vom geografischen Zustand , wo die Studie zum Überleben von Schwan@@ kungen bei den Schwan@@ kungen bei Frauen lag , die Notwendigkeit einer besseren Behandlung und Prävention .
+die von den Rio unter@@ finanzierten Forschung wird heute in den Kre@@ islauf von Rio als Trau@@ m@@ krebs veröffentlicht .
+im März 2012 wurde ihnen mitgeteilt , dass sie eine aggressive Form von Sti@@ r@@ n Ty@@ ran@@ n Ara@@ s Ne@@ ón el 33 Jahre alten Ne@@ g@@ ativ@@ mu@@ tiert .
+Eigentums@@ anlagen fallen Eigentums@@ di@@ chter
+der Rückgang der Anzahl der Haus@@ eigent@@ ümer , die unter 35 @-@ J@@ äh@@ rigen unter 35 Jahre alt ist , könnte dazu führen , dass zig Millionen von heute weniger als A @-@ Ur@@ sa@@ chen@@ kenn@@ zeichen die Kern@@ gruppe A @-@ Kunden gelangen .
+laut Bericht bes@@ agen die Ausgaben , die im Durchschnitt von 55 % des Betra@@ ges führen , dass diejenigen mit ihren eigenen Wohn@@ ort für ihre Umgebung ausgeben .
+sie n@@ annte den Anstieg der stark städ@@ te@@ bau@@ lichen Lag@@ er@@ flächen , ohne die Beihilfe über den Fron@@ ten im K@@ assen@@ geb@@ ot leben , als schätzt jedes Jahr schätzungs@@ weise 5 Milliarden Pfund wert .
+mehr London , wo die Eigen@@ verantwortung im Haus auf 43 % in sechs Jahren auf 43 % gesunken ist , hat briti@@ scher Haushalts@@ posten .
+der Eigentums@@ - und Gesellschafts@@ gesellschaft erklärte wör@@ tlich , dass Eigentums@@ sport oder ein Mangel an Pat@@ tsituation nicht bewirkt hätte .
+Herr Bar@@ bare@@ i , der Fir@@ men@@ dor@@ sch , mein@@ ung gegen den Fu@@ g , hat mein@@ ung zum Beispiel den Ober@@ lehr@@ er , die ihre Betriebe verlagern können , wenn sie ihre Pflanzen missa@@ chten .
+der Bericht befasst sich mit der Zeit von 1997 bis 2005 als Einzel@@ handels@@ recht des Programms , das Eigentums@@ recht infolge ges@@ tie@@ gener jahr@@ zehn@@ tel@@ anger Eigen@@ verantwor@@ t@@ lichkeit und wirtschaftlichen Wohlstand von den 8@@ 0er @-@ Jahren identi@@ fiziert hat .
+sie progno@@ sti@@ ziert außerdem nach den günsti@@ geren Bedingungen nach dem günsti@@ geren wet@@ ter seit März und April letzten Jahres .
+in Pakistan geführte Protest treibt die Protest@@ kund@@ äre , teuert die Wähler@@ schaft und die Führ@@ erin sp@@ ran@@ nt , inne@@ zu@@ halten .
+in der Hauptstadt von Wales , etwa 1000 Demonstranten stür@@ m@@ ten das Fernsehen , P@@ TV @-@ St@@ off .
+die Information Ministerin , Per@@ je@@ z Ras@@ etes , sagte jedoch , dass Soldaten die Möglichkeit hätten , den Preis für das Gebäude zu streichen .
+der Fernseh@@ sender hat für nahezu 40 Minuten eingestellt , aber mittlerweile hat die Übertra@@ gungs@@ weg eingestellt .
+gleichzeitig demonstri@@ erten rund um den Demonstranten , dass die offiziellen Versuche , den offiziellen Kor@@ respon@@ den@@ ten von Premierminister Na@@ wa@@ gen@@ if zu erreichen .
+sie klam@@ m@@ heim@@ lich kap@@ ut@@ t abgeben mit der Sicherheits@@ dienste , bewaffne@@ te Sicherheits- und Verteidigungspolitik .
+die Polizei nu@@ tzten das Gas .
+die Demonstranten haben ihren Rücktritt verlangt , die er abgelehnt .
+das pakist@@ anische Volk forderte eine politische Lösung des Konflikts ohne Verzögerung und ohne Gewalt .
+nach einer Sitzung am Sonn@@ ta@@ gab@@ end am Sonn@@ ta@@ gab@@ end noch angekündigten Militä@@ ran@@ gehö@@ rige zur Gewährleistung der Sicherheit für den Staat bleibt .
+das Militär spielt in Pakistan eine wichtige Rolle und hat in der Vergangenheit gewalt@@ tätig .
+die Opposition , Im@@ ran@@ ge , Ak@@ ade@@ mi@@ k@@ er , die im Mai vergangenen Jahres statt@@ fanden , budgets , die es im Mai vergangenen Jahres gegeben hat .

tests/factors/factors_transformer.expected

@@ -0,0 +1,44 @@
+11.04951191
+10.68020153
+10.54591465
+10.48460102
+10.40533352
+10.38826847
+10.27533150
+10.21229267
+10.19135952
+10.08994102
+10.01051331
+9.97128105
+9.95058727
+9.93437099
+9.94428539
+9.83870697
+9.83070374
+9.81238365
+9.75304127
+9.67127991
+9.65575886
+9.66312313
+9.66796112
+9.63431263
+9.56104946
+9.57750225
+9.53895378
+9.45394707
+9.41851521
+9.39714527
+9.39997673
+9.40844250
+9.36143589
+9.29904747
+9.33303452
+9.25019360
+9.18587208
+9.15645790
+9.13850403
+9.13868427
+9.14638233
+9.09624672
+9.03522873
+9.06501865

tests/factors/setup.sh

@@ -13,6 +13,11 @@ test -f $MRT_MODELS/factors/model.npz.decoder.yml || exit 1
 test -f $MRT_MODELS/factors/vocab.en.fsv || exit 1
 test -f $MRT_MODELS/factors/vocab.de.fsv || exit 1
 
+test -f $MRT_MODELS/factors/factors_concat/model.npz || exit 1 
+
+test -f $MRT_DATA/europarl.de-en/corpus.bpe.de || exit 1
+test -s vocab.de.yml || $MRT_MARIAN/marian-vocab < $MRT_DATA/europarl.de-en/corpus.bpe.de > vocab.de.yml
+
 test -f $MRT_DATA/europarl.de-en/toy.bpe.en || exit 1
 test -f $MRT_DATA/europarl.de-en/toy.bpe.de || exit 1
 

tests/factors/test_factors_concat.sh

@@ -0,0 +1,38 @@
+#!/bin/bash -x
+
+#####################################################################
+# SUMMARY: Training a factored model combining lemma and factors
+# embeddings with concatenation
+# AUTHOR: pedrodiascoelho
+# TAGS: factors
+#####################################################################
+
+# Exit on error
+set -e
+
+# Remove old artifacts and create working directory
+rm -rf factors_concat factors_concat.{log,out,diff}
+mkdir -p factors_concat
+
+# Run marian command
+$MRT_MARIAN/marian \
+    --no-shuffle --seed 1111 --dim-emb 32 --dim-rnn 64 --maxi-batch 1 --maxi-batch-sort none --clip-norm 0 \
+    --type transformer --factors-combine concat --factors-dim-emb 8 \
+    -m factors_concat/model.npz -t toy.bpe.fact.en $MRT_DATA/europarl.de-en/toy.bpe.de -v $MRT_MODELS/factors/vocab.en.fsv vocab.de.yml \
+    --disp-freq 5 -e 5 \
+    --log factors_concat.log
+
+# Check if files exist
+test -e factors_concat/model.npz
+test -e factors_concat.log
+
+#Checks correct factor usage
+grep -q "Factored embeddings enabled" factors_concat.log
+grep -q "Combining lemma and factors embeddings with concatenation enabled" factors_concat.log
+
+# Compare the current output with the expected output
+cat factors_concat.log | $MRT_TOOLS/extract-costs.sh > factors_concat.out
+$MRT_TOOLS/diff-nums.py factors_concat.out factors_concat.expected -o factors_concat.diff
+
+# Exit with success code
+exit 0

tests/factors/test_factors_decoder_concat.sh

@@ -0,0 +1,26 @@
+#/bin/bash -x
+
+#####################################################################
+# SUMMARY: Tests decoding with factors when combining lemma and factor
+# embeddings by concatenating them
+# AUTHOR: pedrodiascoelho
+# TAGS: factors
+#####################################################################
+
+# Exit on error
+set -e
+
+# Remove old artifacts
+rm -f factors_decoder_concat.{out,diff,log}
+
+# Run marian decoder
+$MRT_MARIAN/marian-decoder -c $MRT_MODELS/factors/factors_concat.npz.decoder.yml --log factors_decoder_concat.log < text.in > factors_decoder_concat.out
+
+#checks factors usage
+grep -q "Factored embeddings enabled" factors_decoder_concat.log
+grep -q "Combining lemma and factors embeddings with concatenation enabled" factors_decoder_concat.log
+# Compare the output with the expected output
+$MRT_TOOLS/diff.sh factors_decoder_concat.out factors_decoder_concat.expected > factors_decoder_concat.diff
+
+# Exit with success code
+exit 0