Merge pull request tesseract-ocr#148 from stweil/master

Normalize unicode in texts

bih/bih.training_text

@@ -1,40 +1,40 @@
 अरे रामा लागल कचहरी 
-जब आल्हा के बंगला बड़ बड़ बबुआन,
+जब आल्हा के बंगला बड़ बड़ बबुआन,
 लागल कचहरी उजैनन के दरबार
 नौ सौ नागा नागपूर के नगफैनी बाँध कमर तरवार
-बइठल बाड़े काकन डिल्ली के लोहतमियाँ तीन हजार
-मढ़वर तिरौता करमावर हवै जिन्हके बइठे कुम्ह चंडाल
-झड़ल उझनियाँ गुजहनियाँ है बाबू बइठल गदहियावाल
+बइठल बाड़े काकन डिल्ली के लोहतमियाँ तीन हजार
+मढ़वर तिरौता करमावर हवै जिन्हके बइठे कुम्ह चंडाल
+झड़ल उझनियाँ गुजहनियाँ है बाबू बइठल गदहियावाल
 नाच करावे बंगला में मुरलीधर बैन बजाव
 मुर मुर बाजे सारंगी जिंन्हके रुन रुन बाजे सितार
 तबला चटकै रसबेनन के मुख चन्द सितारा लाय
 नाचें पतुरिया संघल दीप में लौंडा नाचे ग्वालियरवाल
 तोफा नाचे बंगाला के बंगला होय परी के नाच
 सात मन का कुंडी दस मन का घुटना लाग
 ओहि समन्तर रुदल पहुँचल बंगला में पहुँचल जाय
-देखि के सूरत रुदल के आल्हा मन में करे ग़ुमान
+देखि के सूरत रुदल के आल्हा मन में करे ग़ुमान
 देहियाँ देखो तोर धूमिल मुहवाँ देखों उदास
-कौन सकेला तोर पड़ गइल बाबू कौन अइसन गाढ़
+कौन सकेला तोर पड़ गइल बाबू कौन अइसन गाढ़
 भेद बतावा तू जियरा के कइसे बूझे प्रान हमार
-अरे त हाथजोड़ के रुदल बोलल भइया सुन धरम के बात
-पड़ि सकेला है देहन पर बड़का भाइ बात बनाव
+अरे त हाथजोड़ के रुदल बोलल भइया सुन धरम के बात
+पड़ि सकेला है देहन पर बड़का भाइ बात बनाव
 पूरब मरलों पुर पाटन में जे दिन सात खंड नैपाल
-पच्छिम मरलों बदम लहोर दक्खिन बिरिन पहाड़
-चारि मुलकवा खोजि अइलीं कतहीं न जोड़ी मिले कुंआर
-कनिया जामल नैनागढ़ में राजा इन्दरमन के दरबार
+पच्छिम मरलों बदम लहोर दक्खिन बिरिन पहाड़
+चारि मुलकवा खोजि अइलीं कतहीं न जोड़ी मिले कुंआर
+कनिया जामल नैनागढ़ में राजा इन्दरमन के दरबार
 बेटी रूप सयानी समदेवा के बर माँगल बाँध जुमार
-बड़ लालसा हवे जियरा में जो भइया करौं बियाह सोनवा से
-लागल लड़ाई नैनागढ़ में घोड़ा चल हमारे साथ
+बड़ लालसा हवे जियरा में जो भइया करौं बियाह सोनवा से
+लागल लड़ाई नैनागढ़ में घोड़ा चल हमारे साथ
 रामा मधुर से बोलेला बचनिया रे ना ।  १
 रामा भउजी से कइलीं कररवा रे ना ।  २ 
-रामा पहिले छोड़ाइब आपन भइया रे ना ।  ३ 
-तवना बाद छोड़ाइबि बाप घुमुँलसिंघवा रे ना ।  ४ 
-तवना बाद छोड़ाइबि पलटनिया रे ना ।  ५ 
+रामा पहिले छोड़ाइब आपन भइया रे ना ।  ३ 
+तवना बाद छोड़ाइबि बाप घुमुँलसिंघवा रे ना ।  ४ 
+तवना बाद छोड़ाइबि पलटनिया रे ना ।  ५ 
 रामा तबै करबि आपन हम गवनवा रे ना ।  ६ 
 तबे रोए लागलि चल्हकि नउनिया रे ना ।  ७ 
 ओकरा रोअला के नइखे ठेकनवा रे ना ।  ८
 रामा सधुरे से कइली बचनिया रे ना ।  ९ 
 पाहुन नइखे लश्करि पलटनिया रे ना ।  १० 
-रामा कइसे जीतबऽ बावनगढ़ सुबवा रे ना ।  ११ 
+रामा कइसे जीतबऽ बावनगढ़ सुबवा रे ना ।  ११ 
 तब बोले लागल कुँवर बिजयमलवा रे ना ।  १२ 
-हमरा संगे आइल हिछल बछेड़वा रे ना ।  १३ 
+हमरा संगे आइल हिछल बछेड़वा रे ना ।  १३ 

grc/grc.training_text

@@ -13,25 +13,25 @@
 Λεωτυχίδῃ ἐπῳάζει αὑτῶν̓ Βαλεντινιανὸς ῥέος Γλαυκίᾳ Πρωταγόρας
 ΠΑΡΑΓΓΕΛΙΑ Κάτλος Ζέχιν ὂψεσι Ἕλλῃ Στότζας ἠρήσαντο ἆθλον
 Ὅπερ προσῴκισαν Φανοστράτῳ ὤεα Ἰακχαῖον ἸΣΟΤΕΛΗΣ Μαρωνείτης
-Ἡσίπεια ἰσόῤῬοπον ῥᾷστοι ῥᾴω Ἄνδροκλος Ὁρτήσιος Ὀρσινόμην
+Ἡσίπεια ἰσόῤῬοπον ῥᾷστοι ῥᾴω Ἄνδροκλος Ὁρτήσιος Ὀρσινόμην
 ἈΘΕΩΡΗΤΟΣ Ξένοςτὸν Τρόφιμε ᾤμωξαν Ἠγαπᾶτο ἘΚ Ἔχομεν Ὑμηττῷ
 ΦΙΛΙΠΠΙΔΗΣ Ἴαμβος Νάσοις Ἥκω ᾔδεισθα πρώτῂ Ἅιδαν Ἱππίταν
 Ὄσσης ὑπερώϊα ΘΟΕ ἐπικυΐσκεται ὠνόμασταἰ κικλῄσκω Ὡρατίους
 ᾄσειεν Ἆρον ᾠδικώτερον Ἁγίου Ἦρα Ὠλενίοιο ἐΰξοος ᾆσας Ἶσίς
 Κισσηῒς ἀγαθᾦ ᾑρούμην Ὦχον Ἤρᾳ δεριϝες αἲ Ὧρος Ὕδραν ᾅσμασι
 αὒξεται Θρᾴκᾐ Ἵππος γρηῢν ᾇπερ ἐντελεχείᾀ ἰσοϋψεῖς ΚΡΑΥΑΛΛΙΔΑΙ
-ἔῤῬωγε ᾕρημαι ἈΔΕΛΦΙΖΕΙΝ πρῲ ἒτι ἇ Ὥραισι Ψαμάθῃ διορίσαντας
-ΜΟΥΝΤΧΙΩΝ πέπονθεν ᾁσαντας δᾲς κλαῗδας Ἂ προσαγορεύοντες
-μεταβάλλοντας Ὤλενος Ὢ ΠΕΝΤΗΚΟΣΤΕΥΕΣΘΑΙ Ὃ Ἢ ὑπόληψιν Ἓ ἐμπεσών
-Ἃ προκεχειρ͂οτονημένοις λβ́οὐ πραῧναι ῥήσεις ἐπώ̀κισαν ῡ
+ἔῤῬωγε ᾕρημαι ἈΔΕΛΦΙΖΕΙΝ πρῲ ἒτι ἇ Ὥραισι Ψαμάθῃ διορίσαντας
+ΜΟΥΝΤΧΙΩΝ πέπονθεν ᾁσαντας δᾲς κλαῗδας Ἂ προσαγορεύοντες
+μεταβάλλοντας Ὤλενος Ὢ ΠΕΝΤΗΚΟΣΤΕΥΕΣΘΑΙ Ὃ Ἢ ὑπόληψιν Ἓ ἐμπεσών
+Ἃ προκεχειρ͂οτονημένοις λβ́οὐ πραῧναι ῥήσεις ἐπώ̀κισαν ῡ
 ᾱ ᾍ Ἲ ᾂ ᾡτινιοῦν Ἧ ἐπιͅκύρωσιν πρηο̈́νηται ῎τεκον ὁλκῆς͵
 Ἣ ἘΝΝΕΆΚΡΟΥΝΟΝ Ότι Ήρη ῑσχὺν ᾬμην ᾨ ᾥ ᾞσάν ᾘόνιον ᾒ ᾌδης
-Ὣς Ὗ προμολ̆σιν ζ̣α̣θέας τῇσ͵ʹ ΐ ῠ Καπιτώ̄λιον Βθθομιῐ Ύπομνήματα
+Ὣς Ὗ προμολ̆σιν ζ̣α̣θέας τῇσ͵ʹ ΐ ῠ Καπιτώ̄λιον Βθθομιῐ Ύπομνήματα
 Ίουστινιανὸς Έλληνι ( ) * , - . 0 1 2 3 4 5 6 7 8 9 < >
-[ ] « » ¹ ² ³ ⁴ ⁵ ⁶ ⁷ ⁸ ⁹ ⁰ Ͱ ͱ Ͳ ͳ Ͷ ͷ ͻ ͼ ͽ ; · Ϊ Ϋ Ϗ
+[ ] « » ¹ ² ³ ⁴ ⁵ ⁶ ⁷ ⁸ ⁹ ⁰ Ͱ ͱ Ͳ ͳ Ͷ ͷ ͻ ͼ ͽ ; · Ϊ Ϋ Ϗ
 ϐ ϑ ϒ ϔ ϕ ϖ ϗ Ϙ ϙ Ϛ ϛ Ϝ Ϟ ϟ Ϡ ϡ ϰ ϱ ϲ ϳ ϴ ϵ ϶ Ϲ Ϻ ϻ ϼ Ͻ
 Ͼ Ͽ Ἇ Ἒ Ἳ Ἷ Ὂ Ὓ ᾃ ᾈ ᾉ ᾊ ᾋ ᾎ ᾏ ᾓ ᾙ ᾚ ᾛ ᾜ ᾝ ᾟ ᾢ ᾣ ᾩ ᾪ ᾫ ᾭ
-ᾮ ᾯ ᾰ Ᾰ Ᾱ Ὰ Ά ᾼ Ὲ Έ Ὴ Ή ῌ Ῐ Ῑ Ὶ Ί ΰ Ῠ Ῡ Ὺ Ύ Ὸ Ό Ὼ Ώ ῼ “
+ᾮ ᾯ ᾰ Ᾰ Ᾱ Ὰ Ά ᾼ Ὲ Έ Ὴ Ή ῌ Ῐ Ῑ Ὶ Ί ΰ Ῠ Ῡ Ὺ Ύ Ὸ Ό Ὼ Ώ ῼ “
 ” ‹ › νίκη παῖδα Ἀτθὶς ἔνδειαν ἐκκωφωθὲν ἑκατὸν πληρῶσαι
 ἀποθανεῖν βροντὴν ὁπλιτικὸν ὑμέτερον ἐξέπεσεν ἐποίησε νοῦσος
 μετῆλθε πάθος ὁλκάδων λεγόμενα πρῶθ᾿ λόγους θηλυκὰ Συρακούσας
@@ -47,22 +47,22 @@
 Χαλκηδονίοις ὀνομάζειν ἉΛΑΙΕΥΣ ἥρμοσται ξυνέγραψε Λίβων
 ῥιζῶν Λακεδαιμονίουσ̓ ᾿Βαγώου ῥηθεῖσι κυνηγίᾳ Πόλυβος Γέσκωνα
 Κλωθὼ ἈΖΗΝΙΕΥΣ ὂν Ἕτερος Σεμίδαλις ἠθέλησα ἆξον Ὅπου Ἰνδῴοισι
-Φασηλίταις ὤνιον Ἰουγούρθα ἘΠΙΔΙΕΤΕΣ Μορρεύς Ἡσαΐου αἱμοῤῬοιέων
+Φασηλίταις ὤνιον Ἰουγούρθα ἘΠΙΔΙΕΤΕΣ Μορρεύς Ἡσαΐου αἱμοῤῬοιέων
 σκιρτᾷ ἐξᾴττουσα Ἄνυτε Ὁμοίοις Ὀδυσῆι ΕΖΗΘΝ ΔΙΑΛΕΞΙΣ Τιμοκλείας
 ᾤκουν Ἠγασάμην Ἐλάιον Ἔχιδναν Ὑστερικ ᾿ΠΟΛΥΚΡΑΤΗΝ Ἴτωνά
 Νίκη Ἥρῃ ᾔνεσεν κερχνῂς Ἅιδαν Ἱπποδάμεια Ὄρνους ὀϊστός Οἰδιπόδῃ
 ἐλαΐνοις ὠφελήσεἰ λῄσασθαι Ὡλιεὺς ᾄσαι Ἆλις ᾠζυρέ Ἁλιμουσίους
 Ἦσαν Ὠρείτης πραΰνουσιν βοᾆ Ἶσι Ἀλαλκομενηῒς ᾦ ᾑρηκέναι
 Ὦρόν Ἤπειρὸν λοϝερ οἱονεἲ Ὧδέ Ὕψοις ᾅδουσα ὒν χέσᾐ Ἵν̓ πρηῢν
-ᾇ ᾀσθὲν Πολϋΐδῳ ΠΥΡΡΑ Ῥηϊσταὶ ᾕμακτο ΠΛΑΓΓΟΝΙΟΝ ὀρφανιζομένῲ
-μἒν πἇσιν Ὥριμος Ψαμμήτιχος φιλίαις ΚΙΒΩΡΙΑ πεπλεγμένη ᾁδομεν
-ᾲ κληῗδα Ἂ ἀκούων φιάλην Ὤφθη Ὢ ΜΑΡΣΥΑΣ Ὃν Ἢν ψόγον Ἓξ δηλώσας
-Ἃιδου ὁ͂ ̓́Ιδαν ῧ μιμήσεις ἡμ̀ῖν ῡ βᾱ ᾍδας Ἲς ᾂ ᾡτινιοῦν
+ᾇ ᾀσθὲν Πολϋΐδῳ ΠΥΡΡΑ Ῥηϊσταὶ ᾕμακτο ΠΛΑΓΓΟΝΙΟΝ ὀρφανιζομένῲ
+μἒν πἇσιν Ὥριμος Ψαμμήτιχος φιλίαις ΚΙΒΩΡΙΑ πεπλεγμένη ᾁδομεν
+ᾲ κληῗδα Ἂ ἀκούων φιάλην Ὤφθη Ὢ ΜΑΡΣΥΑΣ Ὃν Ἢν ψόγον Ἓξ δηλώσας
+Ἃιδου ὁ͂ ̓́Ιδαν ῧ μιμήσεις ἡμ̀ῖν ῡ βᾱ ᾍδας Ἲς ᾂ ᾡτινιοῦν
 Ἧ ἂνͅ πρηο̈́νεται ῎᾿δρασαν ͵α Ἣ Άψάρου Όμηρον Ήρη ῑ ᾬμην
-ᾨ ᾥου ᾞσάν ᾘδέσθησαν ᾒ ᾌ Ὣς Ὗς Ἠλέκτ̆ου ἀ̣λ̣λ̣ω̣ς̣ ʹ ΐ ῠ
+ᾨ ᾥου ᾞσάν ᾘδέσθησαν ᾒ ᾌ Ὣς Ὗς Ἠλέκτ̆ου ἀ̣λ̣λ̣ω̣ς̣ ʹ ΐ ῠ
 Καπιτώ̄λιον ῐ Ύπομνήματα Ίουστινιανὸς Έλληνες ( ) * , -
 . 0 1 2 3 4 5 6 7 8 9 < > [ ] « » ¹ ² ³ ⁴ ⁵ ⁶ ⁷ ⁸ ⁹ ⁰ Ͱ
-ͱ Ͳ ͳ Ͷ ͷ ͻ ͼ ͽ ; · Ϊ Ϋ Ϗ ϐ ϑ ϒ ϔ ϕ ϖ ϗ Ϙ ϙ Ϛ ϛ Ϝ Ϟ ϟ Ϡ
+ͱ Ͳ ͳ Ͷ ͷ ͻ ͼ ͽ ; · Ϊ Ϋ Ϗ ϐ ϑ ϒ ϔ ϕ ϖ ϗ Ϙ ϙ Ϛ ϛ Ϝ Ϟ ϟ Ϡ
 ϡ ϰ ϱ ϲ ϳ ϴ ϵ ϶ Ϲ Ϻ ϻ ϼ Ͻ Ͼ Ͽ Ἇ Ἒ Ἳ Ἷ Ὂ Ὓ ᾃ ᾈ ᾉ ᾊ ᾋ ᾎ ᾏ
-ᾓ ᾙ ᾚ ᾛ ᾜ ᾝ ᾟ ᾢ ᾣ ᾩ ᾪ ᾫ ᾭ ᾮ ᾯ ᾰ Ᾰ Ᾱ Ὰ Ά ᾼ Ὲ Έ Ὴ Ή ῌ Ῐ Ῑ
-Ὶ Ί ΰ Ῠ Ῡ Ὺ Ύ Ὸ Ό Ὼ Ώ ῼ “ ” ‹ › 
+ᾓ ᾙ ᾚ ᾛ ᾜ ᾝ ᾟ ᾢ ᾣ ᾩ ᾪ ᾫ ᾭ ᾮ ᾯ ᾰ Ᾰ Ᾱ Ὰ Ά ᾼ Ὲ Έ Ὴ Ή ῌ Ῐ Ῑ
+Ὶ Ί ΰ Ῠ Ῡ Ὺ Ύ Ὸ Ό Ὼ Ώ ῼ “ ” ‹ ›