Remove duplicates in CSV files (#140)

entrepreneur-interet-general · Nov 16, 2021 · 6411c4f · 6411c4f
1 parent 4d985ee
commit 6411c4f
Show file tree

Hide file tree

Showing 2 changed files with 2 additions and 1 deletion.
diff --git a/opendata/tests/files/flotteurs.csv b/opendata/tests/files/flotteurs.csv
@@ -8,4 +8,5 @@ operation_id,numero_ordre,pavillon,resultat_flotteur,type_flotteur,categorie_flo
 -40995,1,Français,Assisté,Plaisance à moteur < 8m,Plaisance,387047,,,EDEL-5,1,5.40,0.00,2.33,0,,14.90,6.62,MONOCOQUE NON HABITABLE,POLYESTER / EPOXY,Voile,HORS-BORD,VOILIER,USAGE PERSONNEL
 2220070718,1,Français,Remorqué,Plaisance à voile,Plaisance,C44335,,BENETEAU,OCEANIS CLIPPER 343,1,10.38,3.48,12.65,0,30.00,50.50,21.34,MONOCOQUE HABITABLE,POLYESTER / EPOXY,Voile,LIGNE D'ARBRE,VOILIER,USAGE PERSONNEL
 2219940324,1,Français,Remorqué,Pêche,Pêche,,,,,,,,,,,,,,,,,,
+2219940324,1,Français,Remorqué,Pêche,Pêche,,,,,,,,,,,,,,,,,,
 2219940325,1,Français,Remorqué,Plaisance voile légère,Plaisance,,,,,,,,,,,,,,,,,,
diff --git a/opendata/transformers/base.py b/opendata/transformers/base.py
@@ -21,7 +21,7 @@ def read_csv(self):
             true_values=["Y"],
             false_values=["N"],
             dtype=self.CSV_DTYPE,
-        )
+        ).drop_duplicates()
 
     def to_csv(self, df, output):
         # Cast dates columns