Преглед изворни кода

Revert "feat:读取csv的时候使用GBK而不是UTF8,消除了中文乱码的问题"

This reverts commit b2d4c72aaadfe2f4c157ac742577a1c3020cd44c.
191250028 пре 3 година
родитељ
комит
53a992afe0

+ 1 - 1
java_compile/src/main/java/com/example/services/FileService.java

@@ -73,7 +73,7 @@ public class FileService {
             }
             //暂时只接受csv
             return  "csv".equals(fileType) ? csvAdapter.Csv2Parquet(file.getAbsolutePath(), filename, userId) : 0;
-        } finally {
+        }finally {
             //上传失败也必须将文件在本地删除,否则会堆积
             file.delete();
         }

+ 0 - 2
java_compile/src/main/scala/com/example/data/CsvAdapter.scala

@@ -64,10 +64,8 @@ class CsvAdapter extends SparkConnect{
     val df = sparkSession.read
       .option("header", "true")
       .option("inferSchema", "true")
-      .option("encoding","GBK")
       .csv(csvHdfsLoc)
       .persist()
-
     /*//-> 2. Preprocessing file(String to Int & nulls fill)
     val strFeatures = df.schema.filter(_.dataType.equals(StringType)).map(_.name)