Commit d7a925bd authored by pengxin's avatar pengxin

生成文件时,先删除以前的数据。

parent 21d6d730
...@@ -57,11 +57,6 @@ public class DatasetConstant { ...@@ -57,11 +57,6 @@ public class DatasetConstant {
*/ */
public static final Integer UNMARK = 0; public static final Integer UNMARK = 0;
/**
* JSON临时文件
*/
public static final String TEMP_JSON = "test.json";
/** /**
* 默认单次写入10000条数据 * 默认单次写入10000条数据
*/ */
......
...@@ -27,8 +27,9 @@ public interface DatasetCleanService extends IBaseService<DatasetClean, Long> { ...@@ -27,8 +27,9 @@ public interface DatasetCleanService extends IBaseService<DatasetClean, Long> {
* 第二个方法:将数据列表追加到文件 * 第二个方法:将数据列表追加到文件
* @param filePath 文件地址 * @param filePath 文件地址
* @param dataList 数据集列表 * @param dataList 数据集列表
* @param pageNum 分页参数
*/ */
void appendDataListToFile(String filePath, List<DatasetData> dataList); void appendDataListToFile(String filePath, List<DatasetData> dataList, Integer pageNum);
/** /**
* 重新清洗任务 * 重新清洗任务
......
...@@ -319,17 +319,30 @@ public class DatasetCleanServiceImpl extends BaseService<DatasetClean, Long> imp ...@@ -319,17 +319,30 @@ public class DatasetCleanServiceImpl extends BaseService<DatasetClean, Long> imp
* 第二个方法:将数据列表追加到文件 * 第二个方法:将数据列表追加到文件
* @param filePath 文件地址 * @param filePath 文件地址
* @param dataList 数据集列表 * @param dataList 数据集列表
* @param pageNum 分页参数
*/ */
@Override @Override
public void appendDataListToFile(String filePath, List<DatasetData> dataList) { public void appendDataListToFile(String filePath, List<DatasetData> dataList, Integer pageNum) {
ObjectMapper objectMapper = new ObjectMapper(); ObjectMapper objectMapper = new ObjectMapper();
//美化数据
objectMapper.enable(SerializationFeature.INDENT_OUTPUT); objectMapper.enable(SerializationFeature.INDENT_OUTPUT);
Path path = Paths.get(filePath);
ArrayNode arrayNode;
try { try {
//为第一页的情况下
if(pageNum == 1) {
// 清空文件内容
File file = new File(filePath);
if (file.exists()) {
// 删除文件
file.delete();
}
// 创建一个新的空文件
file.createNewFile();
}
Path path = Paths.get(filePath);
ArrayNode arrayNode;
// 读取现有文件内容(如果存在) // 读取现有文件内容(如果存在)
String existingJson = ""; String existingJson = "";
if (Files.exists(path)) { if (Files.exists(path)) {
...@@ -372,9 +385,7 @@ public class DatasetCleanServiceImpl extends BaseService<DatasetClean, Long> imp ...@@ -372,9 +385,7 @@ public class DatasetCleanServiceImpl extends BaseService<DatasetClean, Long> imp
String newElements = formattedJsonString.substring(1, formattedJsonString.length() - 1); // 去除开闭括号 String newElements = formattedJsonString.substring(1, formattedJsonString.length() - 1); // 去除开闭括号
Files.write(path, (existingJson + "," + newElements + "\n").getBytes(), StandardOpenOption.CREATE, StandardOpenOption.APPEND); Files.write(path, (existingJson + "," + newElements + "\n").getBytes(), StandardOpenOption.CREATE, StandardOpenOption.APPEND);
} }
log.info("Data appended to JSON file successfully."); log.info("Data appended to JSON file successfully.");
} catch (IOException e) { } catch (IOException e) {
log.error("Error appending to JSON file", e); log.error("Error appending to JSON file", e);
} }
......
...@@ -596,7 +596,7 @@ public class DatasetVersionServiceImpl extends BaseService<DatasetVersion, Long> ...@@ -596,7 +596,7 @@ public class DatasetVersionServiceImpl extends BaseService<DatasetVersion, Long>
//写入到数据集中 //写入到数据集中
if(CollUtil.isNotEmpty(dataList)) { if(CollUtil.isNotEmpty(dataList)) {
datasetCleanService.appendDataListToFile(fileUrl, dataList); datasetCleanService.appendDataListToFile(fileUrl, dataList, i);
} }
} }
} }
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment