Commit d7a925bd authored by pengxin's avatar pengxin

生成文件时,先删除以前的数据。

parent 21d6d730
......@@ -57,11 +57,6 @@ public class DatasetConstant {
*/
public static final Integer UNMARK = 0;
/**
* JSON临时文件
*/
public static final String TEMP_JSON = "test.json";
/**
* 默认单次写入10000条数据
*/
......
......@@ -27,8 +27,9 @@ public interface DatasetCleanService extends IBaseService<DatasetClean, Long> {
* 第二个方法:将数据列表追加到文件
* @param filePath 文件地址
* @param dataList 数据集列表
* @param pageNum 分页参数
*/
void appendDataListToFile(String filePath, List<DatasetData> dataList);
void appendDataListToFile(String filePath, List<DatasetData> dataList, Integer pageNum);
/**
* 重新清洗任务
......
......@@ -319,17 +319,30 @@ public class DatasetCleanServiceImpl extends BaseService<DatasetClean, Long> imp
* 第二个方法:将数据列表追加到文件
* @param filePath 文件地址
* @param dataList 数据集列表
* @param pageNum 分页参数
*/
@Override
public void appendDataListToFile(String filePath, List<DatasetData> dataList) {
public void appendDataListToFile(String filePath, List<DatasetData> dataList, Integer pageNum) {
ObjectMapper objectMapper = new ObjectMapper();
//美化数据
objectMapper.enable(SerializationFeature.INDENT_OUTPUT);
try {
//为第一页的情况下
if(pageNum == 1) {
// 清空文件内容
File file = new File(filePath);
if (file.exists()) {
// 删除文件
file.delete();
}
// 创建一个新的空文件
file.createNewFile();
}
Path path = Paths.get(filePath);
ArrayNode arrayNode;
try {
// 读取现有文件内容(如果存在)
String existingJson = "";
if (Files.exists(path)) {
......@@ -372,9 +385,7 @@ public class DatasetCleanServiceImpl extends BaseService<DatasetClean, Long> imp
String newElements = formattedJsonString.substring(1, formattedJsonString.length() - 1); // 去除开闭括号
Files.write(path, (existingJson + "," + newElements + "\n").getBytes(), StandardOpenOption.CREATE, StandardOpenOption.APPEND);
}
log.info("Data appended to JSON file successfully.");
} catch (IOException e) {
log.error("Error appending to JSON file", e);
}
......
......@@ -596,7 +596,7 @@ public class DatasetVersionServiceImpl extends BaseService<DatasetVersion, Long>
//写入到数据集中
if(CollUtil.isNotEmpty(dataList)) {
datasetCleanService.appendDataListToFile(fileUrl, dataList);
datasetCleanService.appendDataListToFile(fileUrl, dataList, i);
}
}
}
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment