package com.yice.webadmin.app.service.impl;

import cn.hutool.core.collection.CollUtil;
import com.baomidou.mybatisplus.core.conditions.update.UpdateWrapper;
import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.core.type.TypeReference;
import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.github.pagehelper.Page;
import com.yice.common.core.base.dao.BaseDaoMapper;
import com.yice.common.core.base.service.BaseService;
import com.yice.common.core.object.MyRelationParam;
import com.yice.common.core.object.TokenData;
import com.yice.common.core.upload.BaseUpDownloader;
import com.yice.common.core.upload.UpDownloaderFactory;
import com.yice.common.core.upload.UploadResponseInfo;
import com.yice.common.core.upload.UploadStoreTypeEnum;
import com.yice.common.core.util.MyModelUtil;
import com.yice.common.minio.config.MinioProperties;
import com.yice.common.sequence.wrapper.IdGeneratorWrapper;
import com.yice.webadmin.app.constant.DatasetConstant;
import com.yice.webadmin.app.dao.DatasetOutputMapper;
import com.yice.webadmin.app.data.DatasetData;
import com.yice.webadmin.app.model.DatasetOutput;
import com.yice.webadmin.app.service.DatasetDataService;
import com.yice.webadmin.app.service.DatasetOutputService;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.xssf.usermodel.XSSFSheet;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;

import java.io.*;
import java.nio.charset.StandardCharsets;
import java.text.DecimalFormat;
import java.util.*;

/**
 * 数据集详情数据操作服务类。
 *
 * @author linking
 * @date 2023-04-13
 */
@Slf4j
@Service("datasetOutputService")
public class DatasetOutputServiceImpl extends BaseService<DatasetOutput, Long> implements DatasetOutputService {

    @Autowired
    private DatasetOutputMapper datasetOutputMapper;
    @Autowired
    private IdGeneratorWrapper idGenerator;
    @Autowired
    private UpDownloaderFactory upDownloaderFactory;
    @Autowired
    private MinioProperties minioProperties;
    @Autowired
    private DatasetDataService datasetDataService;

    /**
     * 返回当前Service的主表Mapper对象。
     *
     * @return 主表Mapper对象。
     */
    @Override
    protected BaseDaoMapper<DatasetOutput> mapper() {
        return datasetOutputMapper;
    }

    /**
     * 保存新增对象。
     *
     * @param datasetOutput 新增对象。
     * @return 返回新增对象。
     */
    @Transactional(rollbackFor = Exception.class)
    @Override
    public DatasetOutput saveNew(DatasetOutput datasetOutput) {
        datasetOutputMapper.insert(this.buildDefaultValue(datasetOutput));
        return datasetOutput;
    }

    /**
     * 利用数据库的insertList语法，批量插入对象列表。
     *
     * @param datasetOutputList 新增对象列表。
     */
    @Transactional(rollbackFor = Exception.class)
    @Override
    public void saveNewBatch(List<DatasetOutput> datasetOutputList) {
        if (CollUtil.isNotEmpty(datasetOutputList)) {
            datasetOutputList.forEach(this::buildDefaultValue);
            datasetOutputMapper.insertList(datasetOutputList);
        }
    }

    /**
     * 记录地址并保存到minio中。
     * @param fileType 文件类型。
     * @param fileUrl 文件地址。
     * @param versionId 版本标识。
     * @return 返回新增对象。
     */
    @Transactional(rollbackFor = Exception.class)
    @Override
    public DatasetOutput saveNew(String fileType, String fileUrl, Long versionId) {
        DatasetOutput datasetOutput = new DatasetOutput();
        String uploadUrl = doUpload(versionId, fileType.toLowerCase(), datasetOutput);
        if(StringUtils.isEmpty(uploadUrl)) return null;

        datasetOutput.setOutputId(idGenerator.nextLongId());
        datasetOutput.setCreateUserId(TokenData.takeFromRequest().getUserId());
        datasetOutput.setVersionId(versionId);
        datasetOutput.setOutputStartTime(new Date());
        datasetOutput.setStatus(DatasetConstant.STATUS_UNFINISHED);
        datasetOutput.setDownloadUrl(uploadUrl);
        datasetOutput.setMarkFormatType(fileType.toUpperCase());
        datasetOutput.setOutputPostion(DatasetConstant.OUTPUT_POSTION);
        datasetOutput.setOutputContent(DatasetConstant.OUTPUT_CONTENT);
        datasetOutputMapper.insert(datasetOutput);
        return datasetOutput;
    }

    /**
     * 根据类型，生成对应的文件类型名称
     * 构建不同的文件类型，分别写入到minio文件服务器中
     * @param versionId 版本标识
     * @param fileType 文件类型
     */
    private String doUpload(Long versionId, String fileType, DatasetOutput datasetOutput) {
        String fileName = null;
        try {
            List<DatasetData> dataList = datasetDataService.list(versionId);
            datasetOutput.setDataCount(Long.valueOf(dataList.size()));
            if(CollUtil.isNotEmpty(dataList)) {
                fileName = exportFileByFileType(DatasetConstant.DOT + fileType, dataList, datasetOutput);
            }
        }catch (IOException ex){
            log.error("上传文件错误信息为:", ex);
        }
        return fileName;
    }

    /**
     * 返回生成的minio文件地址
     * @param fileType 文件类型
     * @param dataList 数据集集合列表
     */
    private String exportFileByFileType(String fileType, List<DatasetData> dataList,
                                        DatasetOutput datasetOutput) throws IOException{
        String fileName = null;
        switch (fileType) {
            case DatasetConstant.JSONL_TYPE:
                fileName = exportJsonlFileType(fileType, dataList, datasetOutput);
                break;
            case DatasetConstant.TXT_TYPE:
                fileName = exportTxtFileType(fileType, dataList, datasetOutput);
                break;
            case DatasetConstant.XLS_TYPE:
            case DatasetConstant.XLSX_TYPE:
                fileName = exportXlsxFileType(fileType, dataList, datasetOutput);
                break;
            case DatasetConstant.CSV_TYPE:
                fileName = exportCsvFileType(fileType, dataList, datasetOutput);
        }
        return fileName;
    }

    /**
     * 导出jsonl文件格式的数据
     * @param fileType 文件类型
     * @param inputStream 流对象
     * @return 返回minio文件地址
     * @throws IOException 异常
     */
    private String saveMinioInputStream(String fileType, InputStream inputStream){
        String fileName = null;
        UploadStoreTypeEnum uploadStoreType = UploadStoreTypeEnum.values()[DatasetConstant.UPLOAD];
        BaseUpDownloader upDownloader = upDownloaderFactory.get(uploadStoreType);
        UploadResponseInfo responseInfo = upDownloader.doUpload(inputStream,
                DatasetConstant.TEMP_FILE_NAME + fileType);
        if (!Boolean.TRUE.equals(responseInfo.getUploadFailed())) {
            fileName = buildDownloadUrl(responseInfo.getFilename());
        }
        return fileName;
    }

    /**
     * 导出Txt文件格式的数据
     * @param fileType 文件类型
     * @param dataList 资源对象
     * @param datasetOutput 输出对象
     * @return 返回minio文件地址
     * @throws IOException 异常
     */
    private String exportTxtFileType(String fileType, List<DatasetData> dataList,
                                     DatasetOutput datasetOutput){
        String fileName = null;
        InputStream inputStream = null;
        try (ByteArrayOutputStream baos = new ByteArrayOutputStream()) {
            // 添加数据
            ObjectMapper objectMapper = new ObjectMapper();
            StringBuilder txtData = new StringBuilder();
            for (DatasetData datasetData : dataList) {
                JsonNode rootNode = objectMapper.readTree(datasetData.getData());
                String output = rootNode.get(DatasetConstant.OUTPUT).textValue();
                String instruction = rootNode.get(DatasetConstant.INSTRUCTION).textValue();

                // 替换"\n "为"\n"
                output = output.replaceAll("\n", " ");
                instruction = instruction.replaceAll("\n", " ");
                txtData.append(instruction).append("[[").append(output).append("]],\n");
            }
            String text = txtData.substring(0, txtData.lastIndexOf(",") );
            baos.write(text.getBytes(StandardCharsets.UTF_8));
            inputStream = dealWithFileInputStream(baos, datasetOutput);
            fileName = saveMinioInputStream(fileType, inputStream);
        }catch (IOException e) {
            log.error("生成txt文件格式错误，请重新导出或者联系管理员:", e);
        }finally {
            try{
                if(null != inputStream) {
                    inputStream.close();
                }
            }catch (IOException ex){
                log.error("写入txt文件时关闭流异常，请重新操作", ex);
            }
        }
        return fileName;
    }

    /**
     * 导出Jsonl文件格式的数据
     * @param fileType 文件类型
     * @param dataList 资源对象
     * @param datasetOutput 输出对象
     * @return 返回minio文件地址
     * @throws IOException 异常
     */
    private String exportJsonlFileType(String fileType, List<DatasetData> dataList, DatasetOutput datasetOutput) {
        String fileName = null;
        InputStream inputStream = null;
        try (ByteArrayOutputStream baos = new ByteArrayOutputStream()) {
            // 定义开始符号
            baos.write("[".getBytes(StandardCharsets.UTF_8));

            // 遍历数据列表，为每个DatasetData对象生成JSONL字符串并写入ByteArrayOutputStream
            for (int i = 0; i < dataList.size(); i++) {
                DatasetData datasetData = dataList.get(i);

                // 解析JSON字符串为Map对象
                ObjectMapper objectMapper = new ObjectMapper();
                Map<String, Object> dataMap = objectMapper.readValue(datasetData.getData(),
                        new TypeReference<Map<String, Object>>() {});

                // 提取"output"和"instruction"字段的值
                String output = (String) dataMap.get(DatasetConstant.OUTPUT);
                String instruction = (String) dataMap.get(DatasetConstant.INSTRUCTION);

                // 创建一个新的HashMap，只包含"output"和"instruction"字段
                Map<String, String> map = new HashMap<>();
                map.put(DatasetConstant.INSTRUCTION, instruction);
                map.put(DatasetConstant.OUTPUT, output);

                // 使用pretty printer来格式化JSON字符串
                String prettyJsonStr = objectMapper.writerWithDefaultPrettyPrinter().writeValueAsString(map);

                // 写入JSONL格式的字符串（每行一个JSON对象）
                baos.write(prettyJsonStr.getBytes(StandardCharsets.UTF_8));

                // 如果不是最后一组数据，则添加换行符
                if (i < dataList.size() - 1) {
                    baos.write(",\n".getBytes(StandardCharsets.UTF_8));
                }
            }
            baos.write("]".getBytes(StandardCharsets.UTF_8));

            // 无需定义结束符号，因为JSONL文件本身是一系列的JSON对象，每个对象占一行
            inputStream = dealWithFileInputStream(baos, datasetOutput);
            fileName = saveMinioInputStream(fileType, inputStream);
        } catch (IOException e) {
            log.error("生成Jsonl文件格式错误，请重新导出或者联系管理员:", e);
        } finally {
            try {
                if (null != inputStream) {
                    inputStream.close();
                }
            } catch (IOException ex) {
                log.error("关闭Jsonl流文件异常，请重新操作", ex);
            }
        }
        return fileName;
    }

    /**
     * 处理文件流文件数据
     * @param baos 输出流
     * @param datasetOutput 导出对象
     * @return 返回输入流
     * @throws IOException 异常
     */
    private InputStream dealWithFileInputStream(ByteArrayOutputStream baos,
                                                DatasetOutput datasetOutput) {
        InputStream inputStream = new ByteArrayInputStream(baos.toByteArray());
        double sizeInMb = (double) baos.toByteArray().length / 1024;
        DecimalFormat df = new DecimalFormat("#.##");
        datasetOutput.setFileSize(df.format(sizeInMb) + DatasetConstant.KB);
        return inputStream;
    }

    /**
     * 导出Xlsx文件格式的数据
     * @param fileType 文件类型
     * @param dataList 资源对象
     * @param datasetOutput 输出对象
     * @return 返回minio文件地址
     * @throws IOException 异常
     */
    private String exportXlsxFileType(String fileType, List<DatasetData> dataList,
                                      DatasetOutput datasetOutput) throws IOException {
        // 创建一个新的XLSX工作簿
        XSSFWorkbook workbook = new XSSFWorkbook();
        // 创建一个工作表
        XSSFSheet sheet = workbook.createSheet(DatasetConstant.SHEET);
        // 构建表头数据
        Row row = sheet.createRow(0);
        Cell cell = row.createCell(0);
        cell.setCellValue(DatasetConstant.INSTRUCTION);
        cell = row.createCell(1);
        cell.setCellValue(DatasetConstant.OUTPUT);

        // 添加数据
        ObjectMapper objectMapper = new ObjectMapper();
        for (int i = 0; i < dataList.size(); i++) {
            row = sheet.createRow(i + 1);
            cell = row.createCell(0);
            JsonNode rootNode = objectMapper.readTree(dataList.get(i).getData());
            cell.setCellValue(rootNode.get(DatasetConstant.INSTRUCTION).textValue());
            cell = row.createCell(1);
            cell.setCellValue(rootNode.get(DatasetConstant.OUTPUT).textValue());

            //根据内容自动填充列大小
//            sheet.autoSizeColumn(0);
//            sheet.autoSizeColumn(1);
        }
        String fileName = null;
        InputStream inputStream = null;
        try (ByteArrayOutputStream baos = new ByteArrayOutputStream()) {
            workbook.write(baos);
            inputStream = dealWithFileInputStream(baos, datasetOutput);
            fileName = saveMinioInputStream(fileType, inputStream);
        } catch (IOException e) {
            log.error("生成Xlsx文件格式错误，请重新导出或者联系管理员:", e);
        } finally {
            try{
                // 关闭工作簿
                if (workbook != null) {
                    workbook.close();
                }
                if(null != inputStream) {
                    inputStream.close();
                }
            }catch (IOException ex){
                log.error("关闭流异常，请重新操作", ex);
            }
        }
        return fileName;
    }

    /**
     * 导出Csv文件格式的数据
     * @param fileType 文件类型
     * @param dataList 数据集集合
     * @param datasetOutput 输出对象
     * @return 返回minio文件地址
     * @throws IOException 异常
     */
    private String exportCsvFileType(String fileType, List<DatasetData> dataList, DatasetOutput datasetOutput) {
        String fileName = null;
        InputStream inputStream = null;
        try (ByteArrayOutputStream baos = new ByteArrayOutputStream()) {
            PrintWriter pw = new PrintWriter(baos);
            // 构建表头数据
            pw.append(DatasetConstant.INSTRUCTION).append(",").append(DatasetConstant.OUTPUT).append("\n");

            ObjectMapper objectMapper = new ObjectMapper();
            for (DatasetData datasetData : dataList) {
                JsonNode rootNode = objectMapper.readTree(datasetData.getData());
                String instruction = rootNode.get(DatasetConstant.INSTRUCTION).textValue();
                String output = rootNode.get(DatasetConstant.OUTPUT).textValue();

                // 对包含换行符的字符串进行处理
                instruction = instruction.replaceAll("\n", " ");
                output = output.replaceAll("\n", " ");

                // 将包含逗号的字符串用双引号包围，并转义其中的双引号
                instruction = "\"" + instruction.replaceAll("\"", "\"\"") + "\"";
                output = "\"" + output.replaceAll("\"", "\"\"") + "\"";

                pw.println(instruction + "," + output);
            }
            pw.flush();
            // 转换为InputStream
            inputStream = dealWithFileInputStream(baos, datasetOutput);
            // 假设saveMinioInputStream方法能够正确保存文件并返回文件名
            fileName = saveMinioInputStream(fileType, inputStream);
        } catch (IOException ex) {
            log.error("生成CSV文件格式错误，请重新导出或者联系管理员: ", ex);
        } finally {
            try {
                if (null != inputStream) {
                    inputStream.close();
                }
            } catch (IOException ex) {
                log.error("关闭CSV文件流异常，请重新操作", ex);
            }
        }
        return fileName;
    }

    /**
     * 获取最大数据
     * @param dataList 数据列表
     * @return 最大长度
     * @throws JsonProcessingException 异常
     */
    private int getMaxWidth(List<DatasetData> dataList) throws JsonProcessingException {
        int maxWidth = 0;
        ObjectMapper objectMapper = new ObjectMapper();
        for (DatasetData datasetData : dataList) {
            JsonNode rootNode = objectMapper.readTree(datasetData.getData());
            String instruction = rootNode.get(DatasetConstant.INSTRUCTION).textValue();
            String output = rootNode.get(DatasetConstant.OUTPUT).textValue();

            // 对包含换行符的字符串进行处理
            instruction = instruction.replace("\n", "");
            output = output.replace("\n", "");

            maxWidth = Math.max(maxWidth, instruction.length());
            maxWidth = Math.max(maxWidth, output.length());
        }
        return maxWidth;
    }

    /**
     * 构建文件下载链接
     * @param fileUrl 文件地址
     * @return 构建的URL地址
     */
    private String buildDownloadUrl(String fileUrl) {
        StringBuilder sb = new StringBuilder();
        sb.append(minioProperties.getEndpoint()).
                append("/").append(minioProperties.getBucketName()).
                append("/").append(fileUrl);
        return sb.toString();
    }

    /**
     * 更新数据对象。
     *
     * @param datasetOutput         更新的对象。
     * @param originalDatasetOutput 原有数据对象。
     * @return 成功返回true，否则false。
     */
    @Transactional(rollbackFor = Exception.class)
    @Override
    public boolean update(DatasetOutput datasetOutput, DatasetOutput originalDatasetOutput) {
        MyModelUtil.fillCommonsForUpdate(datasetOutput, originalDatasetOutput);
        // 这里重点提示，在执行主表数据更新之前，如果有哪些字段不支持修改操作，请用原有数据对象字段替换当前数据字段。
        UpdateWrapper<DatasetOutput> uw = this.createUpdateQueryForNullValue(datasetOutput, datasetOutput.getOutputId());
        return datasetOutputMapper.update(datasetOutput, uw) == 1;
    }

    /**
     * 删除指定数据。
     *
     * @param outputId 主键Id。
     * @return 成功返回true，否则false。
     */
    @Transactional(rollbackFor = Exception.class)
    @Override
    public boolean remove(Long outputId) {
        return datasetOutputMapper.deleteById(outputId) == 1;
    }

    /**
     * 获取单表查询结果。由于没有关联数据查询，因此在仅仅获取单表数据的场景下，效率更高。
     * 如果需要同时获取关联数据，请移步(getDatasetOutputListWithRelation)方法。
     *
     * @param filter  过滤对象。
     * @param orderBy 排序参数。
     * @return 查询结果集。
     */
    @Override
    public List<DatasetOutput> getDatasetOutputList(DatasetOutput filter, String orderBy) {
        return datasetOutputMapper.getDatasetOutputList(filter, orderBy);
    }

    /**
     * 获取主表的查询结果，以及主表关联的字典数据和一对一从表数据，以及一对一从表的字典数据。
     * 该查询会涉及到一对一从表的关联过滤，或一对多从表的嵌套关联过滤，因此性能不如单表过滤。
     * 如果仅仅需要获取主表数据，请移步(getDatasetOutputList)，以便获取更好的查询性能。
     *
     * @param filter  主表过滤对象。
     * @param orderBy 排序参数。
     * @return 查询结果集。
     */
    @Override
    public List<DatasetOutput> getDatasetOutputListWithRelation(DatasetOutput filter, String orderBy) {
        List<DatasetOutput> resultList = datasetOutputMapper.getDatasetOutputList(filter, orderBy);
        // 在缺省生成的代码中，如果查询结果resultList不是Page对象，说明没有分页，那么就很可能是数据导出接口调用了当前方法。
        // 为了避免一次性的大量数据关联，规避因此而造成的系统运行性能冲击，这里手动进行了分批次读取，开发者可按需修改该值。
        int batchSize = resultList instanceof Page ? 0 : 1000;
        this.buildRelationForDataList(resultList, MyRelationParam.normal(), batchSize);
        return resultList;
    }

    private DatasetOutput buildDefaultValue(DatasetOutput datasetOutput) {
        if (datasetOutput.getOutputId() == null) {
            datasetOutput.setOutputId(idGenerator.nextLongId());
        }
        MyModelUtil.fillCommonsForInsert(datasetOutput);
        return datasetOutput;
    }
}
