campus_spider/Jenkinsfile

/**
 * OfferPie Spider 部署流水线
 *
 * Jenkins 容器挂载了宿主机 docker.sock，镜像共享。
 * 直接在 workspace 内 build + compose up。
 *
 * SCRIPT=main 时部署常驻定时任务服务；
 * SCRIPT=init_* 时用同一个镜像跑一次性存量初始化脚本，跑完容器自动删除，不影响常驻服务。
 */
pipeline {
    agent any

    parameters {
        choice(name: 'BRANCH', choices: ['master', 'dev'], description: '选择要部署的分支')
        choice(name: 'ACTION', choices: ['deploy', 'stop'], description: '操作：deploy=构建部署，stop=停止服务')
        choice(name: 'SCRIPT',
               choices: ['main', 'init_offershow', 'init_offerqingbaoju', 'init_xiaozhaoya'],
               description: '选择要运行的脚本：main=常驻定时任务服务，init_*=一次性存量初始化（跑完退出）')
        string(name: 'LIMIT', defaultValue: '',
               description: '抓取条数上限，仅对 init_offershow / init_offerqingbaoju 生效；留空用脚本默认值')
    }

    environment {
        IMAGE_NAME = 'offerpie-spider'
        IMAGE_TAG = 'latest'
        CONTAINER_NAME = 'offerpie-spider'
        // 固定 compose 项目名：默认取 workspace 目录名，并发构建时会变成 xxx@2 导致容器名冲突
        COMPOSE_PROJECT_NAME = 'offerpie-spider'
        // 一次性容器的挂载与资源限制，保持与 docker-compose.yml 一致
        LOG_VOLUME = '/opt/offerpie/spider/logs:/app/logs'
    }

    stages {
        stage('参数校验') {
            steps {
                script {
                    // LIMIT 会拼进 shell 命令，只允许纯数字，防止注入
                    def limit = params.LIMIT?.trim()
                    if (limit && !(limit ==~ /[1-9]\d*/)) {
                        error "LIMIT 必须是正整数，当前值：${params.LIMIT}"
                    }
                    if (limit && params.SCRIPT in ['main', 'init_xiaozhaoya']) {
                        echo "⚠️ ${params.SCRIPT} 不接受 LIMIT 参数，本次将忽略"
                    }
                }
            }
        }

        stage('停止服务') {
            when {
                expression { params.ACTION == 'stop' }
            }
            steps {
                sh "docker compose down || true"
            }
        }

        stage('拉取代码') {
            when {
                expression { params.ACTION == 'deploy' }
            }
            steps {
                echo "拉取 ${params.BRANCH} 分支代码"
                git branch: "${params.BRANCH}",
                    credentialsId: 'gitea-fab089c1-b55d-4b58-9fad',
                    url: 'https://git.jianshixingqiu.com/offerpai/campus_spider.git'
            }
        }

        stage('构建镜像') {
            when {
                expression { params.ACTION == 'deploy' }
            }
            steps {
                sh "docker build -t ${IMAGE_NAME}:${IMAGE_TAG} ."
            }
        }

        stage('部署常驻服务') {
            when {
                expression { params.ACTION == 'deploy' && params.SCRIPT == 'main' }
            }
            steps {
                // 停旧启新，docker-compose.yml 就在当前 workspace
                sh "docker compose down || true"
                sh "docker compose up -d"
                sleep 5
                // 精确匹配容器名，避免把 offerpie-spider-init_* 这类一次性容器也列出来
                sh "docker ps -f 'name=^${CONTAINER_NAME}\$' --format '{{.Status}}'"
            }
        }

        stage('执行初始化脚本') {
            when {
                expression { params.ACTION == 'deploy' && params.SCRIPT != 'main' }
            }
            steps {
                script {
                    def limit = params.LIMIT?.trim()
                    def runName = "${CONTAINER_NAME}-${params.SCRIPT}"
                    def cmd = "python ${params.SCRIPT}.py"
                    if (limit && params.SCRIPT != 'init_xiaozhaoya') {
                        cmd += " ${limit}"
                    }

                    echo "运行一次性脚本：${cmd}"

                    // 同名任务还在跑就直接失败，不要把正在灌数的任务强杀掉
                    def running = sh(script: "docker ps -q -f 'name=^${runName}\$'",
                                     returnStdout: true).trim()
                    if (running) {
                        error "${runName} 正在运行中，如确认要重跑请先手动执行：docker rm -f ${runName}"
                    }

                    // 清掉已退出的同名残留容器（--rm 一般会自动删，异常退出时可能留下）
                    sh "docker rm -f ${runName} || true"
                    // 故意用 docker run 而不是 docker compose run：
                    // compose run 起的容器带同一个 project 标签，别人执行 compose down 会把灌数任务一起干掉
                    // LOG_FILE_NAME 让日志单独落一个文件，不和常驻服务的 spider.log 交叉写入
                    // --rm：跑完自动删除；不带 -d，日志直接输出到本次构建，脚本退出码决定构建成败
                    // 实测全量灌数约 12 小时，超时给到 24 小时
                    timeout(time: 24, unit: 'HOURS') {
                        sh """docker run --rm --name ${runName} \
                            --network host \
                            --shm-size 2g \
                            --memory 16g \
                            --cpus 8 \
                            -e ENV=prod \
                            -e TZ=Asia/Shanghai \
                            -e OMP_NUM_THREADS=8 \
                            -e LOG_FILE_NAME=${params.SCRIPT}.log \
                            -v ${LOG_VOLUME} \
                            ${IMAGE_NAME}:${IMAGE_TAG} ${cmd}"""
                    }
                }
            }
        }

        stage('清理') {
            when {
                expression { params.ACTION == 'deploy' }
            }
            steps {
                sh "docker image prune -f || true"
            }
        }
    }

    post {
        success {
            script {
                if (params.ACTION == 'stop') {
                    echo "✅ 服务已停止"
                } else if (params.SCRIPT == 'main') {
                    echo "✅ 部署成功！容器 ${CONTAINER_NAME} 已启动"
                } else {
                    echo "✅ 初始化脚本 ${params.SCRIPT}.py 执行完成"
                }
            }
        }
        failure {
            echo '❌ 操作失败，请检查日志'
        }
    }
}