diff --git a/Dockerfile b/Dockerfile index f133e76..0c0db65 100644 --- a/Dockerfile +++ b/Dockerfile @@ -43,10 +43,8 @@ RUN playwright install --with-deps chromium \ # 参数与 app/tool/ocr.py 保持一致,确保命中同一份模型缓存 RUN python -c "from rapidocr import RapidOCR; RapidOCR(params={'Global.use_cls': False, 'Global.text_score': 0.5})" -# 拷贝应用代码、一次性初始化脚本(含 init_xiaozhaoya 依赖的 doc/ 数据)和环境配置 +# 拷贝应用代码和环境配置(init_*.py 存量初始化脚本本地跑,不进镜像) COPY app/ ./app/ -COPY doc/ ./doc/ -COPY init_offershow.py init_offerqingbaoju.py init_xiaozhaoya.py ./ COPY .env.prod ./.env.prod # 纯后台定时任务服务,无 HTTP 端口 diff --git a/Jenkinsfile b/Jenkinsfile index 052d41e..9e48267 100644 --- a/Jenkinsfile +++ b/Jenkinsfile @@ -4,8 +4,7 @@ * Jenkins 容器挂载了宿主机 docker.sock,镜像共享。 * 直接在 workspace 内 build + compose up。 * - * SCRIPT=main 时部署常驻定时任务服务; - * SCRIPT=init_* 时用同一个镜像跑一次性存量初始化脚本,跑完容器自动删除,不影响常驻服务。 + * 只负责常驻定时任务服务(app.main);存量初始化脚本 init_*.py 在本地手动跑。 */ pipeline { agent any @@ -13,11 +12,6 @@ pipeline { parameters { choice(name: 'BRANCH', choices: ['master', 'dev'], description: '选择要部署的分支') choice(name: 'ACTION', choices: ['deploy', 'stop'], description: '操作:deploy=构建部署,stop=停止服务') - choice(name: 'SCRIPT', - choices: ['main', 'init_offershow', 'init_offerqingbaoju', 'init_xiaozhaoya'], - description: '选择要运行的脚本:main=常驻定时任务服务,init_*=一次性存量初始化(跑完退出)') - string(name: 'LIMIT', defaultValue: '', - description: '抓取条数上限,仅对 init_offershow / init_offerqingbaoju 生效;留空用脚本默认值') } environment { @@ -26,26 +20,9 @@ pipeline { CONTAINER_NAME = 'offerpie-spider' // 固定 compose 项目名:默认取 workspace 目录名,并发构建时会变成 xxx@2 导致容器名冲突 COMPOSE_PROJECT_NAME = 'offerpie-spider' - // 一次性容器的挂载与资源限制,保持与 docker-compose.yml 一致 - LOG_VOLUME = '/opt/offerpie/spider/logs:/app/logs' } stages { - stage('参数校验') { - steps { - script { - // LIMIT 会拼进 shell 命令,只允许纯数字,防止注入 - def limit = params.LIMIT?.trim() - if (limit && !(limit ==~ /[1-9]\d*/)) { - error "LIMIT 必须是正整数,当前值:${params.LIMIT}" - } - if (limit && params.SCRIPT in ['main', 'init_xiaozhaoya']) { - echo "⚠️ ${params.SCRIPT} 不接受 LIMIT 参数,本次将忽略" - } - } - } - } - stage('停止服务') { when { expression { params.ACTION == 'stop' } @@ -63,7 +40,7 @@ pipeline { echo "拉取 ${params.BRANCH} 分支代码" git branch: "${params.BRANCH}", credentialsId: 'gitea-fab089c1-b55d-4b58-9fad', - url: 'https://git.jianshixingqiu.com/offerpai/campus_spider.git' + url: 'http://git.jianshixingqiu.com/offerpai/offerpie_spider.git' } } @@ -76,63 +53,16 @@ pipeline { } } - stage('部署常驻服务') { + stage('部署') { when { - expression { params.ACTION == 'deploy' && params.SCRIPT == 'main' } + expression { params.ACTION == 'deploy' } } steps { // 停旧启新,docker-compose.yml 就在当前 workspace sh "docker compose down || true" sh "docker compose up -d" sleep 5 - // 精确匹配容器名,避免把 offerpie-spider-init_* 这类一次性容器也列出来 - sh "docker ps -f 'name=^${CONTAINER_NAME}\$' --format '{{.Status}}'" - } - } - - stage('执行初始化脚本') { - when { - expression { params.ACTION == 'deploy' && params.SCRIPT != 'main' } - } - steps { - script { - def limit = params.LIMIT?.trim() - def runName = "${CONTAINER_NAME}-${params.SCRIPT}" - def cmd = "python ${params.SCRIPT}.py" - if (limit && params.SCRIPT != 'init_xiaozhaoya') { - cmd += " ${limit}" - } - - echo "运行一次性脚本:${cmd}" - - // 同名任务还在跑就直接失败,不要把正在灌数的任务强杀掉 - def running = sh(script: "docker ps -q -f 'name=^${runName}\$'", - returnStdout: true).trim() - if (running) { - error "${runName} 正在运行中,如确认要重跑请先手动执行:docker rm -f ${runName}" - } - - // 清掉已退出的同名残留容器(--rm 一般会自动删,异常退出时可能留下) - sh "docker rm -f ${runName} || true" - // 故意用 docker run 而不是 docker compose run: - // compose run 起的容器带同一个 project 标签,别人执行 compose down 会把灌数任务一起干掉 - // LOG_FILE_NAME 让日志单独落一个文件,不和常驻服务的 spider.log 交叉写入 - // --rm:跑完自动删除;不带 -d,日志直接输出到本次构建,脚本退出码决定构建成败 - // 实测全量灌数约 12 小时,超时给到 24 小时 - timeout(time: 24, unit: 'HOURS') { - sh """docker run --rm --name ${runName} \ - --network host \ - --shm-size 2g \ - --memory 16g \ - --cpus 8 \ - -e ENV=prod \ - -e TZ=Asia/Shanghai \ - -e OMP_NUM_THREADS=8 \ - -e LOG_FILE_NAME=${params.SCRIPT}.log \ - -v ${LOG_VOLUME} \ - ${IMAGE_NAME}:${IMAGE_TAG} ${cmd}""" - } - } + sh "docker ps -f name=${CONTAINER_NAME} --format '{{.Status}}'" } } @@ -149,12 +79,10 @@ pipeline { post { success { script { - if (params.ACTION == 'stop') { - echo "✅ 服务已停止" - } else if (params.SCRIPT == 'main') { + if (params.ACTION == 'deploy') { echo "✅ 部署成功!容器 ${CONTAINER_NAME} 已启动" } else { - echo "✅ 初始化脚本 ${params.SCRIPT}.py 执行完成" + echo "✅ 服务已停止" } } }