移除初始化脚本

This commit is contained in:
zk
2026-07-30 15:44:15 +08:00
parent 6079e758e9
commit d99a7557a5
2 changed files with 8 additions and 82 deletions
Vendored
+7 -79
View File
@@ -4,8 +4,7 @@
* Jenkins 容器挂载了宿主机 docker.sock,镜像共享。
* 直接在 workspace 内 build + compose up。
*
* SCRIPT=main 时部署常驻定时任务服务;
* SCRIPT=init_* 时用同一个镜像跑一次性存量初始化脚本,跑完容器自动删除,不影响常驻服务。
* 只负责常驻定时任务服务(app.main);存量初始化脚本 init_*.py 在本地手动跑。
*/
pipeline {
agent any
@@ -13,11 +12,6 @@ pipeline {
parameters {
choice(name: 'BRANCH', choices: ['master', 'dev'], description: '选择要部署的分支')
choice(name: 'ACTION', choices: ['deploy', 'stop'], description: '操作:deploy=构建部署,stop=停止服务')
choice(name: 'SCRIPT',
choices: ['main', 'init_offershow', 'init_offerqingbaoju', 'init_xiaozhaoya'],
description: '选择要运行的脚本:main=常驻定时任务服务,init_*=一次性存量初始化(跑完退出)')
string(name: 'LIMIT', defaultValue: '',
description: '抓取条数上限,仅对 init_offershow / init_offerqingbaoju 生效;留空用脚本默认值')
}
environment {
@@ -26,26 +20,9 @@ pipeline {
CONTAINER_NAME = 'offerpie-spider'
// 固定 compose 项目名:默认取 workspace 目录名,并发构建时会变成 xxx@2 导致容器名冲突
COMPOSE_PROJECT_NAME = 'offerpie-spider'
// 一次性容器的挂载与资源限制,保持与 docker-compose.yml 一致
LOG_VOLUME = '/opt/offerpie/spider/logs:/app/logs'
}
stages {
stage('参数校验') {
steps {
script {
// LIMIT 会拼进 shell 命令,只允许纯数字,防止注入
def limit = params.LIMIT?.trim()
if (limit && !(limit ==~ /[1-9]\d*/)) {
error "LIMIT 必须是正整数,当前值:${params.LIMIT}"
}
if (limit && params.SCRIPT in ['main', 'init_xiaozhaoya']) {
echo "⚠️ ${params.SCRIPT} 不接受 LIMIT 参数,本次将忽略"
}
}
}
}
stage('停止服务') {
when {
expression { params.ACTION == 'stop' }
@@ -63,7 +40,7 @@ pipeline {
echo "拉取 ${params.BRANCH} 分支代码"
git branch: "${params.BRANCH}",
credentialsId: 'gitea-fab089c1-b55d-4b58-9fad',
url: 'https://git.jianshixingqiu.com/offerpai/campus_spider.git'
url: 'http://git.jianshixingqiu.com/offerpai/offerpie_spider.git'
}
}
@@ -76,63 +53,16 @@ pipeline {
}
}
stage('部署常驻服务') {
stage('部署') {
when {
expression { params.ACTION == 'deploy' && params.SCRIPT == 'main' }
expression { params.ACTION == 'deploy' }
}
steps {
// 停旧启新,docker-compose.yml 就在当前 workspace
sh "docker compose down || true"
sh "docker compose up -d"
sleep 5
// 精确匹配容器名,避免把 offerpie-spider-init_* 这类一次性容器也列出来
sh "docker ps -f 'name=^${CONTAINER_NAME}\$' --format '{{.Status}}'"
}
}
stage('执行初始化脚本') {
when {
expression { params.ACTION == 'deploy' && params.SCRIPT != 'main' }
}
steps {
script {
def limit = params.LIMIT?.trim()
def runName = "${CONTAINER_NAME}-${params.SCRIPT}"
def cmd = "python ${params.SCRIPT}.py"
if (limit && params.SCRIPT != 'init_xiaozhaoya') {
cmd += " ${limit}"
}
echo "运行一次性脚本:${cmd}"
// 同名任务还在跑就直接失败,不要把正在灌数的任务强杀掉
def running = sh(script: "docker ps -q -f 'name=^${runName}\$'",
returnStdout: true).trim()
if (running) {
error "${runName} 正在运行中,如确认要重跑请先手动执行:docker rm -f ${runName}"
}
// 清掉已退出的同名残留容器(--rm 一般会自动删,异常退出时可能留下)
sh "docker rm -f ${runName} || true"
// 故意用 docker run 而不是 docker compose run
// compose run 起的容器带同一个 project 标签,别人执行 compose down 会把灌数任务一起干掉
// LOG_FILE_NAME 让日志单独落一个文件,不和常驻服务的 spider.log 交叉写入
// --rm:跑完自动删除;不带 -d,日志直接输出到本次构建,脚本退出码决定构建成败
// 实测全量灌数约 12 小时,超时给到 24 小时
timeout(time: 24, unit: 'HOURS') {
sh """docker run --rm --name ${runName} \
--network host \
--shm-size 2g \
--memory 16g \
--cpus 8 \
-e ENV=prod \
-e TZ=Asia/Shanghai \
-e OMP_NUM_THREADS=8 \
-e LOG_FILE_NAME=${params.SCRIPT}.log \
-v ${LOG_VOLUME} \
${IMAGE_NAME}:${IMAGE_TAG} ${cmd}"""
}
}
sh "docker ps -f name=${CONTAINER_NAME} --format '{{.Status}}'"
}
}
@@ -149,12 +79,10 @@ pipeline {
post {
success {
script {
if (params.ACTION == 'stop') {
echo "✅ 服务已停止"
} else if (params.SCRIPT == 'main') {
if (params.ACTION == 'deploy') {
echo "✅ 部署成功!容器 ${CONTAINER_NAME} 已启动"
} else {
echo "✅ 初始化脚本 ${params.SCRIPT}.py 执行完成"
echo "✅ 服务已停止"
}
}
}