移除初始化脚本
This commit is contained in:
+1
-3
@@ -43,10 +43,8 @@ RUN playwright install --with-deps chromium \
|
|||||||
# 参数与 app/tool/ocr.py 保持一致,确保命中同一份模型缓存
|
# 参数与 app/tool/ocr.py 保持一致,确保命中同一份模型缓存
|
||||||
RUN python -c "from rapidocr import RapidOCR; RapidOCR(params={'Global.use_cls': False, 'Global.text_score': 0.5})"
|
RUN python -c "from rapidocr import RapidOCR; RapidOCR(params={'Global.use_cls': False, 'Global.text_score': 0.5})"
|
||||||
|
|
||||||
# 拷贝应用代码、一次性初始化脚本(含 init_xiaozhaoya 依赖的 doc/ 数据)和环境配置
|
# 拷贝应用代码和环境配置(init_*.py 存量初始化脚本本地跑,不进镜像)
|
||||||
COPY app/ ./app/
|
COPY app/ ./app/
|
||||||
COPY doc/ ./doc/
|
|
||||||
COPY init_offershow.py init_offerqingbaoju.py init_xiaozhaoya.py ./
|
|
||||||
COPY .env.prod ./.env.prod
|
COPY .env.prod ./.env.prod
|
||||||
|
|
||||||
# 纯后台定时任务服务,无 HTTP 端口
|
# 纯后台定时任务服务,无 HTTP 端口
|
||||||
|
|||||||
Vendored
+7
-79
@@ -4,8 +4,7 @@
|
|||||||
* Jenkins 容器挂载了宿主机 docker.sock,镜像共享。
|
* Jenkins 容器挂载了宿主机 docker.sock,镜像共享。
|
||||||
* 直接在 workspace 内 build + compose up。
|
* 直接在 workspace 内 build + compose up。
|
||||||
*
|
*
|
||||||
* SCRIPT=main 时部署常驻定时任务服务;
|
* 只负责常驻定时任务服务(app.main);存量初始化脚本 init_*.py 在本地手动跑。
|
||||||
* SCRIPT=init_* 时用同一个镜像跑一次性存量初始化脚本,跑完容器自动删除,不影响常驻服务。
|
|
||||||
*/
|
*/
|
||||||
pipeline {
|
pipeline {
|
||||||
agent any
|
agent any
|
||||||
@@ -13,11 +12,6 @@ pipeline {
|
|||||||
parameters {
|
parameters {
|
||||||
choice(name: 'BRANCH', choices: ['master', 'dev'], description: '选择要部署的分支')
|
choice(name: 'BRANCH', choices: ['master', 'dev'], description: '选择要部署的分支')
|
||||||
choice(name: 'ACTION', choices: ['deploy', 'stop'], description: '操作:deploy=构建部署,stop=停止服务')
|
choice(name: 'ACTION', choices: ['deploy', 'stop'], description: '操作:deploy=构建部署,stop=停止服务')
|
||||||
choice(name: 'SCRIPT',
|
|
||||||
choices: ['main', 'init_offershow', 'init_offerqingbaoju', 'init_xiaozhaoya'],
|
|
||||||
description: '选择要运行的脚本:main=常驻定时任务服务,init_*=一次性存量初始化(跑完退出)')
|
|
||||||
string(name: 'LIMIT', defaultValue: '',
|
|
||||||
description: '抓取条数上限,仅对 init_offershow / init_offerqingbaoju 生效;留空用脚本默认值')
|
|
||||||
}
|
}
|
||||||
|
|
||||||
environment {
|
environment {
|
||||||
@@ -26,26 +20,9 @@ pipeline {
|
|||||||
CONTAINER_NAME = 'offerpie-spider'
|
CONTAINER_NAME = 'offerpie-spider'
|
||||||
// 固定 compose 项目名:默认取 workspace 目录名,并发构建时会变成 xxx@2 导致容器名冲突
|
// 固定 compose 项目名:默认取 workspace 目录名,并发构建时会变成 xxx@2 导致容器名冲突
|
||||||
COMPOSE_PROJECT_NAME = 'offerpie-spider'
|
COMPOSE_PROJECT_NAME = 'offerpie-spider'
|
||||||
// 一次性容器的挂载与资源限制,保持与 docker-compose.yml 一致
|
|
||||||
LOG_VOLUME = '/opt/offerpie/spider/logs:/app/logs'
|
|
||||||
}
|
}
|
||||||
|
|
||||||
stages {
|
stages {
|
||||||
stage('参数校验') {
|
|
||||||
steps {
|
|
||||||
script {
|
|
||||||
// LIMIT 会拼进 shell 命令,只允许纯数字,防止注入
|
|
||||||
def limit = params.LIMIT?.trim()
|
|
||||||
if (limit && !(limit ==~ /[1-9]\d*/)) {
|
|
||||||
error "LIMIT 必须是正整数,当前值:${params.LIMIT}"
|
|
||||||
}
|
|
||||||
if (limit && params.SCRIPT in ['main', 'init_xiaozhaoya']) {
|
|
||||||
echo "⚠️ ${params.SCRIPT} 不接受 LIMIT 参数,本次将忽略"
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
stage('停止服务') {
|
stage('停止服务') {
|
||||||
when {
|
when {
|
||||||
expression { params.ACTION == 'stop' }
|
expression { params.ACTION == 'stop' }
|
||||||
@@ -63,7 +40,7 @@ pipeline {
|
|||||||
echo "拉取 ${params.BRANCH} 分支代码"
|
echo "拉取 ${params.BRANCH} 分支代码"
|
||||||
git branch: "${params.BRANCH}",
|
git branch: "${params.BRANCH}",
|
||||||
credentialsId: 'gitea-fab089c1-b55d-4b58-9fad',
|
credentialsId: 'gitea-fab089c1-b55d-4b58-9fad',
|
||||||
url: 'https://git.jianshixingqiu.com/offerpai/campus_spider.git'
|
url: 'http://git.jianshixingqiu.com/offerpai/offerpie_spider.git'
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -76,63 +53,16 @@ pipeline {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
stage('部署常驻服务') {
|
stage('部署') {
|
||||||
when {
|
when {
|
||||||
expression { params.ACTION == 'deploy' && params.SCRIPT == 'main' }
|
expression { params.ACTION == 'deploy' }
|
||||||
}
|
}
|
||||||
steps {
|
steps {
|
||||||
// 停旧启新,docker-compose.yml 就在当前 workspace
|
// 停旧启新,docker-compose.yml 就在当前 workspace
|
||||||
sh "docker compose down || true"
|
sh "docker compose down || true"
|
||||||
sh "docker compose up -d"
|
sh "docker compose up -d"
|
||||||
sleep 5
|
sleep 5
|
||||||
// 精确匹配容器名,避免把 offerpie-spider-init_* 这类一次性容器也列出来
|
sh "docker ps -f name=${CONTAINER_NAME} --format '{{.Status}}'"
|
||||||
sh "docker ps -f 'name=^${CONTAINER_NAME}\$' --format '{{.Status}}'"
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
stage('执行初始化脚本') {
|
|
||||||
when {
|
|
||||||
expression { params.ACTION == 'deploy' && params.SCRIPT != 'main' }
|
|
||||||
}
|
|
||||||
steps {
|
|
||||||
script {
|
|
||||||
def limit = params.LIMIT?.trim()
|
|
||||||
def runName = "${CONTAINER_NAME}-${params.SCRIPT}"
|
|
||||||
def cmd = "python ${params.SCRIPT}.py"
|
|
||||||
if (limit && params.SCRIPT != 'init_xiaozhaoya') {
|
|
||||||
cmd += " ${limit}"
|
|
||||||
}
|
|
||||||
|
|
||||||
echo "运行一次性脚本:${cmd}"
|
|
||||||
|
|
||||||
// 同名任务还在跑就直接失败,不要把正在灌数的任务强杀掉
|
|
||||||
def running = sh(script: "docker ps -q -f 'name=^${runName}\$'",
|
|
||||||
returnStdout: true).trim()
|
|
||||||
if (running) {
|
|
||||||
error "${runName} 正在运行中,如确认要重跑请先手动执行:docker rm -f ${runName}"
|
|
||||||
}
|
|
||||||
|
|
||||||
// 清掉已退出的同名残留容器(--rm 一般会自动删,异常退出时可能留下)
|
|
||||||
sh "docker rm -f ${runName} || true"
|
|
||||||
// 故意用 docker run 而不是 docker compose run:
|
|
||||||
// compose run 起的容器带同一个 project 标签,别人执行 compose down 会把灌数任务一起干掉
|
|
||||||
// LOG_FILE_NAME 让日志单独落一个文件,不和常驻服务的 spider.log 交叉写入
|
|
||||||
// --rm:跑完自动删除;不带 -d,日志直接输出到本次构建,脚本退出码决定构建成败
|
|
||||||
// 实测全量灌数约 12 小时,超时给到 24 小时
|
|
||||||
timeout(time: 24, unit: 'HOURS') {
|
|
||||||
sh """docker run --rm --name ${runName} \
|
|
||||||
--network host \
|
|
||||||
--shm-size 2g \
|
|
||||||
--memory 16g \
|
|
||||||
--cpus 8 \
|
|
||||||
-e ENV=prod \
|
|
||||||
-e TZ=Asia/Shanghai \
|
|
||||||
-e OMP_NUM_THREADS=8 \
|
|
||||||
-e LOG_FILE_NAME=${params.SCRIPT}.log \
|
|
||||||
-v ${LOG_VOLUME} \
|
|
||||||
${IMAGE_NAME}:${IMAGE_TAG} ${cmd}"""
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -149,12 +79,10 @@ pipeline {
|
|||||||
post {
|
post {
|
||||||
success {
|
success {
|
||||||
script {
|
script {
|
||||||
if (params.ACTION == 'stop') {
|
if (params.ACTION == 'deploy') {
|
||||||
echo "✅ 服务已停止"
|
|
||||||
} else if (params.SCRIPT == 'main') {
|
|
||||||
echo "✅ 部署成功!容器 ${CONTAINER_NAME} 已启动"
|
echo "✅ 部署成功!容器 ${CONTAINER_NAME} 已启动"
|
||||||
} else {
|
} else {
|
||||||
echo "✅ 初始化脚本 ${params.SCRIPT}.py 执行完成"
|
echo "✅ 服务已停止"
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user