backend

MOOCODER Backend

基于GitLab、Jenkins与Docker的自动化编程考试系统后端部分

主要架构

特性

• 使用通用的Git协议
• 自动化测试，实时展示成绩
• 完全隐藏GitLab和Jenkins
• Docker中运行测试，隔离网络
• CPU、内存资源限制
• LDAP统一认证
• 分布式与GitLab集群
• WebIDE支持

支持题型

• Python
• Python覆盖率测试
• Java
• Java覆盖率测试
• Java变异覆盖测试

编译

1. 编译前端项目
2. 对前端项目进行WebJars封装
3. 编译本项目

依赖

推荐使用Linux操作系统并在宿主机安装docker，所有依赖实例除NGINX外都使用docker运行，其中Jenkins实例推荐将宿主机的docker二进制文件和docker unix socket映射至容器中

• Docker支持
• 邮件发送支持

• 一个GitLab实例

  docker run -d --name moocoder-gitlab -p 8081:80 --restart always -v /srv/moocoder/gitlab/config:/etc/gitlab:Z -v /srv/moocoder/gitlab/log:/var/log/gitlab:Z -v /srv/moocoder/gitlab/data:/var/opt/gitlab:Z gitlab/gitlab-ce:10.8.0-ce.0
  

• 一个Jenkins实例

  docker run -d --name moocoder-jenkins -p 8082:8080 --restart always -v /srv/moocoder/jenkins:/var/jenkins_home:Z -v /usr/bin/docker:/usr/bin/docker:Z -v /var/run/docker.sock:/var/run/docker.sock:Z -u root jenkins/jenkins:2.124
  

  注意：最新版本的Jenkins官方Docker镜像缺少docker二进制文件所依赖的运行库libltdl，需要使用apt install libltdl-dev进行安装

  其他：由于Jenkins Workspace中的文件均为临时性文件，当磁盘负担较重时可以使用-v /dev/shm/jenkins:/var/jenkins_home/workspace:Z来使用内存进行加速

• 一个Docker Registry实例

  docker run -d --name moocoder-registry -p 5000:5000 --restart always -v /srv/moocoder/registry:/var/lib/registry:Z library/registry:2.6.2
  

• 一个NGINX实例

配置

1. 选择一个随机字符串作为内部的Secret

2. 配置GitLab

   • 为管理员用户生成一个至少包含api与sudo权限的Token

   • 为GitLab自带的NGINX增加一个反向代理服务，用于为WebHook请求增加X-Moocoder-Secret头

     • 修改GitLab的配置文件，示例： ```diff # nginx['custom_gitlab_server_config'] = "location ^~ /foo-namespace/bar-project/raw/ {\n deny all;\n}\n"

       • # nginx['custom_nginx_config'] = "include /etc/nginx/conf.d/example.conf;"

       • nginx['custom_nginx_config'] = "include /etc/gitlab/webhook-proxy.conf;"

         nginx['proxy_read_timeout'] = 3600

         * 增加新的NGINX配置文件，示例：
         

         server { listen 3000 default_server; listen [::]:3000 default_server; server_name _;

         location / {

         proxy_pass http://backend_host:8090;
         
         proxy_set_header X-Moocoder-Secret backend_secret;
         

         } } ```

         • 勾选系统设置中的Allow requests to the local network from hooks and services

3. 配置Jenkins

   • 增加全局变量MOOCODER_HOST和MOOCODER_SECRET
   • 增加一个ID为MOOCODER的Credential，内容为GitLab管理员用户的账号密码
   • 设置合适的Executor数量
   • 安装Cobertura插件，用于测试覆盖率报告的获取

4. 配置Docker

   • 设置Docker Daemon信任启动的Registry实例为insecure的
   • 如果Docker Daemon与后端主程序不在同一台设备上，需要设置Docker暴露TCP通信端口

5. 配置NGINX，主要用于拦截部分外部请求和分流Git请求，示例：

   server {
       listen 80 default_server;
       listen [::]:80 default_server;
       server_name _;
       
       location ~ .*\.(js|css|ico|woff2)$ {
           include /etc/nginx/proxy_params;
               
           proxy_pass http://localhost:8090;
               
           proxy_cache moocoder;
           expires 7d;
       
           add_header Cache "$upstream_cache_status";
           proxy_ignore_headers X-Accel-Expires Expires Cache-Control Set-Cookie;
           proxy_hide_header Pragma;
       
           proxy_cache_valid 200 304 301 302 8h;
           proxy_cache_valid 404 1m;
           proxy_cache_valid any 2d;
       }
       
       location ~ /internal/ {
           return 403;
       }
       
       location ~ / {
           include /etc/nginx/proxy_params;
       
           if ($request_uri ~* (info/refs|git-upload-pack|git-receive-pack)) {
               proxy_pass http://localhost:8081;
           }
       
           proxy_pass http://localhost:8090;
       }
   }
   

6. 配置好后端项目config.yml中的各项参数

7. (可选)配置防火墙，拦截对部分端口的访问

协议

GPLv3