Merge pull request #49 from fadetop/0.8

Add v0.8

Author: fadetop

README.md

@@ -205,91 +205,6 @@ bash omp grafana [status|start|stop|restart]
 bash omp loki [status|start|stop|restart]
 ```
 
-更新日志
-V0.1.0 (2021.11.30)
-新增功能:   
-- 【仪表盘】   
-  - 全局状态概览
-  - 当前异常信息展示
-  - 各模块状态展示   
-- 【主机管理】
-  - 主机纳管（添加、导入、编辑、维护、删除）
-  - 主机自动监控、告警   
-- 【应用商店】
-  - 组件、应用WEB发布、服务端自动发现
-  - 组件、应用部署，自动编排解决依赖   
-- 【服务管理】
-  - 服务管理（启动、停止、重启、删除）
-  - 服务监控（监控、日志、告警、自愈）
-- 【应用监控】
-  - 实时展示处于异常的主机、服务信息，呼应仪表盘的异常清单
-  - 告警历史记录查看，未读提醒，按添加检索
-  - 支持监控组件地址自定义，便于对接现有监控平台   
-- 【状态巡检】
-  - 支持主机巡检、组件巡检、深度分析，且支持导出
-  - 支持定时自动执行巡检任务
-- 【系统管理】
-  - 用户账户管理
-  - 支持全局维护模式，避免人为操作时误报
-
-
-更新日志   
-V0.5.0 (2022.4.11)   
-新增功能:   
-- 【应用商店】 
-  - 组件、应用服务的升级及回滚
-  - 应用服务的增量安装
-- 【部署模板】
-  - 支持通过部署模版实现批量部署
-- 【应用监控】
-  - 支持告警邮件配置，将告警信息发送至指定邮箱
-- 【故障自愈】
-  - 展示故障自愈记录
-  - 支持监控到服务状态异常后自动进行重启
-  - 支持设置服务自愈尝试次数
-- 【指标中心】
-  - 支持添加自定义告警指标规则
-  - 添加自定义扩展采集指标
-- 【数据备份】
-  - 支持mysql、arangodb、postgreSql数据备份
-  - 备份记录展示、下载、删除
-  - 支持自定义保存路径、定时备份策略及邮件推送备份内容
-- 【实用工具】
-  - 内置部分运维实用小工具
-  - 展示小工具执行过程、输出展示及生成文件下载
-- 【系统管理】
-  - 增加邮件管理，支持设置smtp邮件服务器作为全局邮件发件箱
-
-功能优化：
-- 【平台优化】
-  - 优化主机纳管逻辑，增加纳管成功率，支持删除主机
-  - 优化应用安装服务逻辑代码
-  - 优化巡检逻辑
-  - 优化部分前端页面显示及交互效果 
-- 【其他】
-  - 修复已知bug
-
-V0.6.0 (2022.11.29)   
-新增功能:   
-- 升级内置基础组件和环境
-  - alertmanager 升级至 v0.24.0
-  - tengine 升级至 v1.22.0
-  - 扩充内置环境中部分第三方库
-- 升级主机 Agent  & 监控 Agent
-- 优化小工具异步任务执行逻辑
-- 更新 prometheus 和 loki 的配置
-- 修复 grafana 面板中 mysql 显示异常问题
-- 补充应用商店基础组件包：mysq、elasticsearch
-- 组件包从代码库抽离，减少源码 & 包体量
-
-V0.7.0 (2022.12.30) 
-- 完善 OMP 管理脚本功能
-  - 支持升级、回滚，支持断点重试
-  - 支持命令行卸载应用商店已发布服务
-- 内置 Redis 5.0.37 升级至 6.2.7
-- 验证码登陆
-- 修改密码长度异常问题
-
 欢迎加入
 获取更多关于OMP的技术资料，或加入OMP开发者交流群，可扫描下方二维码咨询
 

UpdateLog.md

@@ -7,23 +7,23 @@
 
 
 ## v0.1.0 (2021.11.30)
-- 【仪表盘】   
+- 【仪表盘】
   - 全局状态概览
   - 当前异常信息展示
-  - 各模块状态展示   
+  - 各模块状态展示
 - 【主机管理】
   - 主机纳管（添加、导入、编辑、维护、删除）
-  - 主机自动监控、告警   
+  - 主机自动监控、告警
 - 【应用商店】
   - 组件、应用WEB发布、服务端自动发现
-  - 组件、应用部署，自动编排解决依赖   
+  - 组件、应用部署，自动编排解决依赖
 - 【服务管理】
   - 服务管理（启动、停止、重启、删除）
   - 服务监控（监控、日志、告警、自愈）
 - 【应用监控】
   - 实时展示处于异常的主机、服务信息，呼应仪表盘的异常清单
   - 告警历史记录查看，未读提醒，按添加检索
-  - 支持监控组件地址自定义，便于对接现有监控平台   
+  - 支持监控组件地址自定义，便于对接现有监控平台
 - 【状态巡检】
   - 支持主机巡检、组件巡检、深度分析，且支持导出
   - 支持定时自动执行巡检任务
@@ -35,7 +35,7 @@
 
 ## v0.5.0 (2022.04.11)
 
-- 【应用商店】 
+- 【应用商店】
   - 组件、应用服务的升级及回滚
   - 应用服务的增量安装
 - 【部署模板】
@@ -63,7 +63,7 @@
   - 优化主机纳管逻辑，增加纳管成功率，支持删除主机
   - 优化应用安装服务逻辑代码
   - 优化巡检逻辑
-  - 优化部分前端页面显示及交互效果 
+  - 优化部分前端页面显示及交互效果
 - 【其他】
   - 修复已知bug
 
@@ -92,4 +92,10 @@
 - 修改密码长度异常问题
 
 
-
+## v0.8.0 (2023.01.30)
+- 新增监控功能
+  - 产品http请求 5XX 错误
+  - jvm 文件句柄使用率过高
+  - 修复部分服务无法获取 cpu、内存问题
+- 增加只读用户功能
+- 修复添加主机提示已经存在问题

omp_server/db_models/migrations/0029_auto_20230110_1739.py

@@ -0,0 +1,22 @@
+# Generated by Django 3.1.4 on 2023-01-10 17:39
+
+from django.db import migrations, models
+
+
+class Migration(migrations.Migration):
+    dependencies = [
+        ('db_models', '0028_auto_20220304_2001'),
+    ]
+
+    operations = [
+        migrations.AddField(
+            model_name='userprofile',
+            name='role',
+            field=models.CharField(blank=True, help_text='用户角色', max_length=128, null=True, verbose_name='用户角色'),
+        ),
+        migrations.AlterField(
+            model_name='alertrule',
+            name='hash_data',
+            field=models.CharField(blank=True, max_length=255, null=True, verbose_name='唯一hash值'),
+        ),
+    ]

omp_server/db_models/models/user.py

@@ -4,6 +4,7 @@
 
 class UserProfile(AbstractUser):
     """ 自定义用户表 """
+    role = models.CharField("用户角色", max_length=128, null=True, blank=True, help_text="用户角色")
 
     class Meta:
         """ 元数据 """

omp_server/hosts/hosts_serializers.py

@@ -384,7 +384,7 @@ class HostFieldCheckSerializer(ModelSerializer):
         validators=[
             NoEmojiValidator(),
             NoChineseValidator(),
-            ReValidator(regex=r"^[-a-z0-9].*$"),
+            ReValidator(regex=r"^[-a-zA-Z0-9].*$"),
         ])
 
     ip = serializers.IPAddressField(

omp_server/omp_server/settings.py

@@ -63,6 +63,7 @@
     'django.contrib.auth.middleware.AuthenticationMiddleware',
     'django.contrib.messages.middleware.MessageMiddleware',
     'django.middleware.clickjacking.XFrameOptionsMiddleware',
+    'utils.middleware_handler.RoleAuthenticationMiddleware',
     'utils.middleware_handler.OperationLogMiddleware'
 ]
 

omp_server/promemonitor/grafana_url.py

@@ -79,9 +79,11 @@ def explain_prometheus(params):
             compare_list.append(tmp_list)
             tmp_dict['type'] = "host" if label.get(
                 'job') == 'nodeExporter' else "service"
-            tmp_dict['ip'] = label.get('instance').split(":")[0]
+            tmp_dict['ip'] = label.get('instance').split(":")[0] if label.get('instance') else ''
             tmp_dict['instance_name'] = label.get('app') if label.get(
                 'app') else host_list.get(tmp_dict.get('ip'))
+            if not tmp_dict['instance_name']:
+                tmp_dict['instance_name'] = label.get("job", "").split("Exporter")[0]
             tmp_dict['severity'] = label.get('severity')
             annotation = lab.get('annotations')
             tmp_dict['description'] = annotation.get('description')

omp_server/promemonitor/views.py

@@ -946,10 +946,15 @@ def create(self, request, *args, **kwargs):
             else:
                 return Response(
                     data={"code": 1, "message": f"创建指标规则过程中出错: 未识别的规则类型"})
-            request.data["labels"] = {
-                "job": '{}Exporter'.format(request.data["service"]),
-                "severity": severity
-            }
+            if request.data["service"] != "service":
+                request.data["labels"] = {
+                    "job": '{}Exporter'.format(request.data["service"]),
+                    "severity": severity
+                }
+            else:
+                request.data["labels"] = {
+                    "severity": severity
+                }
             if id != 0:
                 if AlertRule.objects.filter(expr=request.data["expr"],
                                             severity=severity).exclude(id=id).exists():

omp_server/users/users_serializers.py

@@ -52,7 +52,7 @@ class Meta:
         """ 元数据 """
         model = UserProfile
         fields = ("id", "username", "password", "email", "re_password",
-                  "date_joined", "is_active", "is_superuser")
+                  "date_joined", "is_active", "is_superuser", "role")
         read_only_fields = ("date_joined", "is_active", "is_superuser")
 
     def validate_username(self, username):

omp_server/utils/middleware_handler.py

@@ -15,23 +15,36 @@
 import logging
 
 from django.urls import resolve
-# from django.http import HttpRequest
 from django.utils.deprecation import MiddlewareMixin
+from django.http import JsonResponse
 
 from rest_framework.reverse import reverse
 from rest_framework_jwt.utils import jwt_decode_handler
 
 from jwt import DecodeError
 
 from db_models.models import (
-    OperateLog, UserLoginLog
+    OperateLog, UserLoginLog, UserProfile
 )
 from django.utils import timezone
 from omp_server.settings import INTERFACE_KINDS
 
 logger = logging.getLogger("server")
 
 
+def get_username_of_token(token):
+    """通过jwt token 解析username"""
+    _token_user = jwt_decode_handler(token)
+    _username = _token_user.get("username")
+    return _username
+
+
+USER_TO_ROLE_EN_DICT = {
+    "superuser": "普通管理员",
+    "readonlyuser": "只读用户"
+}
+
+
 class OperationLogMiddleware(MiddlewareMixin):
     """用于处理操作日志的中间件"""
 
@@ -57,34 +70,34 @@ def process_response(self, request, response):
         _ip, _ = ipware.get_client_ip(request)
         try:
             token = request.COOKIES.get("jwtToken", "toke")
-            _token_user = jwt_decode_handler(token)
-            _username = _token_user.get("username")
+            _username = get_username_of_token(token)
         except DecodeError:
             _username = "匿名用户"
         if _url == reverse("login"):
             _desc = "用户登录"
+            request_result = ""
+            _token = None
             if "token" in response.data:
                 request_result = "登录成功"
+                _token = response.data.get("token", "")
+                _username = get_username_of_token(_token)
             else:
-                request_result = "登录失败"
-            # TODO 角色管理
-            _username = "admin" if _username == "匿名用户" else _username
+                return response
+            _token_user = UserProfile.objects.filter(username=_username).first()
             data = {
                 'username': _username,
                 'login_time': timezone.now(),
-                'role': "超级管理员用户",
+                'role': USER_TO_ROLE_EN_DICT.get(_token_user.role.lower(), ""),
                 'ip': _ip,
                 'request_result': request_result
             }
             UserLoginLog.objects.create(**data)
-            # OperateLog(
-            #    username=_username, request_ip=_ip, request_method=_method,
-            #    request_url=_url, description=_desc,
-            #    response_code=response_code, request_result=request_result
-            # ).save()
         else:
             # 读取已封装响应数据
-            res_data = json.loads(response.rendered_content)
+            try:
+                res_data = json.loads(response.rendered_content)
+            except Exception as e:
+                return response
             method_dc = {
                 'put': '修改',
                 'get': '查看',
@@ -103,3 +116,29 @@ def process_response(self, request, response):
                     request_result=res_data.get("message", "")
                 ).save()
         return response
+
+
+class RoleAuthenticationMiddleware(MiddlewareMixin):
+    """用户角色访问限制"""
+
+    def process_view(self, request, func, *args, **kwargs):
+        _method = request.method.lower()
+        if _method == "get":
+            return None
+        _url = request.path
+        if _url.startswith("/proxy/v1/grafana") or _url.startswith("/api/login/"):
+            return None
+        try:
+            token = request.COOKIES.get("jwtToken", "toke")
+            _token_user = jwt_decode_handler(token)
+            _username = _token_user.get("username")
+        except DecodeError:
+            _username = "匿名用户"
+        _token_user = UserProfile.objects.filter(username=_username).first()
+        if not _token_user:
+            # 非页面访问omp接口，放行
+            return None
+        if _token_user.role.lower() == "superuser":
+            return None
+        logger.error(f"{_token_user} prohibited this action")
+        return JsonResponse({"code": 1, "data": None, "message": f"该{_token_user.username}用户无权限"})