什么是生成式ai

什么是AI 人工智能(AI)是指计算机系统能够执行人类通常需要使用智力才能完成的任务的能力。这些任务可以包括语音识别、图像识别、自然语言处理、决策制定等等。人工智能的目标是让计算机拥有类似人类的智能水平,能够像人一样学习、推理、理解和适应环境。 什么是ML 机器学习(ML)是一种人工智能的分支,其主要关注如何让计算机根据数据自动学习并改进算法,而不需要人工干预。换句话说,机器学习是一种数据驱动的方法,通过分析和学习数据中的模式和规律,让计算机能够自主地进行预测和决策。机器学习算法通常可以分为监督学习、无监督学习、半监督学习和强化学习等几种类型。 什么是DL 深度学习(DL)是机器学习的一种特殊形式,其主要依赖于深层神经网络(DNN)来实现数据的学习和处理。深度学习的主要特点是可以从大量的未标记数据中进行学习,并生成高度抽象的特征表示。深度学习已经被广泛应用于图像和语音识别、自然语言处理、推荐系统等领域,并在这些领域中取得了惊人的成果。 AI,ML和DL的应用领域 人工智能、机器学习和深度学习已经在各个领域得到了广泛的应用,这里列举几个典型的应用领域。 自然语言处理(NLP):自然语言处理是人工智能领域的一个重要应用方向,其主要目标是让计算机能够理解、分析和生成自然语言。在这个领域中,机器学习和深度学习算法被广泛应用于文本分类、情感分析、机器翻译、问答系统等任务。 计算机视觉(CV):计算机视觉是指让计算机能够理解和分析图像和视频,并从中提取有用的信息。在这个领域中,深度学习算法已经成为了主流,广泛应用于图像分类、目标检测、物体跟踪、人脸识别等任务。 语音识别(ASR):语音识别是指让计算机能够理解和转换人类语音的能力。在这个领域中,深度学习算法已经成为了主流,广泛应用于语音识别、语音合成等任务。 推荐系统:推荐系统是指根据用户的历史行为、兴趣和偏好,向用户推荐个性化的商品、服务或信息的系统。在这个领域中,机器学习和深度学习算法被广泛应用于用户行为分析、特征提取、推荐模型建立等任务。 自动驾驶:自动驾驶技术是指让汽车、飞机、无人机等交通工具能够自主地行驶和操作的技术。在这个领域中,深度学习算法被广泛应用于图像处理、目标检测、障碍物识别等任务。 AI、ML和DL的技术原理 人工智能、机器学习和深度学习的实现都依赖于一些基础技术和算法,下面介绍其中一些常见的技术原理。 神经网络:神经网络是指一种模拟人类神经系统的计算模型,其基本单元是神经元。深度学习中的神经网络通常包括输入层、隐藏层和输出层,其中隐藏层可以有多层。不同的神经网络结构和算法可以应用于不同的任务。 卷积神经网络(CNN):卷积神经网络是一种特殊的神经网络结构,其主要针对图像和视频等二维数据的处理。卷积神经网络中的卷积层和池化层可以有效提取图像中的特征,并通过全连接层进行分类和识别。 循环神经网络(RNN):循环神经网络是一种特殊的神经网络结构,其主要针对序列数据的处理。循环神经网络可以通过循环连接来处理序列数据中的时序信息,广泛应用于语音识别、机器翻译等任务。 深度学习框架 深度学习框架是指一些基于编程语言的工具箱,可以方便地构建和训练深度学习模型。常见的深度学习框架包括TensorFlow、PyTorch、Keras等。 AI、ML和DL的区别 尽管人工智能、机器学习和深度学习的概念和应用有所重叠,但它们之间还是存在一些明显的区别。 技术原理不同:人工智能是一个比较宽泛的概念,包括了许多技术和算法;机器学习是一种数据驱动的方法,主要关注如何让计算机自动学习和改进算法;深度学习是机器学习的一种特殊形式,依赖于深层神经网络来实现数据的学习和处理。 应用场景不同:人工智能、机器学习和深度学习都有广泛的应用场景,但其应用范围和任务却有所不同。人工智能的应用范围相对广泛,可以应用于语音识别、图像识别、自然语言处理等多个领域;机器学习主要应用于数据挖掘、预测分析、模式识别等领域;深度学习则主要应用于计算机视觉、自然语言处理、推荐系统等领域。 什么是生成式AI 生成式人工智能(Generative Artificial Intelligence,简称生成式 AI)是一种基于机器学习和人工智能技术的范畴,其目标是让计算机系统能够自主地生成各种类型的数据,如文本、图像、音频等,而不仅仅是对已有数据的模仿或分类。生成式 AI 的核心能力在于创造新的内容,而不仅仅是对已知模式的重复应用。其中,生成式人工智能模型是生成式 AI 的重要组成部分,而 chatGPT 就是其中的一种代表性模型。 生成式 AI 的原理基于深度学习,特别是神经网络技术,它可以通过分析大量的训练数据来学习数据的分布和模式,然后利用这些学习到的模式来生成新的数据。生成式 AI 不仅可以生成高质量的文本,还可以用于图像生成、音乐创作、视频生成等各种领域。 生成式 AI 模型的核心思想是使用生成对抗网络(GANs)、变分自编码器(VAEs)等架构,通过多层次的神经网络模块来模拟数据的分布。这些模型可以被训练成生成与训练数据相似但又独特的新数据,从而实现创造性的内容生成。生成式 AI 在自然语言处理领域中的代表模型是循环神经网络(RNNs)、长短时记忆网络(LSTMs)、转换器模型(如 GPT)等。 生成式ai应用 生成式 AI 的应用广泛,包括但不限于以下领域: 自动写作与内容生成: 生成式 AI 可以自动生成文章、新闻、故事等文本内容,帮助内容创作者提高效率。 艺术创作与设计: 在绘画、音乐、设计领域,生成式 AI 可以创造出独特的艺术品和创意作品。 虚拟现实与游戏开发: 生成式 AI 可以生成逼真的虚拟世界、地图、角色等,用于游戏设计和虚拟现实体验。 科学研究与创新: 在药物研发、分子设计、科学模拟等领域,生成式 AI 可以加速创新和发现。 语音合成与音乐创作: 生成式 AI 可以创作音乐、合成语音,并模仿各种声音风格。……

阅读全文

什么是service mesh

什么是service mesh Service Mesh又译作“服务网格”,作为服务间通信的基础设施层。Willian Morgan(Linkerd的CEO)如下定义Service Mesh。 Service Mesh 是一个基础设施层,用于处理服务间通信。云原生应用有着复杂的服务拓扑,Service Mesh 保证请求可以在这些拓扑中可靠地穿梭。在实际应用当中,Service Mesh 通常是由一系列轻量级的网络代理组成的,它们与应用程序部署在一起,但应用程序不需要知道它们的存在。 Service Mesh 实际上就是处于 TCP/IP 之上的一个抽象层,它假设底层的 L3/L4 网络能够点对点地传输字节(当然,它也假设网络环境是不可靠的,所以 Service Mesh 必须具备处理网络故障的能力)。 架构图 通过以上的架构图,很清晰的看到,最重要的两个部分就是control plane 和sidecar Control Plane:控制平面是服务网格的集中管理和配置层。它负责控制和协调sidecar代理的行为。它提供了一个控制平面API,允许管理员配置流量管理、安全性和可观测性的策略、规则和设置。 Sidecar(旁车):它基于Envoy代理。它是在同一Kubernetes POD中运行的另一个容器,负责处理所有的横切关注点。它基于旁车容器设计模式。•应用程序流量:微服务通过使用sidecar容器连接到其他微服务。应用程序流量基本上是Envoy sidecar代理容器之间的通信 Data Plane:数据平面指的是部署在每个服务实例旁边的一组sidecar代理组成的网络,用于与系统中的其他服务进行通信。它充当服务与网络的中间人。Sidecar代理处理入站和出站流量,拦截通信并提供其他功能。 Controllers:控制器是负责管理和控制网格行为的组件。它通常是一个软件组件,用于监视服务的状态和健康情况、配置流量路由和负载均衡规则、实施安全策略,并处理网格内服务之间通信的其他方面。 服务发现(Service Discovery):服务发现是服务网格架构中的一个重要组件。它使得服务能够动态地定位和连接到彼此,而无需硬编码的地址。 证书授权机构(Certificate Authority):它提供和管理根证书和中间证书,并执行证书签名操作。 应用程序微服务(Application Microservices):这些是组成应用程序的各个服务或微服务。它们负责处理特定的功能或任务。 API端点(API Endpoints):API端点是网格中的服务之间进行通信的入口点 方案 目前社区Service Mesh的开源解决方案有:Buoyant 公司推出的 Linkerd 和 Google、IBM 等厂商牵头的 Istio。Linkerd 更加成熟稳定些,Istio 功能更加丰富、设计上更为强大,社区相对也更加强大一些。 istio介绍 Istio是由Google、IBM和Lyft开源的微服务管理、保护和监控框架。Istio为希腊语,意思是”起航“。Istio是一个开源的服务网格平台,提供了一组工具和功能,用于管理和保护基于微服务的应用程序。它旨在解决复杂分布式系统中与服务之间通信、可观察性、安全性和流量管理相关的常见挑战。在其核心,Istio在应用程序中的每个微服务旁边部署一个称为Envoy的sidecar代理。这个sidecar代理拦截和管理服务的所有入站和出站流量,使得Istio可以控制和监控服务之间的通信。 优点: Istio拥有庞大的在线服务网格社区,并且在互联网上备受赞誉和讨论。其GitHub的贡献者远远超过Linkerd,数量上占据优势。•此外,它支持Kubernetes和VM模式。 缺点: Istio并非免费提供,使用它需要相当大的时间投入,包括阅读文档、设置、确保正常功能和持续维护。 在生产环境中实施和集成Istio可能需要几周甚至几个月的时间,这取决于基础架构的复杂性。 使用Istio需要相当大的资源开销。•与Linkerd不同,它缺乏内置的管理仪表板。 此外,Istio要求使用其自己的入口网关。 Istio控制平面仅在Kubernetes容器中受支持,没有可用于Istio数据平面的VM模式。……

阅读全文

Kubernetes CRI

什么是cri Container Runtime Interface (CRI) The CRI is a plugin interface which enables the kubelet to use a wide variety of container runtimes, without having a need to recompile the cluster components. You need a working container runtime on each Node in your cluster, so that the kubelet can launch Pods and their containers. The Container Runtime Interface (CRI) is the main protocol for the communication between the kubelet and Container Runtime.……

阅读全文

企业为什么选择使用openshift

什么是openshift OpenShift是红帽的云开发平台即服务(PaaS)。自由和开放源码的云计算平台使开发人员能够创建、测试和运行他们的应用程序,并且可以把它们部署到云中。OpenShift广泛支持多种编程语言和框架,如Java,Ruby和PHP等。另外它还提供了多种集成开发工具如Eclipse integration,JBoss Developer Studio和 Jenkins等。OpenShift 基于一个开源生态系统为移动应用,数据库服务等,提供支持。 OpenShift Online服务构建在Red Hat Enterprise Linux上。Red Hat Enterprise Linux提供集成应用程序,运行库和一个配置可伸缩的多用户单实例的操作系统,以满足企业级应用的各种需求。 架构图 核心的概念 https://zhuanlan.zhihu.com/p/635160126?utm_id=0 容器(Container) 镜像(Image) 用户(User) 项目(Project) 容器沙箱(Pod) 部署(Deployment) 服务(Service) 路由(Router) 持久化存储(Persistent Storage) 模板(Template) 构建(Build)和镜像流(ImageStream) 为什么要使用openshift OpenShift的持续集成和持续部署(CI/CD)功能可以帮助开发者快速地将代码更改合并到主分支,并通过自动化的方式将其部署到生产环境,这不仅可以提高开发效率,还可以减少人为错误,提高软件的质量。 OpenShift的多租户支持功能使得不同的团队或者公司可以在同一个平台上共享资源,而不需要担心数据安全问题,每个租户都可以拥有自己的独立的应用程序、服务和数据库,这样就可以满足不同团队的需求。 OpenShift的应用市场功能提供了一个方便的平台,让开发者可以找到并使用各种预先构建的应用程序和服务,而不需要自己从头开始编写,这样不仅可以节省时间,还可以提高开发效率。 OpenShift的自动扩展功能可以根据应用程序的负载情况自动调整资源的分配,以确保应用程序的性能和可用性,这样可以避免因为资源不足而导致的应用程序崩溃,也可以在需求增加时快速地扩展应用程序的能力。 OpenShift的优势在于其简单易用、功能强大和灵活可扩展的特性,它可以帮助开发者快速地部署和管理应用程序,提高开发效率,降低运维成本。……

阅读全文

Oauth2.0

what is oauth2.0 OAuth 2.0, which stands for “Open Authorization”, is a standard designed to allow a website or application to access resources hosted by other web apps on behalf of a user. It replaced OAuth 1.0 in 2012 and is now the d industry standard for online authorization. OAuth 2.0 provides consented access and restricts actions of what the client app can perform on resources on behalf of the user, without ever sharing the user’s credentials.……

阅读全文

Devops traning

Devops DevOps is a set of practices that combines software development (Dev) and IT operations (Ops). It aims to shorten the systems development life cycle and provide continuous delivery with high software quality.DevOps is complementary with Agile software development; CI/CD is a best practice for devops and agile development. CI/CD bridges the gaps between development and operation activities and teams by enforcing automation in building, testing and deployment of applications.……

阅读全文

architect design principle

Architect design principle Techinical part Scaling workload Building resilient architecture Design for performance Loose coupling Data-driven design Security everywhere Automating everything Function part Design for compliance Design for operation Design for System monitoring Methodology part Design for agile dev Design for agile devops ……

阅读全文

enterprise atchitect/solution architect/technical architect difference

Architect Different architect Enterprise Architect play a key role when it comes to identifying business needs in context with external factors like competitors and internal factors like a company’s IT landscape. Solution Architect focused on details and solution technologies to address a specific business problem, it provides a channel between enterprise architecture and technical architecture Techinical Architect focused more on designing and implementing technical solutions. ……

阅读全文

linux 临时文件的管理

Centos临时目录的系统管理 Linux产生大量的临时文件和目录,例如/tmp、/run 。RHEL7或者CentOS7中,systemd提供了一个结构化的可配置方法来管理临时文件和目录,即systemd-tmpfiles,可以创建、删除和管理临时文件的服务。旧版本系统使用watchtmp+cron来共同实现管理临时文件。 systemd启动后,其中一个启动的服务单元是systemd-tmpfiles-setup,该服务的命令为:systemd-tmpfiles –creat/–clean *conf , *conf是可选的,不写默认是使用所有配置文件 配置文件,优先级从上到下。 /etc/tmpfiles.d/*conf ,管理员可修改的配置文件 /run/tmpfiles.d/*conf ,daemon应用程序自己管理的配置文件,不建议更改 /usr/lib/tmpfiles.d/*conf,rpm软件安装时,自动更新的配置文件,不能更改 定期清理timer systemd定时器单元会按固定间隔调用systemd-tmpfiles --clean 。 systemctl status systemd-tmpfiles-clean.timer 查看timer状态。 systemctl cat systemd-tmpfiles-clean.timer 查看timer具体内容,也可以进入/usr/lib/systemd/system目录后使用more systemd-tmpfiles-clean.timer 来查看。 从timer具体内容可以知道系统启动15分钟后和每天会运行一次systemd-tmpfiles --clean.那么timer定时运行的是哪些服务呢? 是在systemd-tmpfiles-clean.service里面定义的: systemctl cat systemd-tmpfiles-clean.service可以查看。 ……

阅读全文