1 ambari + bigtop 构建大数据基础平台 1.1 参考： 1.2 参考 amabri bigtop 打包部署 2 ambari+bigtop编译、打包、部署 2.0 基础环境准备 2.1 ambari编译 2.2 ambari-metrics编译 2.3 bigtop...[2024/7/31]

Naiad论文：《Naiad: A Timely Dataflow System》 前面通过文章《论文图谱当如是：Awesome-Graphs用200篇图系统论文打个样》向大家介绍了论文图谱项目Awesome-Graphs，并分享了Google的Pregel、OSDI''12的Powe...[2024/7/31]

一、说明 在大数据处理和分析中 Apache Kafka 已经成为了一个核心组件。然而在生产环境中部署 Kafka 时，安全性是一个必须要考虑的重要因素。SASL（简单认证与安全层）和 SCRAM（基于密码的认证机制的盐化挑战响应认证机制）提供了一种方法来增强 Kafka 集群的安全性。 ...[2024/7/29]

这几年科技变革太快，AI更是飞速发展，作为一名IT老兵，使用过的搜索引擎也是一换再换。这不，刚消停了一段时间的OpenAI又丢出一个炸弹SearchGPT，直接跟谷歌掀桌子了。 1、谷歌搜索的无奈 早年只能用用百度搜索或者其余小众搜索，虽说有不少广告，搜索到的东西也不够精准，只能忍着了。 后...[2024/7/29]

1.概述 在构建大数据分析系统的过程中，我们面对着海量、多源的数据挑战，如何有效地解决这些零散数据的分析问题一直是大数据领域研究的核心关注点。大数据分析处理平台作为应对这一挑战的利器，致力于整合当前主流的各种大数据处理分析框架和工具，以实现对数据的全面挖掘和深入分析。本篇博客笔者将为大家介绍如何...[2024/7/29]

前言： 学习ComfyUI是一场持久战，而 ComfyUI Impact 是一个庞大的模块节点库，内置许多非常实用且强大的功能节点 ，例如检测器、细节强化器、预览桥、通配符、Hook、图片发送器、图片接收器等等。通过这些节点的组合运用，我们可以实现的工作有很多，例如自动人脸检测和优化修复、区域...[2024/7/29]

目录一、前言二、环境准备三、安装设置四、下载模型并运行五、配置 open-webui写在结尾 一、前言 自 OpenAi 发布 ChatGPT 对话性大语言模型，AI 这两年发展迎来爆发，国内外也衍生了大量的语言模型开放给公众使用。为了可以让更多人接触到AI，让本地化部署更加轻便快捷，于是就...[2024/7/23]

阅读翻译Mathematics for Machine Learning之2.7 Linear Mappings 关于： 首次发表日期：2024-07-23 Mathematics for Machine Learning官方链接： https: mml-book.com ChatGPT和KI...[2024/7/23]

前几章我们讨论了RLHF的样本构建优化和训练策略优化，这一章我们讨论两种不同的RL训练方案，分别是基于过程训练，和使用弱Teacher来监督强Student 循序渐进：PRM & ORM Solving math word problems with proce and outco...[2024/7/23]

最近Mem0横空出世，官方称之为PA的记忆层，The memory layer for Personalized AI，有好事者还称这个是RAG的替代者，Mem0究竟为何物，背后的原理是什么，我们今天来一探究竟。 Mem0 介绍 开源地址： https: github.com/mem0ai/m...[2024/7/22]

搬迁说明 之前在 CSDN 上发文章，一直想着努力发一些好的文章出来！这篇文章在 2024-04-17 10:11:55 已在 CSDN 发布 写在前面 其他显卡环境也可以！但是最少要有8GB的显存，不然很容易爆。 如果有多显卡的话，单机多卡也是很好的方案！！！ 背景介绍 目前借到一台算法...[2024/7/22]

1. 每个人都应该拥抱AI 随着AI的飞速发展，把我们带到了一个全新的时代。在这个时代，AI将逐步渗透到各个方面，比如：自动驾驶、智能家居、医疗诊断、大模型等等。每个人都应该积极拥抱AI，让AI给我们提效。 2. AI不是取代人类，而是辅助人类 许多人担心AI会取代人类的工作，非常焦虑，事实上...[2024/7/22]

这两年，随着人工智能（AI）和计算能力的发展，AI应用的落地速度大大加快。以ChatGPT为代表的AI应用迅速火遍全球，成为打工人的常用工具。紧接着，多模态、AI Agent等各种高大尚的名词也逐渐进入大众视野，吸引了大量关注。那么，到底什么是AI Agent？下文半支烟将带你详细了解这个概念。...[2024/7/19]

1. RNN（Recurrent Neural Network） 时间轴 1986年，RNN 模型首次由 David Rumelhart 等人提出，旨在处理序列数据。 关键技术 循环结构 序列处理 长短时记忆网络（LSTM）和门控循环单元（GRU） 核心原理 RNN 通过循环结构让网络记住...[2024/7/17]

目录openStack核心组件的工作流程1. Keystone1.1 User1.2 Credentials1.3 Authentication1.4 Token1.5 Project1.6 Service1.7 Endpoint1.8 Role1.9 keystone综述2. glance2...[2024/7/17]

为视觉语言多模态模型进行偏好优化 训练模型使得它能够理解并预测人类偏好是一项比较复杂的任务。诸如 SFT (Supervised finetuning) 的传统的方法一般都需要耗费较大成本，因为这些算法需要对数据打上特定的标签。而偏好优化 (Preference Optimization) 作为...[2024/7/17]

从DDPM到DDIM (一) 现在网络上关于DDPM和DDIM的讲解有很多，但无论什么样的讲解，都不如自己推到一边来的痛快。笔者希望就这篇文章，从头到尾对扩散模型做一次完整的推导。 DDPM是一个双向马尔可夫模型，其分为扩散过程和采样过程。 扩散过程是对于图片不断加噪的过程，每一步添加少量的...[2024/7/17]

图像增强方法在数字图像处理中占有重要地位，它能够有效提高图像的视觉效果，增强图像的细节信息，从而在医学、遥感、工业检测等多个领域发挥重要作用 1. 空间域增强方法 空间域增强方法是通过直接对图像像素进行操作来实现图像增强的技术。以下是几种常见的空间域增强方法： 1.1 直方图均衡化 直方...[2024/7/15]

论文标题：Segment Angthing 论文作者： Alexander Kirillov  Eric Mintun  Nikhila Ravi  Hanzi Mao... 论文地址：2304.02643 (arxiv.org) 声明：小编翻译论文仅为学习...[2024/7/13]

目录Kolla-ansible部署openStack1. 简介2. 环境准备3. 部署3.1 基础环境配置3.1.1 配置主机名，所有节点操作，这里以openstack01为例3.1.2 添加hosts3.1.3 配置免密登录3.1.4 关闭防火墙以及selinux3.1.5 设置yum源3.1...[2024/7/13]

题目描述 有一张n个节点的无向图，对于所有 (i,j)，判断 i 和 j 之间是否存在哈密顿路径 1<=n<=24 哈密顿路径：经过每个点恰好一次 乐乐乐乐乐 考虑暴力：\(dp[i][j][st]\)表示从\(i\)开始到\(j\)的经过的点的状态\(st\)(\(st\)状...[2024/7/13]

1. 预备知识 1.1 参考椭球 地球表面是一个凸凹不平的表面，而对于地球测量而言，地表是一个无法用数学公式表达的曲面，这样的曲面不能作为测量和制图的基准面。假想一个扁率极小的椭圆，绕地球体短轴旋转所形成的规则椭球体称之为地球椭球体。 地球椭球体与地球形体非常接近，是一个形状规则的数学表面，在...[2024/7/12]

论文基于实验验证，为数据需求预测这一问题提供了比较有用的建议，详情可以直接看看Conclusion部分。 来源：晓飞的算法工程笔记 公众号 论文: How Much More Data Do I Need? Estimating Requirements for Downstream T...[2024/7/12]

前言： ControlNet_aux库包含大量的图片预处理节点，功能丰富，适用于图像分割、边缘检测、姿势检测、深度图处理等多种预处理方式。掌握这些节点的使用是利用ControlNet的关键，本篇文章将帮助您理解和学会使用这些节点。 目录 一、安装方法 二、模型下载 三、Segmento...[2024/7/11]

作者：来自 vivo 互联网服务器团队-Leng Jianyu、Huang Haitao HBase是一款开源高可靠性、扩展性、高性能和灵活性的分布式非关系型数据库，本文围绕数据库选型以及使用HBase的痛点展开，从四个方面对HBase的使用进行优化，取得了一些不错效果。 一、业务简介 ...[2024/7/11]

两个月前，微软发布了GraphRAG的论文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》，基于知识图谱技术改进查询聚焦摘要（QFS）任务的问答，我也在之前的文章《Vector | Grap...[2024/7/11]

yolov5正样本筛选原理 正样本全称是anchor正样本，正样本所指的对象是anchor box，即先验框。 先验框：从YOLO v2开始吸收了Faster RCNN的优点，设置了一定数量的预选框，使得模型不需要直接预测物体尺度与坐标，只需要预测先验框到真实物体的偏移，降低了预测难度。 ...[2024/7/11]

技术债 技术债可能来源于多种原因，比如时间压力、资源限制、技术选型不当等。它可以表现为代码中的临时性修补、未能彻底解决的设计问题、缺乏文档或测试覆盖等。虽然技术债可以帮助快速推进项目进度，但长期来看，它会增加软件维护的成本和风险，降低系统的稳定性和可维护性。 今天，我们将专注于其中一部分问题：...[2024/7/8]

Stable Diffusion是2022年发布的深度学习文字到图像生成模型，它既能免费使用，又能部署在本地端，又有非常多的模型可以直接套用，在使用体验上比Midjourney和DALL-E更加强大。 Stable Diffusion使用的模型有下列几大类，对照模型网站 https: civit...[2024/7/8]

大侠幸会，在下全网同名「算法金」 0 基础转 AI 上岸，多个算法赛 Top 「日更万日，让更多人享受智能乐趣」 不要轻易使用 For 循环 For 循环，老铁们在编程中经常用到的一个基本结构，特别是在处理列表、字典这类数据结构时。但是，这东西真的是个双刃剑。虽然看起来挺直白，一用...[2024/7/8]

背景 PDF（Portable Document Format）是一种广泛用于文档交换的文件格式，由Adobe Systems开发。它具有跨平台性、固定布局和易于打印等特点，因此在商业、学术和个人领域广泛应用。然而，PDF文件的解析一直是一个具有挑战性的问题，因为其内部结构的复杂性和多样性，使得...[2024/7/8]

问题表现 在我的 OpenStack 集群上迁移了一批老旧的镜像（从其他三方云平台过来的）发现这批镜像在使用 ConfigDrive 的方式注入配置初始化时无法对非首张网卡镜像初始化（后经过测试非 ConfigDrive 的数据源也不行）。 排查路径 首先检查 cloud-init 是否是正常...[2024/7/3]

大侠幸会，在下全网同名「算法金」 0 基础转 AI 上岸，多个算法赛 Top 「日更万日，让更多人享受智能乐趣」 抱个拳，送个礼 在现代自然语言处理（NLP）领域，Transformer 模型的出现带来了革命性的变化。它极大地提升了语言模型的性能和效率，而自注意力机制是其中的核心...[2024/7/3]

〇、写在前面 本应用基于开源UI框架PyDracula进行开发，除去最基本的UI框架外，所有功能的前后端实现都由我个人开发完成，但也有部分UI（如开关控件和进度条）是参考其他大佬的分享。 这个应用是我的本科毕业设计，但因为个人能力不足，姑且只能使用Python+PySide6开发。 开发这个...[2024/7/3]

1、前言 在6.28/29的稀土掘金开发者大会RAG专场上，我们公司CEO员外代表TorchV分享了我们在《RAG在企业应用中落地的难点与创新》 其中最后分享了两个观点： AI在应用场景落地时有三个特点：功能小、质量高、价值大   如果说做产品是把一横做好的话，那么去做...[2024/7/3]

论文主要处理Vision Transformer中的性能问题，采用推理速度不同的级联模型进行速度优化，搭配层级间的特征复用和自注意力关系复用来提升准确率。从实验结果来看，性能提升不错 来源：晓飞的算法工程笔记 公众号 论文: Not All Images are Worth 16x16 ...[2024/7/3]

Avalonia是什么？ Avalonia是一个跨平台的UI框架，专为.NET开发打造，提供灵活的样式系统，支持Windows、macOS、Linux、iOS、Android及WebA embly等多种平台。它已成熟并适合生产环境，被Schneider Electric、Unity、JetBra...[2024/7/3]

什么是VAE？ VAE，即变分自编码器（Variational Autoencoder），是一种生成模型，它通过学习输入数据的潜在表示来重构输入数据。 在Stable Diffusion 1.4 或 1.5 模型中，通过VAE对模型进行部分更新，以提升模型渲染眼睛的能力。通过这种更新，模型在生...[2024/7/3]

大家在stable diffusion webUI中可能看到过hypernetwork这个词，那么hypernetwork到底是做什么用的呢？ 简单点说，hypernetwork模型是用于修改样式的小型神经网络。 什么是 Stable Diffusion 中的hypernetwork？ Hy...[2024/7/1]

HumanEval 是一个用于评估大型语言模型 (LLM) 在代码生成任务中的参考基准，因为它使得对紧凑的函数级代码片段的评估变得容易。然而，关于其在评估 LLM 编程能力方面的有效性越来越多的担忧，主要问题是HumanEval 中的任务太简单，可能不能代表真实世界的编程任务。相比于 Human...[2024/7/1]

前言 对于后端程序员来说，编写SQL代码是日常工作中不可或缺的一部分。然而，随着数据复杂性的增加，如何高效、准确地编写SQL查询成为了新的挑战。幸运的是，SQL Translator的出现为后端程序员提供了一个强大的工具，将自然语言查询转换为精确的SQL代码，极大地提高了工作效率。 SQL Tr...[2024/7/1]

1.概述 前段时间LangChain发布了LangGraph，它引起了很多关注。LangGraph 的主要优势在于它能够实现循环工作流，这对于在 LLM 应用程序中模拟类似代理的行为至关重要。本篇博客，笔者将从介绍 LangGraph 的功能和用例，强调它与典型的有向无环图 (DAG)工作流的区...[2024/7/1]

今天我们来学习一个有意思的多行文本输入打字效果，像是这样： 这个效果其实本身并非特别困难，实现的方式也很多，在本文中，我们更多的会聚焦于整个多行打字效果最后的动态光标的实现。 也就是如何在文本不断变长，在不确定行数的情况下，让文字的最末行右侧处，一直有一个不断闪烁的光标效果： 单行文...[2024/7/1]

ZooKeeper 简介 ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 ZooKeeper 设计目的 最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zoo...[2024/6/28]

1. LLM 推理 - TensorRT-LLM 与 Triton Inference Server 随着LLM越来越热门，LLM的推理服务也得到越来越多的关注与探索。在推理框架方面，tensorrt-llm是非常主流的开源框架，在Nvidia GPU上提供了多种优化，加速大语言模型的推理。但是...[2024/6/28]

PaddleOCR 是目前最好的开源OCR框架, 但paddle框架的兼容性实在不怎么好, 部署的时候容易出现各种各样的问题. 如果能把PaddleOCR转成ONNX, 就可以跳过paddle框架坑的同时, 又可以白嫖PaddleOCR的强大检测性能. 本文会介绍一下, 如何把最新的PP_O...[2024/6/28]

摘要 评估和比较大语言模型 (LLMs) 是一项艰巨的任务。我们 RLHF 团队在一年前就意识到了这一点，当时他们试图复现和比较多个已发布模型的结果。这几乎是不可能完成的任务：论文或营销发布中的得分缺乏可复现的代码，有时令人怀疑，大多数情况下只是通过优化的提示或评估设置来尽量提升模型表现。因此...[2024/6/28]

一、概述 作为机器学习领域的重要内容之一，聚类模型在许多方面能够发挥举足轻重的作用。所谓聚类，就是通过一定的技术方法将一堆数据样本依照其特性划分为不同的簇类，使得同一个簇内的样本有着更相近的属性。依不同的实现策略，聚类算法有很多种，如基于距离的k-means、基于密度的DBSCAN等。在聚类完成...[2024/6/28]

弹指间，2009年大学毕业到现在2024年，已经15年过去了。 前2天，看到自己2014年在博客园写的一个博客， 那个时候是工作之余创业。 感兴趣的朋友可以看看我10年前发的一篇博客 https: www.cnblogs.com/likwo/p/3832795.html 目前...[2024/6/28]

社区中有两个流行的 零冗余优化器（Zero Redundancy Optimizer，ZeRO） 算法实现，一个来自 DeepSpeed，另一个来自 PyTorch。Hugging Face Accelerate 对这两者都进行了集成并通过接口暴露出来，以供最终用户在训练/微调模型时自主选择其中...[2024/6/28]