1，什么是cdc CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 2，f...[2023/8/11]

0、前言 本文是自己最近在项目上的需要做的一些调研和自己的一些看法，以分享为主。 2D AIGC（文生文、文生图、图生图）在今天大放异彩，产生了许多惊艳的效果，如ChatGPT系列、Imagen、DALLE2、Stable Diffusion等，那我们自然会想到，如果延申到三维呢，如果能跳过M...[2023/8/11]

源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 数据来源：norvig.com/big.txt 贝叶斯原理可看这里：机器学习算法学习笔记 - 过客匆匆，沉沉浮浮 - 博客园 (cnblogs.com) 一、数据预处理 将输入的数据全部变为小写方便后续...[2023/8/9]

参照图 7-1的方法，说明 PARTITION在数组 A=(13，19，9，5，12，8，7，4，21，2，6，11)上的操作过程。 文心一言： PARTITION 是一种常见的快速排序算法，其目的是将数组分成两个部分，使得其中一个部分的所有元素都小于另一个部分的所有元素。在这个过程中，最小的元...[2023/8/7]

概述 自然语言处理(NLP)的正式定义：是一个使用计算机科学、人工智能(AI)和形式语言学概念来分析自然语言的研究领域。不太正式的定义表明：它是一组工具，用于从自然语言源(如web页面和文本文档)获取有意义和有用的信息。 NLP工具的实现一般是基于机器学习与深度学习、其它算法(Lucene ...[2023/8/7]

在对最先进的视觉语言模型 BridgeTower 进行微调时，使用 Optimum Habana v1.6， Habana Gaudi2 可以达到 近 3 倍于 A100 的速度。硬件加速的数据加载以及 fast DDP 这两个新特性对性能提高贡献最大。 这些技术适用于任何性能瓶颈在数据加载上...[2023/8/4]

使用消息队列，我们肯定希望不丢消息，也就是消息队列组件，需要保证消息的可靠交付。消息交付的可靠性保障，有以下三种承诺： 最多一次（at most once）：消息可能会丢失，但绝不会被重复发送。 至少一次（at least once）：消息不会丢失，但有可能被重复发送。 精确一次（exactl...[2023/8/4]

TypeChat源码分析：基于大语言模型的定制化 AI Agent 交互规范 本文深入介绍了微软最近发布的 TypeChat 项目，该项目允许开发者定义大语言模型返回的响应结构。通过分析源代码，探讨了 Prompt 的基本概念，为定制化开发互动式 AI Agent 提供便捷的解决方案。 文...[2023/8/2]

前言 众所周知，使用openAI API在国内访问体验并不佳，经常遇到访问较慢或者访问失败的问题。本文着重讲讲怎么解决这个问题，让我们日常开发和使用能够更方便的体验到AI带来的便利 为了帮大家省钱，也为了方便操作，实现这套方案只需要以下这三样东西 一个可使用的OpenAI key 一个可以...[2023/7/31]

1.概述 ChatGPT是一款由OpenAI推出的先进对话模型，其强大的自然语言处理能力使得它成为构建智能对话系统和人机交互应用的理想选择。为了进一步拓展ChatGPT的功能和适应不同领域的需求，OpenAI提供了插件开发平台，让开发者可以定制化和扩展ChatGPT的能力。 2.内容 Open...[2023/7/31]

参考自Kaggle大神approachingalmost的书籍《Approaching (Almost) Any Machine Learning Problem》 交叉验证 在机器学习的有监督训练中，我们通常需要将训练集的一部分划分为验证集，用于评估当前模型的训练效果，避免因多次迭代在训...[2023/7/28]

作者：vivo 互联网存储技术团队- Hang Zhengbo 本文对 HBase Compaction 的原理、流程以及限流的策略进行了详细的介绍，列举了几个线上进行调优的案例，最后对 Compaction 的相关参数进行了总结。 一、Compaction 介绍 HBase 是基于一种...[2023/7/28]

ChatGPT 1.0.0安卓分析，仅限国内分享 博客园首发，本文将对ChatGpt Android版本1.0.0 APK进行静态解包分析和抓包分析，从ChatGpt Android APK功能的设计、校验过程和代码内包含的信息来预测OpenAI的大致走向。 Sensor Tower指出...[2023/7/28]

Llama 2：开放式基础和微调聊天模型 写在前头 因为最近一直在使用 LLM 工具，所以在学习 Llama 2：开放式基础和微调聊天模型 这篇论文的期间，顺手将内容翻译了过来。 整片译文是由 ChatGPT3.5、DeepL、Copilot X和笔者一起完成的，特此表示感谢。 概要 在这项...[2023/7/28]

论文信息 论文标题：Adversarial and Domain-Aware BERT for Cro -Domain Sentiment Analysis 论文作者： 论文来源：2020 ACL 论文地址：download  论文代码：download 视屏讲解：click 1 介绍&...[2023/7/28]

本文示例代码已上传至我的Github仓库https: github.com/CNFeffery/DataScienceStudyNotes 1 简介 　　大家好我是费老师，在日常研发地图类应用的场景中，为了在地图上快速加载大量的矢量要素，且方便快捷的在前端处理矢量的样式，且矢量数据可以携带...[2023/7/26]

大家好，我是老章 好久没有写文章了，顺便向大家汇报一下最近在忙的事情（多数无疾而终）： 1 开发了一个IMG2Latex工具（截图一个公式，自动把latex代码塞进剪贴板） 2 开发了一个播客转文字稿，文字稿摘要工具 3 为ExcaliDraw添加自定义字体、公式渲染支持 4 玩声音克...[2023/7/24]

AI 使用大型语言模型（LLM）来理解和生成自然语言。LLM 可以从大量文本中学习并创建有关各种主题的文本，并可以完成比如编写代码、生成歌词、总结文章等任务。但有些 LLM 相关课程成本高昂且封闭，而现有的开放课程数量十分有限。这就是 Meta 推出新的开源 LLM Llama 2 的原因。 ...[2023/7/24]

Llama一直被誉为AI社区中最强大的开源大模型。然而，由于开源协议的限制，它一直不能被免费用于商业用途。然而，这一切在7月19日发生了改变，当Meta终于发布了大家期待已久的免费商用版本Llama2。Llama2是一个由Meta AI开发的预训练大语言模型，它可以接受任何自然语言文本作为输入，...[2023/7/24]

Knowledge Distill 蒸馏思想 知识蒸馏是一种模型压缩方法，通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的的教学模型（教师模型），在不改变学生模型结构的情况下提高其性能。最早由Hinton在2015年提出，应用于分类任务。知识蒸馏的目的是将教师模型中的知识转移到学生模...[2023/7/24]

前面的文章（飞桨paddlespeech语音唤醒推理C浮点实现）讲了飞桨paddlespeech语音唤醒推理的C浮点实现。但是嵌入式设备通常CPU频率低和memory小，在嵌入式设备上要想流畅的运行语音唤醒功能，通常用的是定点实现。于是我就在浮点实现（把卷积层和相应的batchNormal层合并...[2023/7/21]

都2023年，才来回答这个问题，自然毫无悬念地选择PyTorch，TensorFlow在大模型这一波浪潮中没有起死回生，有点惋惜，现在GLM、GPT、LLaMA等各种大模型都是基于PyTorch框架构建。这个事情已经水落石出。 不过呢，我觉得可以一起去回顾下，在AI框架发展的过程中，都沉陷了哪...[2023/7/19]

　　在软件开发过程中，经常会遇到需要完善功能模块、调试代码和解决问题的情况。为了提高效率，我们可以借助人工智能技术，例如OpenAI的ChatGPT语言模型，来协助我们进行代码编写和调试。本文将介绍一个案例，展示了如何利用ChatGPT的强大能力，让工程师轻松应对代码开发过程中的挑战。 功能模...[2023/7/19]

     《ChatGPT在工业领域的研究与应用探索-数据与工况认知》      《ChatGPT在工业领域的研究与应用探索-AI助手实验应用》       Ch...[2023/7/19]

PROC FCMP 概述 PROC FCMP 可用于自定义函数（funcion）和子程序（subroutines）。自定义函数和子程序的名称的最大长度为 32，长度超过 32 的名称虽然可以定义，但无法调用。 创建自定义函数和子程序的优点： 使程序易读、易修改 使函数和子程序独立于外部环境，...[2023/7/19]

摘要：CV、NLP、大模型...AI技术的加持下，让数字人内外在更加生动真实。在未来的发展中，数字人的应用场景越来越广泛，并将发挥出重要的作用，让美好照进生活。 本文分享自华为云社区《AIGC：新AI时代，推动数字人进化的引擎》，作者：华为云社区精选。 现在我们在手机视频里经常看到，几百平方米...[2023/7/14]

在前面的文章中，我们介绍了实现原理和基本环境安装。本文将重点介绍数据训练的流程，以及如何加载、切割、训练数据，并使用向量数据库Milvus进行数据存储。 1. 数据训练依赖于向量数据库 在本文中，我们使用了Milvus作为向量数据库。读者可以参考之前的文章《基于GPT搭建私有知识库聊天机器人（...[2023/7/14]

前文链接： 基于GPT搭建私有知识库聊天机器人（一）实现原理 基于GPT搭建私有知识库聊天机器人（二）环境安装 基于GPT搭建私有知识库聊天机器人（三）向量数据训练 在前面的文章中，我们介绍了如何使用GPT模型搭建私有知识库聊天机器人的基本原理、环境安装、数据向量化。本文将进一步介绍如...[2023/7/14]

前几天分享了几张Stable Diffusion生成的艺术二维码，有同学反映不知道怎么查看图片的参数信息，还有的同学问怎么保护自己的图片生成参数不会泄露，这篇文章就来专门分享如何查看和抹除图片的参数。 查看图片的生成参数 1、打开Stable Diffusion WebUI，点击Tab...[2023/7/14]

20K的token，2023年的资料，还支持上传文件？W3xue来测测Cluade 2

在之前艰苦的日子，我们评测了常用的4个LLM（chatGPT3.5、新必应、文心一言、Cluade）： 全面测评！chatGPT、新必应、文心一言、Cluade，到底谁更强？W3xue告诉你 以及科大讯飞的星火大模型： 科大讯飞星火大模型测评 阿里的“通义千问”大模型： 阿里巴巴“通义千问”大评测...[2023/7/13]

作者：小傅哥 博客：https: bugstack.cn 原文：https: bugstack.cn/md/road-map/road-map.html 沉淀、分享、成长，让自己和他人都能有所收获！?? 本文的宗旨在于通过简单干净实践的方式教会读者，为什么要使用Dubbo、怎么使...[2023/7/12]

目录一、前言二、开聊2.1 Golang 里的并发机制介绍2.2 Goroutine 与线程2.3 Goroutine 与线程的调度开销2.4 用户态和内核态2.5 Golang 并发编程相关的知识点2.6 Select 语句2.7 Select 语句的 default 使用场景三、总结 一、...[2023/7/12]

　　随着人工智能（AI）技术的快速发展，它在各个领域都展现出了巨大的潜力和影响力。在软件测试领域，AI技术也越来越得到重视和应用。本文将探讨AI技术在软件测试中的应用和实践，重点关注chatGPT如何根据测试工程师的提示词编写功能测试用例、接口测试用例、性能测试用例和自动化代码，并提供一些具体的...[2023/7/12]

btw: 我的个人博客网站 目录一、前言二、开聊2.1 Golang 中的 sync 包 - Mutex, RWMutex 和 WaitGroup2.2 条件变量 sync.Cond2.3 sync.Cond 的 Broadcast() 方法2.4 原子操作 Atomic2.5 context...[2023/7/12]

远程调用百度AI开放平台的web服务，快速完成人脸识别 欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https: github.com/zq2599/blog_demos 本篇概览 在检测人脸数量、位置、性别、口罩等场景时，可以考虑使用百度开放平台提供的web...[2023/7/5]

前几天看到几个逼格比较高的二维码，然后自己动手做了一下，给大家看看效果： 1、文生图（狮子）： 2、文生图（城市）：   下边将开始介绍怎么做的，有兴趣的可以继续读一读。 这里使用的AI绘图工具是Stable Diffusion，没有的同学需要去部署一个，计算平...[2023/7/5]

1 前言 相信各位小伙伴之前或多或少接触过消息队列，比较知名的包含Rocket MQ和Kafka，在京东内部使用的是自研的消息中间件JMQ，从JMQ2升级到JMQ4的也是带来了性能上的明显提升，并且JMQ4的底层也是参考Kafka去做的设计。在这里我会给大家展示Kafka它的高性能是如何设计的，...[2023/7/3]

基于uniapp+vite4+pinia跨多端实现chatgpt会话模板Uniapp-ChatGPT。 uni-chatgpt 使用uni-app+vite4+vue3+pinia+uview-plus等技术构建多端仿制ChatGPT手机端APP会话应用模板。支持编译到h5+小程序+APP端，...[2023/6/28]

本文提供了一个使用 Hugging Face ?? Transformers 在任意多语种语音识别 (ASR) 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，并提供了数据准备和微调的相关代码。如果你想要...[2023/6/28]

1.概述 ChatGPT是由 OpenAI 开发的一种强大的语言模型，它在许多自然语言处理任务中展现出了惊人的能力。而其中一个关键的技术概念就是 "Prompt"。本文将深入探讨 Prompt 的概念、作用和应用，以及如何在与 ChatGPT 进行交互时充分利用 Prompt 的能力。 2.内容...[2023/6/28]

@目录概述定义什么是CDC?CDC的分类特性应用场景支持数据源实战Flink DataStream方式代码示例FlinkSQL方式代码示例 概述 定义 flink-cdc-connectors 官网 https: github.com/ververica/flink-cdc-connect...[2023/6/28]

上一篇文章 我在 vscode 插件里接入了 ChatGPT，解决了代码变量命名的难题 中，展示了如何在 vscode 插件中使用 ChatGPT 解决代码变量命名的问题。vscode 插件市场中有很多的翻译插件，但是在一些使用场景里是远远比不上 ChatGPT 的，比如只翻译一段 json 数...[2023/6/26]

摘要：DSSM 用字向量作为输入既可以减少切词的依赖，又可以提高模型的泛化能力，因为每个汉字所能表达的语义是可以复用的。 本文分享自华为云社区《深度学习应用篇-推荐系统[12]：经典模型-DeepFM模型、DSSM模型召回排序策略以及和其他模型对比》，作者：汀丶。 1.DeepFM模型 1.1模...[2023/6/21]

ChatGPT是最近的热门话题，作为语言模型，它擅长处理各种语言相关的问题。显然，ABAP也是一种语言，ABAP开发者的很大一部分工作就是把自然语言和ABAP语言做互相转换，这应该也是在ChatGPT的擅长范畴内。那么ChatGPT能做好ABAP开发者的工作吗？本文记录了我的一些使用经验和感想。...[2023/6/21]

随着AI大模型的浪潮席卷全球，如今的AI技术已经颠覆了大家对传统AI的认识，微软更是用浏览器与搜索引擎上的实践，证明了当今的AI技术具备打破行业格局的能力。 对于我们应用开发者来说，AI基建的建设与竞争是无法参与的，但在AI的应用领域依然大有可为！目前，国内各大科技公司已经陆续推出了各自的AI...[2023/6/21]

kafka学习之三_信创CPU下单节点kafka性能测试验证 背景 前面学习了 3controller+5broker 的集群部署模式. 晚上想着能够验证一下国产机器的性能. 但是国产机器上面的设备有限. 所以想着进行单节点的安装与测试. 并且记录一下简单结果 希望对以后的工作有指导意义 ...[2023/6/21]

现在其实已经有很多在线的llm服务了，当然也存在许多开源部署方案，但是不知道大家有没有发现一个问题，目前基于ChatGPT开发的应用，都是使用的OpenAI的接口。换句话说，如果没有OpenAI账号，就没有办法使用这些应用。但是其实这些应用并不是强依赖于OpenAI的接口，其他的在线llm服务也...[2023/6/19]

摘要：本文由葡萄城技术团队编写，文章的内容借鉴于Ibrahim John的《The Art of Asking ChatGPT》（向ChatGPT提问的艺术）。 前言 当今，ChatGPT赢得越来越多人的青睐，人们通过它输入问题并获取答案。但除了简单的一问一答以外，ChatGPT还有许多隐...[2023/6/14]

硬件准备 物理内存：至少16G（8G直接安装阶段就卡死） N卡：此处我使用GTX 1660 6G (2019年双12购买) 操作系统 windows 11 软件准备 网络要通畅 git： https: git-scm.com/download/win Python: https: ww...[2023/6/14]

lowcode 插件 已经迭代了差不多3年。作为我的生产力工具，平常一些不需要动脑的搬砖活基本上都是用 lowcode 去完成，比如管理脚手架，生成 CURD 页面，根据接口文档生成 TS 类型，生成 mock 等等。 借助 lowcode 的区块物料的功能，能快速生成 CURD 页面，但...[2023/6/14]