聊一聊:AI时代的前夜 2023年,是一个有趣的年份,结束了3年的疫情时代,迎来 openai 为AI领域带来的革命性应用chatgpt。一时间,仿佛每个角落都在关注AI相关的最新动态。《浪潮之巅》里面描述了数字时代的行业巨头潮起潮落,这一次 AI 来到的浪潮之巅。 对个人的影响带来的好处 成为了GitHub Copilot重度用户。作为最早期的内测用户,到后面的一年付费用户,GitHub Copilot的确提高了我的 2023-05-28
Web服务打包exe 背景项目组开发的一个支持多人协作工具类的web应用,产品经理希望开放出去给其他人试用,并且支持私有化部署。当我们开发一个 Web 服务时,通常需要在服务器上运行我们的代码。但是,有时我们需要将我们的 Web 服务打包成一个可执行文件(.exe),这样我们就可以在没有 Python 环境的计算机上运行它。 2023-03-27 #Python
聊一聊:我眼中的数据中台 最近的两份工作基本都是围绕数据中台展开,因此这里复盘一下,一个数据应用开发人员眼中的数据中台全景。 数据中台的诞生,是为了解决企业中各个系统烟囱林立的问题。数据中台是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。 这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用 2022-03-26 #大数据
内网ubuntu环境下离线部署K8s 背景最近工作在内网环境,需要从头搭建一个K8s集群并进行微服务迁移。 前期调研的K8S离线部署的方案,可以参考其他博主的博文——万字长文详解 PaaS toB 场景下 K8s 离线部署方案 Item Language Star Fork 离线部署支持情况 kops Golang 13.2k 4.1k 不支持 kubespray Ansible 11.1k 4.7k 支持,需自行 2022-01-01 #k8s #docker
聊一聊:FaaS 在大规模网络爬虫的实践 1. 什么是Faas“功能即服务”(或称为 FaaS)是一种在无状态容器中运行的事件驱动型计算执行模型,这些功能将利用服务来管理服务器端逻辑和状态。 它允许开发人员以功能的形式来构建、运行和管理这些应用包,无需维护自己的基础架构。 FaaS 是一种实现无服务器计算的方法,藉此开发人员可以编写业务逻辑,然后在完全由平台管理的 Linux 容器中执行这些业务逻辑。 该平台通常位于云端,但模型正在 2021-10-24 #云原生 #faas #serverless #爬虫 #无头浏览器
聊一聊:Golang 使用sync.Pool 降低GC压力 1 前言 一句话总结:保存和复用临时对象,减少内存分配,降低 GC 压力。 sync.Pool大致的工作原理: 利用 GMP 的特性,为每个 P 创建了一个本地对象池 poolLocal,尽量减少并发冲突。 每个 poolLocal 都有一个 private 对象,优先存取 private 对象,可以避免进入复杂逻辑。 在 Get 和 Put 期间,利用 pin 锁定当前 P,防止 gorou 2021-10-23 #面试 #Golang
聊一聊:Python和Golang的垃圾回收 在计算机科学中,垃圾回收(英语:Garbage Collection,缩写为GC)是指一种自动的存储器管理机制。当某个程序占用的一部分内存空间不再被这个程序访问时,这个程序会借助垃圾回收算法向操作系统归还这部分内存空间。垃圾回收器可以减轻程序员的负担,也减少程序中的错误。垃圾回收最早起源于LISP语言。[1][2]目前许多语言如Smalltalk、Java、C#、Go和D语言都支持垃圾回收器。 2021-10-15 计算机技术 #Python #Golang
聊聊数据库的那些索引 作为后端开发工程师随着工作年限的增长,慢慢接触了许多数据库: MySQL MongoDB InfluxDB Elasticsearch(搜索引擎,姑且也算是一种nosql数据库) 随着业务特性不同,我在不同的项目里最终选择了不同的数据库作为核心数据存储。本文主要总结一下,这些数据库中主流存储引擎的底层索引结构。 B+树索引 B+ 树 是一种树数据结构,通常用于数据库和操作系统的文件系 2021-09-29 #数据库 #mysql #influxdb #MongoDB
源码阅读——robfig/cron cron一个用于管理定时任务的库,用 Go 实现 Linux 中crontab这个命令的效果。这个包提供的功能相对比较底层,许多分布式任务管理系统中在定时部分使用了这个cron。 cronsun gocron dkron crawlab 我最近也用这个包比较多,今天看了一下整体的源码。 源码结构12345678910111213141516171819cron 2021-09-17 源码阅读计划 #Golang
GitHub Actions+Serverless搭建博客 这个博客网站架构经历了好几次的变更: 为了学习django:在学校对着视频,自己写了一个传统博客站点,对应的项目:Github 自己写的前端太丑:转入博客园 博客园也不稳定:转入gitpage gitpage太慢:转入腾讯云 去年在V站上面,看到小伙伴在推荐良心云的云开发 CloudBase可以有免费的cdn用,也是觉得gitpage的访问速度属实太慢了,去年年底就把博客挂在了良心云上面,目前 2021-09-11