
当AI编程席卷前后端斥地时,数据部门却成为临了的'手责任坊'。本文作家通过实战考据AI生成SQL主义的可行性,从Claude的代码生成到元数据罗网破解,揭示数据基建与AI合营的深层逻辑。这场时期解围不仅关乎成果普及,更在倒逼企业数据治理体系升级。

从本年1月份启动,笔者地方公司的前、后端斥地们统统开启了 AI coding(通过 AI 支持编写代码)的责任花样。除了外采供应系统的矫正斥地外,其他端通过 AI 编写代码的掩盖率最高以致达到了 80% 以上。可笔者地方的数据部门,实在通盘的数仓已经“不忘初心”——通过手搓代码的式样去建表、斥田主义。其后和他们疏通,齐清一色的呈文:“等我跟 AI 讲明晰的时辰,我我方早齐写好了”。
一启动笔者也和大大量数仓伙伴相同,以为 AI 还替代不了数据关系的岗亭,还洋洋逍遥不会有裁人的风险。当每隔几周 AI 界就会出现爆炸性的冲破时,笔者片刻坚硬到要是还拿可贵性的格调对待 AI 时,那将失去和 AI 产生其他可能性的契机。今天笔者就从术与谈两个维度,连合主义 AI 坐褥的试验聊聊我方的成见,也迎接众人鄙人方留言盘考。
忘掉我方的岗亭属性,不细目的让 AI 来支持你“要是我先把这条路跑通呢?”这是笔者那时的成见,因为数据产物自己就要求了解 SQL(一种用于操作、经管关总共据库的言语),自然对数据斥地有更多的了解,于是笔者决定我方上手去干。
动身点笔者想在收罗上找一些对于主义 AI 斥地的顺利教会,但实在找不到一个不错复用的例子去师法。其后猜度 w 磨真金不怕火的一句话:“要是数据分析莫得念念路,那就先假设一个论断,按这个主义去分析”,笔者索性假设 AI 大模子约略彭胀这个任务,就问了大模子如下这句话:
我是想通过你帮我生成推测主义的 SQL ,我需要给你提供哪些必要信息?
经过一轮的休养对话后,豆包、Claude 隔离给笔者输出了各自的决策(部分截图如下),因为 Claude 决策爽脆,我优先继承了 Claude 的决策去磨真金不怕火。
浮现 AI,给概爽脆念念维成立主义与畛域阐述了决策选型后,笔者莫得立即启动,因为 AI 斥地实质是对语义的浮现,浮现的不同就会出现各式概爽脆的彭胀式样。
这种机制对系统斥地可能不会带了顶点影响,系统功能处治的是用户需求,处治需求的截止亦然多种各类(比如,用户登录不错邮箱、手机登录,也不错第三方或我方的域账号登录,最终截止是让用户不错探询系统)。可数据主义斥地最终对应的是具体数值,且只消唯独准确的数值。是以笔者在磨真金不怕火决策时,遴荐以斥地过的口径复杂的主义为切入点,最终将两段 SQL 彭胀的截止进行对比,考据生成代码的准确性。
在决策彭胀前,笔者准备了两类文档,一类是主义字典(包含主义推测口径及其推测因子对应表、字段的血统关系),另一类是元数据信息(包含字段称号、字段说明等)和数据样本,如下图所示(数据样本略)。
第一次让 Claude 生成时,SQL 中的 where 条目多了三个笔者莫得在主义字典中声明的内容。其后笔者在排查中发现了问题,因为元数据文档我径直照搬了数仓伙伴的注目,而这三个刚巧是唯独进行“值说明”的字段(如上图红框部分),就影响了 AI 的把稳力权重。于是在休养教唆词后,笔者取得了最终的代码。
AI 的价值不是替代东谈主,而是自若东谈主去创造价值在临了彭胀两段 SQL 代码,AI 生成与数仓手搓的截止存在少许位的偏差。把两段代码提供给 Claude ,它快速定位到了不同点:数仓手搓的是按 SKU 单独算天数再取整,而 AI 生成的是先汇总通盘金额再补救算天数。其后在和数仓伙伴老川对数据二次推测校验后,阐述 AI 生成的推测逻辑更准确。首校服利,笔者特殊抖擞,连合遭逢的问题,整理出最终基于大模子的 SQL 代码自动化生成决策(如下图,已在笔者部门内期骗)。
温馨教唆:因为每次彭胀齐是概爽脆,是以一次有用的彭胀手脚一定要保存下来。要是世俗使用不错把上述经过生成 skills,这么以后任何时候对话,只消输入“/手段称号”就能调用。也不错把通盘彭胀经过生成个文献,当下次对话时不错让 AI 探询这个文献,了解前次的顺利教会。
咱们再回偏激来望望通盘主义 AI 坐褥的经过,破耗时辰、元气心灵最多的便是主义字典、元数据、表&字段血统等信息的准备上,对于数仓来说如实是和 AI 对话的时辰早齐不错把 SQL 写收场。但这不是一锤子的营业,这个经过既反向要求数据部门作念好数据基建(设施的数仓表架构、主义字典、元数据等),又约略在其他数据期骗上提供基础(比如自助分析,下篇会先容),是一个旯旮资本递减、成果箝制突显的经过。
让咱们成为在错乱中保捏乐不雅并鼓动事情发生的东谈主吧~
本文由东谈主东谈主齐是产物司理作家【潮生】,微信公众号:【潮生兮】,原创/授权 发布于东谈主东谈主齐是产物司理,未经许可,退却转载。
题图来自Unsplash云开体育,基于 CC0 条约。
