这肯定不是斯蒂芬·库里(库里)在奥运会结束时完成的事。
每季度,Databricks 会回顾他们即将推出的产品路线图,让我们提前看看未来的产品计划。根据今天的讨论,这是我对 2025 年第三季度所期待的内容。
Unity
一如既往,在 Databricks 中,统一目录一直是标准,将会新增许多功能。
自动检测个人身份信息
PII的自动识别将会使得在数据集上实施基于属性的访问控制变得容易得多,即使这些数据集没有明确指定相关访问控制。自定义规则也将帮助公司设置这些控制,并确保添加的所有内容都会正确分类。
Unity RESTful API(统一 RESTful API)
既然 Unity 开源了,而且更容易访问,有一个 REST API 就更有意义了。能够在不同的工具之间按需在 Unity 中编写,这对工程师来说是一项重大成就。
表触发器是我非常期待的一项功能。能够在数据到达时自动运行流程,而无需像使用Airflow这样的编排引擎,这使得Databricks更加自给自足,这符合他们对于LakeFlow的愿景。
我对PyDABs很感兴趣,虽然这听起来像是用Python编写的DAB开发。作为一名最近几个月在DAB上尝试过一段时间的人,当然,这里还有一个双关语,跟随所有的YAML配置文件绝对不是最简单的经历。如果在捆绑配置中增加更多的本地编程开发,将使开发体验更好。
更好地管理无服务器计算资源的成本也将是一个利好。
一旦 Databricks 这样的工具推出,自动查询优化将变得非常有趣。虽然查询优化并不是一件容易的事,但如果这个工具能帮忙解决这些问题,那就更好了。
Databricks还提到,我们最终会在Workplace中看到DABs。这是否意味着我们会在Databricks里设置好配置后,它会自动启动我们需要的东西?这部分我不是很明白,不过还是要看最终会是怎么样的。
注册这些未来的路线图相关的网络研讨会是完全免费的,如果你想更多地了解即将发布的内容,这绝对值得你花时间。毕竟,谁知道我们将来对这些路线图能有多少发言权!