Databricks-GitHub集成,自动将所有笔记本添加到存储库

维亚切斯拉夫·沙拉莫夫(Viacheslav Shalamov)

我正在尝试为Databricks建立GitHub集成
我们那里有数百个笔记本,因此将每个笔记本手动添加到存储库将很累。

有没有办法自动提交所有笔记本并将其从数据块送到存储库?

维亚切斯拉夫·沙拉莫夫(Viacheslav Shalamov)

由于三个月没有人回答,我将提出自己的解决方案。

/Shared/databricks的dir下,我们有应该同步到的存储库的笔记本notebooks/Shared/
我会定期运行此脚本,从而使所有笔记本电脑都保持最新状态。

databricks workspace export_dir /Shared ./notebooks/Shared -o
git add --all
git commit -m "shared notebooks updated"
git push

-o 标志用于覆盖最新版本的现有笔记本。

此处提供更多信息:https : //databricks.com/blog/2017/11/08/introducing-command-line-interface-for-databricks-developers.html

请注意,您首先必须在计算机上设置和配置databricks-cli:https ://docs.databricks.com/user-guide/dev-tools/databricks-cli.html#set-up-the-cli

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

为用户/组授予对 Databricks 工作区中所有笔记本的读取权限

Azure databricks 笔记本缺少存储库

Azure Databricks - 从笔记本克隆 git 存储库

将重试添加到将来的序列中,以便在Scala中并行运行Databricks笔记本

KeyVault -> Databricks 自动集成

如何在没有笔记本的情况下从Azure Databricks Spark群集查询数据?

DataBricks:笔记本:Python:FileNotFoundError

Databricks 笔记本时间表

Databricks文件存储= 0

将生命周期配置添加到 SageMaker 中的现有笔记本?

提交指定群集池的databricks笔记本运行?

如何禁用Databricks笔记本中的广播?

Databricks 笔记本:对多行使用魔术命令

使用 Python 在笔记本之间传输 Azure Databricks 参数

禁用Databricks笔记本中的命令框

如何从Apache Airflow触发Azure Databricks笔记本

Databricks笔记本在内存作业时崩溃

Databricks笔记本电脑电池运行时

如何在 Databricks 笔记本中使用 Airflow 变量?

如何将 databricks avro jar 添加到 hdinsight

将 GitHub 存储库导入 Databricks 社区版

Azure Databricks笔记本参数传递

Azure Databricks:如何在Databricks群集中添加Spark配置

如何在Databricks pyspark笔记本中包含额外的库/程序包?

如何使用笔记本中的某些命令在databricks群集上安装库?

Databricks 笔记本如何为单元格添加标题

Databricks GitHub 和 Bitbucket 集成,凭证冲突

将值从一个笔记本传递到另一个笔记本-Databricks

如果我在单行databricks笔记本中执行命令,将花费更少的时间?