S3 存储库 + 某些依赖似乎是导致无限解析循环的原因

Question

嗨，我在尝试使 AWS CDK 与一个 Datomic Cloud 项目配合工作时遇到了这个问题（CLI 1.10.3.855）。似乎如果一个 S3 存储库（例如，datomic 存储库）被定义并且某些依赖被定义，CLI/deps 似乎会进入无限解析循环。在一定时间之后，我会看到同一组“从 <repo-alias> 下载”消息，直到它因为“打开文件太多”异常而崩溃。

以下是导致问题的简化版的 deps.edn。请注意，注释掉 :mvn/repos 可以解决问题。另外，iam 和核心 CDK 依赖（在 :mvn/repos 定义的情况下）似乎也不会导致这个问题。

{:paths   ["src" "resources"]
 :deps    {org.clojure/clojure {:mvn/version "1.10.3"}
           ;com.datomic/ion                  {:mvn/version "0.9.50"},
           ;com.datomic/client-cloud         {:mvn/version "0.8.113"},
           }
 :mvn/repos
          {"datomic-cloud" {:url "s3://datomic-releases-1fc2183a/maven/releases"}}
 :aliases {:ion-dev {:extra-deps {com.datomic/ion-dev {:mvn/version "0.9.290"}}}
           :cdk     {:extra-paths ["cdk"]
                     :extra-deps  {
                                   software.amazon.awscdk/codebuild {:mvn/version "1.115.0"}
                                   ;software.amazon.awscdk/core      {:mvn/version "1.115.0"}
                                   ;software.amazon.awscdk/iam       {:mvn/version "1.115.0"}
                                   }}}}

Answer 1

记录在https://clojure.atlassian.net/browse/TDEPS-199

我能够重现这个问题。有一些并行操作可能会使错误变得混乱，因此使用 -Sthreads 1 稍微有所帮助。我有点怀疑这更多与套接字有关，而不是实际的文件。但，需要更多的调查。

Comments

非常感谢！是的，我不确定之前调查时发生了什么，但我随后能够让它在 tools.deps 项目的 REPL 中失败。

---

只是个提醒，是的，关于 sockets 的。因为无法附加图片，但我在 JVM 中调整以允许我的 REPL 会话更多文件句柄后，它运行得更长时间，最终在失败前打开了 25k 个端口。

---

听起来可疑，谢谢。我会在某个时候深入了解，但这可能需要一段时间。

---

没问题。但我认为我已经解决了它！我刚刚移除了将 http-client 明确传递给 aws/client 的代码。我有一个补丁，但没有 JIRA 账号。

---

为了提供一个补丁，我需要您遵循贡献者流程（签署贡献者协议，请求访问jira，将补丁附加到jira）。请参阅https://clojure.org/dev/dev#_becoming_a_contributor

或者如果您只是想指出一些代码，这也完全可以。

---

填写了贡献协议，但在此期间，它在我的分支上：https://github.com/eoliphan/tools.deps.alpha

Answer 2

更多信息（以及一些奇怪之处）。因此，我决定自己查看，简化了我的项目并直接拉取了0.12.985。在REPL中运行以下代码给出相同的问题

(require '[clojure.tools.deps.alpha :as deps])
  (require '[clojure.tools.deps.alpha.util.maven :as mvn])
  (deps/resolve-deps {:paths ["src" "resources"]
                      :deps  '{org.clojure/clojure              {:mvn/version "1.10.3"}
                               com.datomic/ion                  {:mvn/version "0.9.50"},
                               software.amazon.awscdk/codebuild {:mvn/version "1.115.0"}}
                      :mvn/repos
                             (merge mvn/standard-repos {"datomic-cloud" {:url "s3://datomic-releases-1fc2183a/maven/releases"}})} {})

但是，然后我拉取了tools.deps.alpha代码，在同一富评论块中运行相同的代码，却正常工作。

 (print-tree
    (resolve-deps {:paths ["src" "resources"]
                   :deps  '{org.clojure/clojure              {:mvn/version "1.10.3"}
                            com.datomic/ion                  {:mvn/version "0.9.50"},
                            software.amazon.awscdk/codebuild {:mvn/version "1.115.0"}}
                   :mvn/repos
                          (merge mvn/standard-repos {"datomic-cloud" {:url "s3://datomic-releases-1fc2183a/maven/releases"}})}
      {}))

我最初以为这是在master上修复了，但就算检出0.12.985标签，并重新运行，似乎也没有问题。在我的测试项目中，将tools.deps设置为:local/root或:git/url依赖会导致它按预期工作。

因此，我猜想可能是CLI.jar本身有点奇怪。我尝试升级到最新的1.10.3.929，但问题通过CLI仍然存在