无法解析来自包私有基类的公共泛型方法

Question

Clojure 编译器不能解析从包私有基类继承的公共泛型方法。

复制步骤

• 在包 P1 中
  • 定义一个带有泛型参数的包私有类 A
  • 在 A 中定义一个使用泛型参数的公共方法 M
    **** 定义一个扩展 A 的公共类 B
• 在包 P2 中
  • 构建 B 的一个实例
    **** 调用 B.M()

这在 Java 中是有效的。在 Clojure 中，调用 B.M 将产生反射警告，然后是错误 "java.lang.IllegalArgumentException: 不能调用非公共类中的公共方法"。无论多么多的类型提示都无法阻止警告或错误。

附件 clj-1243-demo1.tar.gz 包含演示此问题的示例代码和脚本。

使用包私有类中公共方法的 Java 项目示例

• (链接：https://netty.java.net.cn/ 文本：Netty) 4
  • 参见（链接：https://github.com/netty/netty/blob/ca0018279754557576bb2ecc17d209c2b6874609/transport/src/main/java/io/netty/bootstrap/AbstractBootstrap.java#L152 文本：AbstractBootstrap.java）和（链接：https://github.com/netty/netty/issues/1780 文本：问题 #1780）以及 Clojure 项目 CLJ-1183
• (链接：https://github.com/jfager/functional-critbit 文本：jfager/functional-critbit)
  • 参见（链接：https://github.com/jfager/functional-critbit/blob/abb927d7e93ad21eaf75da339c27220f2cfdc222/src/main/java/io/prelink/critbit/AbstractCritBitTree.java#L305 文本：AbstractCritBitTree.java)
    示例：{{(.get (io.prelink.critbit.CritBitTree. (org.ardverk.collection.DefaultKeyAnalyzer.)) nil)}}

Answer 1

评论由：stuart.sierra发布

也不能从 Java 反射调用该方法。

这可能是 Java 反射的一个错误：（链接：http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4283544 文字：JDK-4283544）

但 为什么 它只会出现在泛型方法上呢？

Comments

错误。这是一个合法的方法调用，因此可以使用 Java 反射调用它。您甚至不需要设置可访问性。请参阅我的答案示例：https://ask.clojure.org/index.php/4255/cannot-resolve-public-generic-method-package-private-class?show=12483#a12483

Answer 2

评论由：stuart.sierra发布

根据 Rich Hickey 的说法，桥接方法的存在是不确定的，并且跨 JDK 版本不一致。

一个可能的解决方案是使用 ASM 检查第三方 Java 类的字节码，而不是使用反射 API。这样 Clojure 编译器就可以获取到与 Java 编译器相同的信息。

Answer 3

评论由：jafingerhut发布

CLJ-1183 被关闭为此问题的重复项。在这里提及它，以防任何正在处理此票据的人想要访问该链接并阅读那里描述的讨论或测试用例。

Answer 4

评论由：noamb发布

我目前使用的解决方案是定义一个新的 Java 类，添加一个静态方法来做我需要的工作，然后从 Clojure 调用它。

Answer 5

评论由：noamb发布

此外，我在 1.6 和 1.7(alpha5) 中看到了这个问题，但问题中提到的是只到 1.5。

Answer 6

评论人：adamtait

尝试使用Google的Cloud API时遇到了这个问题。
要使用Google的Cloud Datastore，您需要访问受保护泛型子类（BaseKey）上的（链接：https://github.com/GoogleCloudPlatform/gcloud-java/blob/v0.1.6/gcloud-java-datastore/src/main/java/com/google/gcloud/datastore/BaseKey.java#L96 文本：.kind）方法，该类通过（链接：https://github.com/GoogleCloudPlatform/gcloud_java_datastore/blob/v0.1.6/gcloud_java_datastore/src/main/java/com/google/gcloud/datastore/KeyFactory.java#L25 文本：KeyFactory）扩展。

在Clojure 1.7和1.8的运行时都进行了测试，以下异常依然存在；
{quote}
IllegalArgumentException 无法调用非公开类的公共方法：public com.google.gcloud.datastore.BaseKey$Builder com.google.gcloud.datastore.BaseKey$Builder.kind(java.lang.String) clojure.lang.Reflector.invokeMatchingMethod (Reflector.java:88)
{quote}

Answer 7

评论人：kstrempel

我在使用Google的Cloud API时遇到了完全相同的问题。

用1.8和1.9.0-alpha7测试过。问题依旧。

Answer 8

评论人：kstrempel

我在使用Google的Cloud API时遇到了完全相同的问题。

用1.8和1.9.0-alpha7测试过。问题依旧。

Answer 9

评论人：mruza

我也遇到了相同的问题。附上的补丁（链接：^invocation_target_selection.patch 文本：附件补丁）能解决这个问题。
项目中所有的测试都通过，但这个确实需要某个精通此领域的专家来审查。

Answer 10

评论人：alexmiller

嗨Michal，

谢谢您关注此事。

1. 请参考以下链接了解如何创建补丁的正式格式： http://dev.clojure.org/display/community/Developing Patches
2. 如果能在审查过程中提供一些关于变更的解释，将非常有帮助。否则，审核人员不得不从头开始重新设计您的思维过程。
3. 在筛选之前，此变更也需要进行一些测试（诚然编写起来并不特别有趣，但我认为此处是必要的）

Answer 11

评论人：mruza

我已经根据说明添加了测试并更新了补丁。

以下是之所以这样做的原因。下面是 src/jvm/clojure/lang/Compiler.java 文件的摘录：

1462: if(target.hasJavaClass() && target.getJavaClass() != null) 1463: { 1464: List methods = Reflector.getMethods(target.getJavaClass(), args.count(), methodName, false); 1465: if(methods.isEmpty()) 1466: { 1467: method = null; 1468: if(RT.booleanCast(RT.WARN_ON_REFLECTION.deref())) 1469: { 1470: RT.errPrintWriter() 1471: .format("Reflection warning, %s:%d:%d - call to method %s on %s can't be resolved (no such method).\n", 1472: SOURCE_PATH.deref(), line, column, methodName, target.getJavaClass().getName()); 1473: } 1474: } 1475: else 1476: { 1477: int methodidx = 0; 1478: if(methods.size() > 1) 1479: { 1480: ArrayList<Class[]> params = new ArrayList(); 1481: ArrayList<Class> rets = new ArrayList(); 1482: for(int i = 0; i < methods.size(); i++) 1483: { 1484: java.lang.reflect.Method m = (java.lang.reflect.Method) methods.get(i); 1485: params.add(m.getParameterTypes()); 1486: rets.add(m.getReturnType()); 1487: } 1488: methodidx = getMatchingParams(methodName, params, args, rets); 1489: } 1490: java.lang.reflect.Method m = 1491: (java.lang.reflect.Method) (methodidx >= 0 ? methods.get(methodidx) : null); 1492: if(m != null && !Modifier.isPublic(m.getDeclaringClass().getModifiers())) 1493: { 1494: //public method of non-public class, try to find a public descendant 1495: if((type=Reflector.getDeepestPublicDescendant(m.getDeclaringClass(), target.getJavaClass())) == null) 1496: //if descendant not found, try to find an ancestor 1497: m = Reflector.getAsMethodOfPublicBase(m.getDeclaringClass(), m); 1498: } 1499: method = m; 1500: if(method == null && RT.booleanCast(RT.WARN_ON_REFLECTION.deref())) 1501: { 1502: RT.errPrintWriter() 1503: .format("Reflection warning, %s:%d:%d - call to method %s on %s can't be resolved (argument types: %s).\n", 1504: SOURCE_PATH.deref(), line, column, methodName, target.getJavaClass().getName(), getTypeStringForArgs(args)); 1505: } 1506: } 1507: }

• 第1462行的条件确保了目标类型/类的类型已知
• 第1464行调用的 {{clojure.lang.Reflector.getMethods()}} 方法返回为给定名称定义在目标类型上的所有 public 方法列表
• 然后在第1477-1491行选择了要调用的最佳方法
• 如果所选方法的声明类不是 public，将尝试找到一个既是目标类型的超类，又是所选方法声明类子类的 public 类 - 这是在 {{clojure.lang.Reflector.getDeepestPublicDescendant()}} 方法中实现的
• 如果找到了这样的类，则用它代替方法声明类来生成方法调用的字节码
• 如果没有找到这样的类，将尝试在声明所选方法的类的 public 祖先中找到一个兼容的方法

请注意，变更可能会导致调用与变更前不同的方法，正如 {{选择非public接口上的方法}} 测试所示。我认为这是一个可接受的变化，因为它
这能够更好地匹配（与参数类型相关）要调用的方法
使Clojure中的方法选择行为更类似于Java

Answer 12

评论由：stuart.sierra发布

CLJ-126 描述了Java 5上类似的問題。

Answer 13

参考：[https://clojure.atlassian.net/browse/CLJ-1243](https://clojure.atlassian.net/browse/CLJ-1243) 由 stuart.sierra 报告

Answer 14

以下是一个在Java上可以工作但在Clojure上失败的代码示例。示例类来自 [org.opensearch.client/opensearch-java "2.1.0"] 库。

这段Java代码没有问题

package example;

import org.opensearch.client.opensearch.core.bulk.IndexOperation;

import java.io.IOException;
import java.util.Map;

public class Example {
    public static void main(String[] args) throws IOException {
        new IndexOperation.Builder<Map<?, ?>>()
                .index("test-index")
                .id("test-id")
                .document(Map.of("test-document", 123))
                .build();
    }
}

Clojure版本无法使用Java互操作编写。一种解决方案是手动使用反射来调用这些方法

(ns example
  (:import (org.opensearch.client.opensearch.core.bulk IndexOperation$Builder)))

(defn bug []
  (-> (IndexOperation$Builder.)
      (.index "test-index")
      (.id "test-id")
      (.document {"test-document" 123})
      (.build)))

(defn workaround []
  (let [bulk-builder-index (-> (Class/forName "org.opensearch.client.opensearch.core.bulk.BulkOperationBase$AbstractBuilder")
                               (.getDeclaredMethod "index" (into-array Class [String])))
        bulk-builder-id (-> (Class/forName "org.opensearch.client.opensearch.core.bulk.BulkOperationBase$AbstractBuilder")
                            (.getDeclaredMethod "id" (into-array Class [String])))]
    (-> (IndexOperation$Builder.)
        ^IndexOperation$Builder ((fn [builder index]
                                   (.invoke bulk-builder-index builder (into-array Object [index])))
                                 "test-index")
        ^IndexOperation$Builder ((fn [builder id]
                                   (.invoke bulk-builder-id builder (into-array Object [id])))
                                 "test-id")
        (.document {"test-document" 123})
        (.build))))

(comment
  (bug)
  (workaround))

当使用Clojure 1.11.1加载此命名空间时，它会发出以下反射警告

Reflection warning, .../example.clj:6:7 - call to method index on org.opensearch.client.opensearch.core.bulk.IndexOperation$Builder can't be resolved (argument types: java.lang.String).
Reflection warning, .../example.clj:7:7 - call to method id can't be resolved (target class is unknown).
Reflection warning, .../example.clj:8:7 - call to method document can't be resolved (target class is unknown).
Reflection warning, .../example.clj:9:7 - reference to field build can't be resolved.

当执行bug函数时，它将抛出以下异常

Execution error (IllegalArgumentException) at example/bug (example.clj:6).
Can't call public method of non-public class: public final org.opensearch.client.opensearch.core.bulk.BulkOperationBase$AbstractBuilder org.opensearch.client.opensearch.core.bulk.BulkOperationBase$AbstractBuilder.index(java.lang.String)

IndexOperation$Builder 是一个公开的类，它扩展了受保护的抽象类 WriteOperation$AbstractBuilder，该类扩展了受保护的抽象类 BulkOperationBase$AbstractBuilder。 index 和 id 方法的返回类型是类级别的类型参数，但方法参数是非泛型的。

以下是库代码中相关的位置

• IndexOperation$Builder 类型签名
• WriteOperation$AbstractBuilder 类型签名
• BulkOperationBase$AbstractBuilder 类型签名
• BulkOperationBase$AbstractBuilder 方法签名