Android上的OpenGL绘图与Unity结合以通过帧缓冲区传输纹理无法正常工作

我目前正在为Unity制作一个Android播放器插件。基本想法是，我将MediaPlayer在Android上播放视频，该视频提供了一个setSurfaceAPI ，该API接收一个SurfaceTextureas构造函数参数，最后与OpenGL-ES纹理绑定。在大多数其他情况下，例如显示图像，我们可以仅以指针/ id的形式将此纹理发送给Unity，在其中调用Texture2D.CreateExternalTexture以生成一个Texture2D对象并将其设置为UIGameObject以呈现图片。但是，在显示视频帧时，这有点不同，因为在Android上播放视频需要一种纹理类型，GL_TEXTURE_EXTERNAL_OES而Unity仅支持通用类型GL_TEXTURE_2D。

为了解决该问题，我已经搜索了一段时间，并且知道应该采用一种称为“渲染到纹理”的技术。更明确地说，我应该产生2层的纹理，一个用于MediaPlayer和SurfaceTextureAndroid中接收视频帧和另一团结也应具有图像数据内。第一个应该是类型GL_TEXTURE_EXTERNAL_OES（简称为OES纹理），第二个应该是类型GL_TEXTURE_2D（称为2D纹理）。这些生成的纹理在开始时都是空的。当与绑定时MediaPlayer，OES纹理将在视频播放期间更新，然后我们可以使用FrameBuffer在2D纹理上绘制OES纹理的内容。

我已经编写了此过程的纯Android版本，当我最终在屏幕上绘制2D纹理时，它工作得很好。但是，当我将其发布为Unity Android插件并在Unity上运行相同的代码时，将不会显示任何图片。相反，它仅显示来自的预设颜色glClearColor，这意味着两件事：

1. OES纹理-> FrameBuffer-> 2D纹理的传输过程完成，Unity收到最终的2D纹理。因为glClearColor仅当我们将OES纹理的内容绘制到时才调用FrameBuffer。
2. 在绘制之后发生了一些错误glClearColor，因为我们看不到视频帧图片。实际上，glReadPixels在绘制之后，在与解除绑定之前，我也会调用FrameBuffer，它将从FrameBuffer绑定的对象中读取数据。并返回与我们设置的颜色相同的单一颜色值glClearColor。

为了简化我应该在此处提供的代码，我将通过绘制一个三角形到2D纹理FrameBuffer。如果我们能弄清楚哪一部分是错误的，那么我们可以轻松地解决类似的问题来绘制视频帧。

该函数将在Unity上调用：

  public int displayTriangle() {
    Texture2D texture = new Texture2D(UnityPlayer.currentActivity);
    texture.init();

    Triangle triangle = new Triangle(UnityPlayer.currentActivity);
    triangle.init();

    TextureTransfer textureTransfer = new TextureTransfer();
    textureTransfer.tryToCreateFBO();

    mTextureWidth = 960;
    mTextureHeight = 960;
    textureTransfer.tryToInitTempTexture2D(texture.getTextureID(), mTextureWidth, mTextureHeight);

    textureTransfer.fboStart();
    triangle.draw();
    textureTransfer.fboEnd();

    // Unity needs a native texture id to create its own Texture2D object
    return texture.getTextureID();
  }

初始化2D纹理：

  protected void initTexture() {
    int[] idContainer = new int[1];
    GLES30.glGenTextures(1, idContainer, 0);
    textureId = idContainer[0];
    Log.i(TAG, "texture2D generated: " + textureId);
    // texture.getTextureID() will return this textureId

    bindTexture();

    GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D,
        GLES30.GL_TEXTURE_MIN_FILTER, GLES30.GL_NEAREST);
    GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D,
        GLES30.GL_TEXTURE_MAG_FILTER, GLES30.GL_LINEAR);
    GLES30.glTexParameteri(GLES30.GL_TEXTURE_2D,
        GLES30.GL_TEXTURE_WRAP_S, GLES30.GL_CLAMP_TO_EDGE);
    GLES30.glTexParameteri(GLES30.GL_TEXTURE_2D,
        GLES30.GL_TEXTURE_WRAP_T, GLES30.GL_CLAMP_TO_EDGE);

    unbindTexture();
  }

  public void bindTexture() {
    GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, textureId);
  }

  public void unbindTexture() {
    GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, 0);
  }

draw()的Triangle：

  public void draw() {
    float[] vertexData = new float[] {
        0.0f,  0.0f, 0.0f,
        1.0f, -1.0f, 0.0f,
        1.0f,  1.0f, 0.0f
    };
    vertexBuffer = ByteBuffer.allocateDirect(vertexData.length * 4)
        .order(ByteOrder.nativeOrder())
        .asFloatBuffer()
        .put(vertexData);
    vertexBuffer.position(0);

    GLES30.glClearColor(0.0f, 0.0f, 0.9f, 1.0f);
    GLES30.glClear(GLES30.GL_DEPTH_BUFFER_BIT | GLES30.GL_COLOR_BUFFER_BIT);
    GLES30.glUseProgram(mProgramId);

    vertexBuffer.position(0);
    GLES30.glEnableVertexAttribArray(aPosHandle);
    GLES30.glVertexAttribPointer(
        aPosHandle, 3, GLES30.GL_FLOAT, false, 12, vertexBuffer);

    GLES30.glDrawArrays(GLES30.GL_TRIANGLE_STRIP, 0, 3);
  }

的顶点着色器Triangle：

attribute vec4 aPosition;
void main() {
  gl_Position = aPosition;
}

的片段着色器Triangle：

precision mediump float;
void main() {
  gl_FragColor = vec4(0.9, 0.0, 0.0, 1.0);
}

的关键代码TextureTransfer：

  public void tryToInitTempTexture2D(int texture2DId, int textureWidth, int textureHeight) {
    if (mTexture2DId != -1) {
      return;
    }

    mTexture2DId = texture2DId;
    GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, mTexture2DId);
    Log.i(TAG, "glBindTexture " + mTexture2DId + " to init for FBO");

    // make 2D texture empty
    GLES30.glTexImage2D(GLES30.GL_TEXTURE_2D, 0, GLES30.GL_RGBA, textureWidth, textureHeight, 0,
        GLES30.GL_RGBA, GLES30.GL_UNSIGNED_BYTE, null);
    Log.i(TAG, "glTexImage2D, textureWidth: " + textureWidth + ", textureHeight: " + textureHeight);

    GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, 0);

    fboStart();
    GLES30.glFramebufferTexture2D(GLES30.GL_FRAMEBUFFER, GLES30.GL_COLOR_ATTACHMENT0,
        GLES30.GL_TEXTURE_2D, mTexture2DId, 0);
    Log.i(TAG, "glFramebufferTexture2D");
    int fboStatus = GLES30.glCheckFramebufferStatus(GLES30.GL_FRAMEBUFFER);
    Log.i(TAG, "fbo status: " + fboStatus);
    if (fboStatus != GLES30.GL_FRAMEBUFFER_COMPLETE) {
      throw new RuntimeException("framebuffer " + mFBOId + " incomplete!");
    }
    fboEnd();
  }

  public void fboStart() {
    GLES30.glBindFramebuffer(GLES30.GL_FRAMEBUFFER, mFBOId);
  }

  public void fboEnd() {
    GLES30.glBindFramebuffer(GLES30.GL_FRAMEBUFFER, 0);
  }

最后是Unity端的一些代码：

int textureId = plugin.Call<int>("displayTriangle");
Debug.Log("native textureId: " + textureId);
Texture2D triangleTexture = Texture2D.CreateExternalTexture(
  960, 960, TextureFormat.RGBA32, false, true, (IntPtr) textureId);
triangleTexture.UpdateExternalTexture(triangleTexture.GetNativeTexturePtr());
rawImage.texture = triangleTexture;
rawImage.color = Color.white;

好的，上面的代码将不会显示预期的三角形，而只会显示蓝色背景。我glGetError几乎在每个OpenGL函数调用之后都添加了，而没有引发任何错误。

我的Unity版本是2017.2.1。对于Android构建，我关闭了实验性多线程渲染，其他设置均为默认设置（不进行纹理压缩，不使用开发构建，依此类推）。我的应用程序的最低API级别为5.0棒棒糖，目标API级别为9.0 Pie。

我真的需要一些帮助，在此先感谢！