对话流,音频检测意图

劳尔·马尔皮卡(RaúlMalpica)

我正在尝试将音频文件发送到dialogflow API以进行意图检测。我已经有一个代理工作得很好,但只能处理文本。我正在尝试添加音频功能,但是没有运气。

我正在使用此页面中提供的示例(Java):

https://cloud.google.com/dialogflow-enterprise/docs/detect-intent-audio#detect-intent-text-java

这是我的代码:

public  DetectIntentResponse detectIntentAudio(String projectId, byte [] bytes, String sessionId,
                                         String languageCode)
            throws Exception {


            // Set the session name using the sessionId (UUID) and projectID (my-project-id)
            SessionName session = SessionName.of(projectId, sessionId);
            System.out.println("Session Path: " + session.toString());

            // Note: hard coding audioEncoding and sampleRateHertz for simplicity.
            // Audio encoding of the audio content sent in the query request.
            AudioEncoding audioEncoding = AudioEncoding.AUDIO_ENCODING_LINEAR_16;
            int sampleRateHertz = 16000;

            // Instructs the speech recognizer how to process the audio content.
            InputAudioConfig inputAudioConfig = InputAudioConfig.newBuilder()
                    .setAudioEncoding(audioEncoding) // audioEncoding = AudioEncoding.AUDIO_ENCODING_LINEAR_16
                    .setLanguageCode(languageCode) // languageCode = "en-US"
                    .setSampleRateHertz(sampleRateHertz) // sampleRateHertz = 16000
                    .build();

            // Build the query with the InputAudioConfig
            QueryInput queryInput = QueryInput.newBuilder().setAudioConfig(inputAudioConfig).build();

            // Read the bytes from the audio file
            byte[] inputAudio = Files.readAllBytes(Paths.get("/home/rmg/Audio/book_a_room.wav"));

            byte[] encodedAudio = Base64.encodeBase64(inputAudio);
            // Build the DetectIntentRequest
            DetectIntentRequest request = DetectIntentRequest.newBuilder()
                    .setSession("projects/"+projectId+"/agent/sessions/" + sessionId)
                    .setQueryInput(queryInput)
                    .setInputAudio(ByteString.copyFrom(encodedAudio))
                    .build();

            // Performs the detect intent request
            DetectIntentResponse response = sessionsClient.detectIntent(request);

            // Display the query result
            QueryResult queryResult = response.getQueryResult();
            System.out.println("====================");
            System.out.format("Query Text: '%s'\n", queryResult.getQueryText());
            System.out.format("Detected Intent: %s (confidence: %f)\n",
                    queryResult.getIntent().getDisplayName(), queryResult.getIntentDetectionConfidence());
            System.out.format("Fulfillment Text: '%s'\n", queryResult.getFulfillmentText());

            return response;

    }

我尝试了几种格式,wav(PCM 16位,几种采样率)和FLAC,并且还按照以下描述的两种不同方式(通过代码或控制台)将字节转换为base64:

https://dialogflow.com/docs/reference/text-to-speech

我什至已经使用本示例中提供的.wav进行了测试,并在我的代理中创建了一个新的意图,即使用该训练短语“预订房间”。它可以使用dialogflow控制台中的文本和音频来工作,但只能用于文本,而不能用于我的代码中的音频...并且我要发送它们提供的相同波形!(上面的代码)

我总是收到相同的响应(QueryResult):

在此处输入图片说明

我需要线索或其他东西,我完全被困在这里。没有日志,响应中没有错误...但是不起作用。

谢谢

劳尔·马尔皮卡(RaúlMalpica)

我写了对白到dialogflow支持,并用一段有效的代码回答了我。它与上面发布的内容基本相同,唯一的区别是base64编码,没有必要这样做。

所以我删除了:

byte[] encodedAudio = Base64.encodeBase64(inputAudio);

(并直接使用inputAudio)

现在它正在按预期工作...

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章