使用Tensorflow C ++ API运行会话比使用Python慢得多

我正在尝试使用tensorflow c ++ api（仅限CPU）运行SqueezeDet。我已经冻结了tensorflow图并从C ++加载了它。就检测质量而言，一切都很好，但性能要比python慢​​得多。这可能是什么原因？

简化后，我的代码如下所示：

  int main (int argc, const char * argv[])
  {
    // Initializing graph 
    tensorflow::GraphDef graph_def;
    // Folder in which graph data is located
    string graph_file_name = "Model/graph.pb";
    // Loading graph 
    tensorflow::Status graph_loaded_status =  ReadBinaryProto(tensorflow::Env::Default(), graph_file_name, &graph_def);
    if (!graph_loaded_status.ok())
    {
      cout << graph_loaded_status.ToString() << endl;
      return 1;
    }
    unique_ptr<tensorflow::Session> session_sqdet(tensorflow::NewSession(tensorflow::SessionOptions()));
    tensorflow::Status session_create_status = session_sqdet->Create(graph_def);
    if (!session_create_status.ok())
    {
      cout << "Session create status: fail." << endl;
      return 1;
    }
    while ()
    {
      /* create & preprocess batch */

      session.Run({{ "image_input", input_tensor}, {"keep_prob", prob_tensor}}, {"probability/score", "bbox/trimming/bbox"}, {}, &final_output);

      /* do some postprocessing */
    }
  }

我试过的

1）使用优化标志-全部打开，没有警告。

2）使用批处理：性能有所提高，但是python和C ++之间的差距仍然很大（在batch_size = 20的情况下，运行会话需要1s对比2.4s）。

任何帮助将不胜感激。