브라우저에서 gstreamer의 스트림 재생

node webrtc project를 사용하여 gstreamer의 출력을 webrtc 호출과 결합 할 수있었습니다. gstreamer의 경우 gstreamer superficial 노드와 함께 사용할 수있는 프로젝트가 있습니다 . 따라서 기본적으로 노드 프로세스에서 gstremaer 프로세스를 실행해야합니다. 그러면 gstremaer의 출력을 제어 할 수 있습니다. 모든 gstreamer 프레임에는 프레임을 가져와 webrtc 호출로 보낼 수있는 콜백이 있습니다.

그런 다음 webrtc 호출을 구현해야합니다. 통화를 위해 몇 가지 신호 프로토콜이 필요합니다. 호출의 한쪽은 서버가되고 다른 쪽은 두 개의 브라우저가 아닌 클라이언트의 브라우저가됩니다. 그런 다음 gstreamer superficial의 프레임이 푸시되는 비디오 트랙이 생성됩니다.

const { RTCVideoSource } = require("wrtc").nonstandard;
const gstreamer = require("gstreamer-superficial");

const source = new RTCVideoSource();
// This is WebRTC video track which should be used with addTransceiver see below
const track = source.createTrack();

const frame = {
        width: 1920,
        height: 1080,
        data: null
};

const pipeline = new gstreamer.Pipeline("v4l2src ! videorate ! video/x-raw,format=YUY2,width=1920,height=1080,framerate=25/1 ! videoconvert ! video/x-raw,format=I420 ! appsink name=sink");
const appsink = pipeline.findChild("sink");
const pull = function() {
        appsink.pull(function(buf, caps) {
                if (buf) {
                        frame.data = new Uint8Array(buf);
                        try {
                                source.onFrame(frame);
                        } catch (e) {}
                        pull();
                } else if (!caps) {
                        console.log("PULL DROPPED");
                        setTimeout(pull, 500);
                }
        });
};

pipeline.play();
pull();

// Example:
const useTrack = SomeRTCPeerConnection => SomeRTCPeerConnection.addTransceiver(track, { direction: "sendonly" });