텍스트 파일에서 RDD를 만들고 있습니다. 일부 행은 내가 예상하는 형식과 일치하지 않습니다.이 경우 마커 -1을 사용합니다.
def myParser(line):
try:
# do something
except:
return (-1, -1), -1
lines = sc.textFile('path_to_file')
pairs = lines.map(myParser)
-1마커가 있는 선을 제거 할 수 있습니까? 그렇지 않은 경우 해결 방법은 무엇입니까?
내가 생각할 수있는 가장 깨끗한 해결책은 다음을 사용하여 잘못된 라인을 버리는 것입니다 flatMap.
def myParser(line):
try:
# do something
return [result] # where result is the value you want to return
except:
return []
sc.textFile('path_to_file').flatMap(myParser)
scala.util과 동등한 것은 무엇입니까?를 참조하십시오 .
다음을 필터링 할 수도 있습니다 map.
pairs = lines.map(myParser).filter(lambda x: x != ((-1, -1), -1))
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다