PowerShell을 사용하여 대용량 CSV 파일을 분리하는 문제

다음은 루프 내에서 사용되는 숫자를 하드 코딩하지 않는 솔루션입니다. 500 줄의 CSV에서 테스트되었습니다. 파일 경로, 숫자 등에 맞게 조정하십시오.

$sourceCSV = "C:\scripts\test.csv"
$startrow = 0
$endrow = 500
$readcount = 50
$counter = 1
while ($startrow -lt $endrow)
{
Import-CSV $sourceCSV | Select-Object -Skip $startrow -First $readcount | Export-CSV $("C:\scripts\test_"+"$counter.csv") -NoClobber -NoTypeInformation
$startrow = $startrow + $readcount
$counter++
}

사용하는 데.가 필요할 수도 있고 필요하지 않을 수도 -NoTypeInformation있지만 많은 도구가 맨 위에 추가 정보 줄이있는 형식을 인식하지 못하기 때문에 다른 PowerShell 스크립트가 아닌 다른 것에 결과를 제공하려는 경우 도움이 될 수 있습니다. .

우연히도 원본 "CSV"파일은 상단에 추가 줄이 추가되어 오염되었으므로 먼저 제거해야합니다. 여기에 내 원래 답변과 일치하는 방법이 있습니다. 또한 요청에 따라 예측할 수없는 파일 크기를 고려하기 위해 조정을 추가했습니다.

$initialsourceCSV = "C:\scripts\testwithjunk.csv"
$initialskip = 6
Get-Content $initialsourceCSV | Select-Object -Skip $initialskip | Out-File -FilePath "C:\scripts\temp.csv"
$sourceCSV = "C:\scripts\temp.csv"
$startrow = 0
$endrow = (get-content $sourceCSV).Length
$readcount = 50
$counter = 1
while ($startrow -lt $endrow)
{
Import-CSV $sourceCSV | Select-Object -Skip $startrow -First $readcount | Export-CSV $("C:\scripts\test_"+"$counter.csv") -NoClobber -NoTypeInformation
$startrow = $startrow + $readcount
$counter++
}
Remove-Item "C:\scripts\temp.csv"