并行处理循环读取文件

PCAP脚本。

我有一台具有32个处理器的服务器，需要最大化此脚本以利用这些处理器。目前，该程序tshark仅使用1个处理器，因此我需要同时运行多个实例tshark。当前，以下脚本中定义的循环一次执行1 pcap，这非常慢。我需要一次最多运行15tshark秒，但是直到循环到达文件末尾时，我最多只能运行15秒。

本质上，脚本读取某些pcap文件并在文本文件中列出pcap，然后使用tshark进行过滤，然后使用合并mergecap。

在此示例中，有5个pcap文件要过滤。

1. full_cap_1589
2. full_cap_1590
3. full_cap_1591
4. full_cap_1592
5. full_cap_1593

＃！/ bin / bash
＃测试脚本以解析pcap文件
＃DATE =`日期| awk'{print $ 2}'`
设置-x


回显“开始时间-月/日TIME示例：07/19 08:00”

读-e date1

回声“结束时间-月/日时间示例07/19 08:35”

读-e date2

回显“要过滤的IP地址？”

读-e ip

回声$ ip

FIND =`查找/ mnt / pcap / captures / -type f -newermt“ $ date1”！-newermt“ $ date2” | 剪切-c20-40> / home / username / loading_dock / load.txt`

#for“ $ {FIND [@]}”中的full_caps

对于我在`cat / home / username / loading_dock / load.txt`中

做

  tshark -r / mnt / pcap / captures / $ i“ -Y ip.addr == $ ip” -w / home /用户名/loading_dock/$i.pcap


完毕

mergecap -w / home /用户名/loading_dock/*.pcap -w / home /用户名/test1.pcap

rm -rf / home /用户名/loading_dock/*.pcap
rm -f / home /用户名/loading_dock/load.txt

出口0