Автоматическое, бесплатное ускорение ваших shell программ в ра | rxd_txd

Автоматическое, бесплатное ускорение ваших shell программ в разы. Готовый продукт и публикация с выкладками, почему и как такое можно сделать. Пример из статьи с распараллеливанием на два, но можно и больше:

##### Before #####
base="ftp://ftp.ncdc.noaa.gov/pub/data/noaa";
for y in {2015..2019}; do
curl $base/$y | grep gz | tr -s" " | cut -d" " -f9 |
sed "s;^;$base/$y/;" | xargs -n 1 curl -s | gunzip |
cut -c 89-92 | grep -iv 999 | sort -rn | head -n 1 |
sed "s/^/Maximum temperature for $y is: /"
done

##### After #####
mkfifo $t{0,1...}
curl $base/$y > $t0 & cat $t0 | split $t1 $t2 &
cat $t1 | grep gz > $t3 &
cat $t2 | grep gz > $t4 &
...
cat $t9 | sort -rn > $t11 & cat $t10 | sort -rn > $t12 &
cat $t11 | eager > $t13 & cat $t12 | eager > $t14 &
sort -mrn $t13 $t14 > $t15 &
cat $t15 | head -n1 > $out1 &
wait $! && get-pids | xargs -n 1 kill -SIGPIPE

И это всё оно само.