wgetの連番をshellscriptで展開して、URLが勝手にエンコードされる。イラッとする。
#!/bin/bash
FORSTEP=10000
for i in {0..100}
do
WGETURL='https://www.example.co.jp/detail/detail.php?product_id={'$(($i*$FORSTEP))..$(($i*$FORSTEP+$FORSTEP-1))'}'
wget -r -np --wait 5 --random-wait -nv -e robots=off '$WGETURL'
done
senooken JP Social is a social network, courtesy of senooken. It runs on GNU social, version 2.0.2-beta0, available under the GNU Affero General Public License.
All senooken JP Social content and data are available under the Creative Commons Attribution 3.0 license.