сделать sort -u
получите уникальные строки.
при помощи awk '{print $1,$2,..$n}' сможете отобрать нужные поля.
то есть передаёте лог авк, им выбираете нужные поля, потом делаете сортировку с -u и получаете уникальные строки.
есл интересует их число (например, считаете, скоко запросов было с какого адраса) - можно отсортировать так:
.... | sort | uniq -c | sort -n
Кстати, раз атакующий подобный юзерагент юзает - режьте его по нему. Если ваш сервер - то, если nginx юзаете, отдавайте такому юзерагенту 444. Если вы на массовом хостинге - то хотя бы в .htaccess его порежьте