CloudFrontのログからGooglebotその他、User agentなどgrepで指定してIPを取得するときは、
gzファイルを解凍してできたログファイルを{LogFileName}に指定して実行。
IPの重複は出ないようにしてみました。

https://gist.github.com/AtsushiA/7ec99098124bd075475dbcb5b1771bc5

awkコマンドの重複排他は以下のサイトを参考にさせていただきました。
http://akiniwa.hatenablog.jp/entry/2014/04/04/203256