• Ukieweb

    佳的博客

    曾梦想仗剑天涯,后来工作忙没去。

标签： 爬虫 筛选日期： 2019-10


使用Nginx的UA过滤蜘蛛和网络爬虫

0
通过判断 user agent，在nginx中可以防止一些不想要的访问。#禁止空UA和各种工具的抓取 if ($http_user_agent ~* "curl|wget|java|httpclient|okhttp|python|WinHttp|WebZIP|FetchURL|node-superagent|FeedDemon|Jullo|Indy Library|Alexa Toolbar|AskTbFXTV|CrawlDaddy|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|... ...
阅读全文

标签
轻松一刻 无关技术 这人生啊 驴友户外 系统 Windows Linux 工具软件 安全 容器 Docker Kuberneters Spring Boot JAVA VUE ceph pipeline Git Protobuf groovy mongo 阿里云 Element GO NODE Kafka Nginx CDN Python Django Mysql Haproxy 爬虫 Zabbix Vagrant 云服务 Jenkins C/C++ 概念原理 Tomcat 前端网站 UEditor JS&CSS

最近写的博文

博文归档

老佳啊

85后，大专学历，中原人士，家里没矿。

由于年轻时长的比较帅气，导致在别人眼里，我一直不谈恋爱的原因是清高，实则是自己的小自卑。最大的人生目标就是找一个相知相爱相容的人，共度余生。

和人相处时如果能感受到真诚，会非常注重彼此的关系，对别人没有什么心机，即使有利益冲突，一般也会以和为贵，因为在这个世界上，物质的东西，从来不会吸引到我。

特别迷恋那些大山大水，如果现在还能隐居，可能早就去了。对那些宏伟的有底蕴的人文景观比较不感冒。

从事于IT行业，却一直对厨房念念不忘，由于身材魁梧，总觉得自己上辈子是个将军，可惜这辈子没当兵，也不会打架。