作者归档-铁永杰的博客

铁永杰的博客

行动起来，活在当下

累计撰写 30 篇文章
累计创建 2 个标签
累计收到 1 条评论

目录CONTENT

以下是 Administrator 的文章

2023-10-10
新兴渲染工具playwright 新兴渲染工具playwright 1.源码地址:https://github.com/microsoft/playwright python 版本: https://github.com/microsoft/playwright-python 1.特性 1. 速度快，是Selenium的好几倍；
- 2023-10-10
- 168
- 0
- 0
2023-09-18
k8s实战 1、资源创建方式命令行 YAML 2、Namespace 名称空间用来隔离资源 kubectl create ns hello kubectl delete ns hello apiVersion: v1 kind: Namespace metadata: name: hello 3、Pod
- 2023-09-18
- 189
- 0
- 0
2023-09-18
docker安装MongoDB docker pull mongo 创建Mongo专用的文件夹： cd /mnt mkdir mongodb cd ./mongodb mkdir data mkdir backup 执行如下命令启动MongoDB： docker run --name mongo -p 27017:2701
- 2023-09-18
- 88
- 0
- 0
2023-09-15
青云安装k8s和kubesphere 青云安装k8s和kubesphere 1.购买服务器 https://console.qingcloud.com/gd2/instances 购买至少两台服务器,一台master节点,一台作为worker节点参考文档
- 2023-09-15
- 144
- 0
- 0
- kubernetes
2023-09-15
Anaconda创建虚拟环境 Anaconda创建虚拟环境 1.用conda创建Python虚拟环境 conda create -n environment_name python=3.6 (注：该命令只适用于Windows环境；“environment_name”是要创建的环境名；“python=X.X”是选择的Python版
- 2023-09-15
- 120
- 0
- 0
- python
2023-09-14
Scrapyd 使用详解 Scrapyd 使用详解 1.安装使用scrapyd 1.安装scrapyd pip install scrapyd scarpy是一个爬虫框架, 而scrapyd是一个网页版管理scrapy的工具, scrapy爬虫写好后，可以用命令行运行，但是如果能在网页上操作就比较方便. scrapyd就是为
- 2023-09-14
- 131
- 0
- 0
2023-09-14
打包自己的三方库到pypi 打包自己的库到pypi 1.创建一个.pypirc文件,文件内容如下 [distutils] index-servers = pypi [pypi] repository=https://pypi.python.org/pypi username:tieyongjie passwor
- 2023-09-14
- 185
- 0
- 1
2023-09-14
kubernetes定时任务 kubernetes查看定时任务 1.查看namespace下的定时任务 kubectl get jobs -n spider --watch 2.查看job定时任务 kubectl get job -n spider 3.查看pod情况 kubectl get pod -n spider --wa
- 2023-09-14
- 81
- 0
- 0
- kubernetes
2023-09-14
布隆过滤器 BloomFilter 布隆过滤器 BloomFilter 1.前言 “去重”是日常工作中会经常用到的一项技能，在爬虫领域更是常用，并且规模一般都比较大。去重需要考虑两个点：去重的数据量、去重速度。为了保持较快的去重速度，一般选择在内存中进行去重。数据量不大时，可以直接放在内存里面进行去重，例如python可以使用set
- 2023-09-14
- 142
- 0
- 1

1
2
3