Command-line program to download videos from YouTube.com and other video sites

A feature-rich command-line audio/video downloader

⏬ Dumb downloader that scrapes the web

Scrapy, a fast high-level web crawling & scraping framework for Python.

TensorFlow code and pre-trained models for BERT

中文分词 词性标注 命名实体识别 依存句法分析 成分句法分析 语义依存分析 语义角色标注 指代消解 风格转换 语义相似度 新词发现 关键词短语提取 自动摘要 文本分类聚类 拼音简繁转换 自然语言处理

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬虫、百度贴吧帖子 ｜ 百度贴吧评论回复爬虫 | 知乎问答文章｜评论爬虫

TikTok 发布/喜欢/合辑/直播/视频/图集/音乐；抖音发布/喜欢/收藏/收藏夹/视频/图集/实况/直播/音乐/合集/评论/账号/搜索/热榜数据采集工具

all kinds of text classification models and more with deep learning

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）

小红书（XiaoHongShu、RedNote）链接提取/作品采集工具：提取账号发布、收藏、点赞、专辑作品链接；提取搜索结果作品、用户链接；采集小红书作品信息；提取小红书作品下载地址；下载小红书无水印作品文件

Library for building WebSocket servers and clients in Python

CNN-RNN中文文本分类，基于TensorFlow

Lightweight, scriptable browser as a service with an HTTP API

A frida tool to dump dex in memory to support security engineers analyzing malware.

农业知识图谱(AgriKG)：农业领域的信息检索，命名实体识别，关系抽取，智能问答，辅助决策

中文公开聊天语料库

Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Django and Vue.js

A service daemon to run Scrapy spiders

use cnn recognize captcha by tensorflow. 本项目针对字符型图片验证码，使用tensorflow实现卷积神经网络，进行验证码识别。

CTPN + DenseNet + CTC based end-to-end Chinese OCR implemented using tensorflow and keras

用于训练中英文对话系统的语料库 Datasets for Training Chatbot System

利用网络上公开的数据构建一个小型的证券知识图谱/知识库

The official Python SDK for Sentry.io

爬虫入门、爬虫进阶、高级爬虫

基于知识图谱的问答系统，BERT做命名实体识别和句子相似度，分为online和outline模式

小红书爬虫，小红书笔记、主页、搜索爬取

dgk_lost_conv 中文对白语料 chinese conversation corpus

🚁 保险行业语料库，聊天机器人

[Unmaintained] A simple and clean video/music/image downloader 👾