supdriver的博客

背景分析背景概述在当今快速发展的金融市场中，股票市场的动态变化对投资者和金融分析师至关重要。随着信息技术的进步，特别是互联网和大数据技术的发展，投资者可以实时获得大量的股票市场信息。然而，这些信息通常以原始数据形式存在，需要进一步处理和分析才能提取有价值的洞见。在这种背景下，网络股票信息爬虫与可视化技术应运而生，成为股票市场分析的重要工具。 网络股票信息爬虫网络股票信息爬虫（Web Scraping）是一种自动化的数据收集技术，旨在从互联网上提取股票市场相关的信息。它利用程序化方法访问和抓取各种金融网站和新闻平台上的数据，例如股票价格、交易量、公司财报、新闻动态等。爬虫技术可以高效地从大规模数据源中获取最新的信息，支持实时数据更新和历史数据回溯分析。 关键技术: 爬虫框架：如Scrapy、BeautifulSoup等，用于解析HTML页面和提取数据。 由于本文的目标网站的股票数据并不在页面中，也就是说不需要做网页分析和提取 API接口：一些金融网站提供API接口，允许程序直接获取结构化的数据。 (例如本文使用Get方法的https请求，获取了json文件) 数据存储：抓取的数 ...

红黑树虽然AVL树作为绝对的平衡搜索二叉树，有着极高的查询效率，但正因为其严格的要求，修改AVL树的某个结点时，可能要一路调整到根节点，效率低下。为了解决这一痛点，略微没那么严格的近似平衡搜索二叉树，即红黑树被提出 红黑树的概念红黑树，是一种二叉搜索树，但在每个结点上增加一个存储位表示结点的颜色，可以是Red或Black。 通过对任何一条从根到叶子的路径上各个结点着色方式的限制，红黑树确保没有一条路径会比其他路径长出俩倍，因而是接近平衡的。 红黑树的性质首先与一般的定义不同，在红黑树中将空指针(上图为NIL)作为叶子节点,然后我们来讨论具体的性质 每个结点不是红色就是黑色 根节点必定是黑色的 如果一个结点是红色的,则它的两个孩子结点是黑色的 对于每个结点，该结点到其所有后代叶结点的简单路径上，均包含相同数目的黑色结点 每个叶子结点都是黑色的此处的叶子结点指的是空结点NIL 思考：为什么满足上面的性质，红黑树就能保证：其最长路径中节点个数不会超过最短路径节点个数的两倍？ 红黑树的性质保证了从根节点到所有叶子结点（空结点）的路径上，包含相同数量的黑色结点。这是红黑树平衡性的重要保证 ...

继承的概念及定义继承的概念继承(inheritance)机制是面向对象程序设计使代码可以复用的最重要的手段，它允许程序员在保持原有类特性的基础上进行扩展，增加功能，这样产生新的类，称派生类。继承呈现了面向对象程序设计的层次结构，体现了由简单到复杂的认知过程。以前我们接触的复用都是函数复用，继承是类设计层次的复用 下面用一个简单的示例演示一下继承示例 1234567891011121314151617181920212223242526272829303132333435#include <iostream>#include <string>using namespace std;class Person{public: void Info() { printf("name:%s age:%d\n", _name.c_str(), _age); }protected: string _name = "supdriver"; int _age = 24;};class Student: ...

共享内存区是最快的IPC形式。一旦这样的内存映射到共享它的进程的地址空间，这些进程间数据传递不再涉及到内核，换句话说是进程不再通过执行进入内核的系统调用来传递彼此的数据,而是直接使用内存中的共享区。 我们接下来认识一下常用的接口 接口shmget 创建共享内存需要同时引入<sys/ipc.h> <sys/shm.h> int shmget(key_t key, size_t size, int shmflg); key 是生成共享内存标示符的 关键字,唯一的key值能返回唯一的共享内存标示符,这是获得同一个共享内存的关键参数 size是指共享内存的大小,按字节算 shmflg是一个位图,控制创建时的行为和 共享内存文件的权限(缺省时为0),常见选项如下 IPC_CREAT:单独一个时，如果申请的共享内存不存在，就创建，然后返回；若存在，则获取并返回 IPC_CREAT | IPC_EXCL: 如果申请的共享内存不存在，则创建；若存在，则出错并返回-1 IPC_EXCL:不能单独使用 IPC_CREAT | 0666:创建一个权限为0666的共享内存文件,注： ...

AVL树的概念二叉搜索树的不足二叉搜索树虽可以缩短查找的效率，但如果数据有序或接近有序二叉搜索树将退化为单支树，查找元素相当于在顺序表中搜索元素，效率低下。 AVL树的提出两位俄罗斯的数学家G.M.Adelson-Velskii和E.M.Landis在1962年发明了一种解决上述问题的方法：当向二叉搜索树中插入新结点后，如果能保证每个结点的左右子树高度之差的绝对值不超过1(需要对树中的结点进行调整),即构建一颗绝对的平衡搜索二叉树，即可降低树的高度，从而减少平均搜索长度。 定义: 一棵AVL树或者是空树，或者是具有以下性质的二叉搜索树： 它的左右子树都是AVL树 左右子树高度之差(简称平衡因子)的绝对值不超过1(-1/0/1) 如果一棵二叉搜索树是高度平衡的，它就是AVL树。如果它有n个结点，其高度可保持在O(log_2 n),搜索的时间复杂度O(log_2 n) 封装AVL树头文件12#include <utility>#include <cassert> 封装AVL树的节点 这里采用键值(KV)类型的二叉树节点,使其泛用性更高 ...

本篇博客更偏向于总括和导航,部分概念更细致的介绍将内嵌链接在文章中 重点内容 初识进程间通信 管道 消息队列 共享内存 信号量 进程间通信的目的 数据传输： 一个进程需要将它的数据发送给另一个进程 资源共享： 多个进程之间共享同样的资源 通知事件：一个进程需要向另一个或一组进程发送消息，通知它（它们）发生了某种事件（如子进程终止时要通知父进程） 进程控制： 有些进程希望完全控制另一个进程的执行（如Debug进程），此时控制进程希望能够拦截另一个进程的所有陷入和异常，并能够及时知道它的状态改变 进程间通信的主要方式 管道 System V进程间通信 POSIX进程间通信 进程间通信的分类管道 匿名管道 命名管道 System V IPC System V 消息队列 SysTem V 共享内存 System V 信号量 POSIX IPC 消息队列 共享内存 信号量 互斥量 条件变量 读写锁 管道怎么使用？戳我去管道博客🔗 首先，管道是Unix中最古老的进程间通信的形式。它用于进程间的单向通信 那么具体是怎样实现的呢？从标题里就可以发现，是基于文件 既然一个文件可以被多个进 ...

原理匿名管道可用于父子进程间的通讯，于是可以有父进程创建多个子进程形成进程池，并通过匿名管道文件向各个子进程派发任务 戳我去管道原理🔗 这里使用C++编写进程池代码，在程序中创建多个进程，并在父进程中使用自定义类channel用于描述和管理子进程,然后在task.hpp中模拟一些任务给主程序随机派发 代码代码规范这次对形参有了新的规范,这里用variable代指形参名 输入: const &variable 输出: *variable 输入输出: &variable 准备makefile文件这里使用g++编译，规定语法标准为C++11 123456processPool:processPool.cc g++ -o $@ $^ -std=c++11.PHONY:cleanclean: rm -rf processPool 准备任务文件首先要准备前后需要用到的头文件,然后构建模拟任务，并提供加载任务列表的函数 task.hpp 12345678910111213141516171819202122232425262728293031323334353637383 ...

前置博客 基础IO 为什么有缓冲因为磁盘的读写与内存的读写操作速度相比，磁盘的读写是相差数量级的慢，所以为了提高内存多次，频繁读写磁盘文件的效率，缓冲区被投入使用。尤其是内存内容写入磁盘时，常常先写入内存级缓冲区，再在特定规则下一次性将缓冲区的内容写入磁盘 **本文以C语言提供的用户级缓冲区为例介绍缓冲区 缓冲区的刷新规则首先当一个进程正常退出时，会先刷新缓冲区再关闭文件,此时必定有一次刷新 而当进程运行时缓冲区的刷新策略主要有以下三种 无缓冲 内容直接写入文件 行缓冲 输入一般内容不刷新，遇到\n时刷新一次缓冲区 全缓冲 缓冲区有容量限制，满了之后就刷新 认识一下C语言的缓冲区这里的系统环境是Linux 刷新规则运行如下代码 12345678910111213#include <stdio.h>#include <unistd.h>int main(){ FILE* pfile = fopen("file.txt","w");//打开空文件 fprintf(stdout,"stdout ...

用户级文件操作C语言的文件操作也是用户级的文件操作，通过FILE对象来管理每一个被打开的文件，以及提供了用户级文件缓冲区，因此还涉及到冲刷缓冲区等问题 FILE 类FILE类描述了一个文件流。里面存储了文件控制所需的信息: 指向自身缓冲区的的指针 位置指示器 状态指示器 所以C语言中对文件的管理就是对FILE对象的管理 基础操作 - 针对一般文件基础示例1234567891011#include <stdio.h>int main(){ FILE* pfile = fopen("file.txt", "w");//"w"模式打开文件file.txt int code = 1; const char* msg = "this is a msg"; fprintf(pfile, "get msg : %s code:%d", msg, code);//格式化输出字符串 fclose(pfile);//冲刷缓冲区并关闭文件 return 0;} 以上代码创建 ...

共识原理 文件 = 内容 + 属性 被打开的文件需要加载到内存中 内存中的文件需要被操作系统管理 用户级文件接口详见C++文件操作 详见C语言文件操作 Linux系统调用接口fd 文件描述符 与访问文件的本质 fd(file descriptor),即文件描述符,下文的系统调用接口经常以fd命名变量，fd是整形变量，作为数组下标，用于管理打开的文件 可以看到,一个进程通过struct files _struct里的指针数组，管理多个同时打开的文件 且每个进程启动时，会默认打开三个文件,且默认fd固定 stdout read所需头文件#include <unistd.h>声明ssize_t read(int fd, void *buf, size_t count); 参数 fd即为目标文件的文件描述符 buf为要从文件读取字节到的内存地址 count为最大读取字节数 返回值 若成功，返回读取文件的字节数,类型为ssize_t,是层层封装的long int 若失败，返回-1,并设置errno的值 write所需头文件#include <unistd ...

认识fork()头文件<unistd.h>提供的fork()函数用于从已有的原进程创建一个新的子进程，而原进程在关系式称为父进程 fork()的返回值12#include <unistd.h>pid_t id = fork(); 父子进程中fork()函数的返回值(此处用变量id储存)是不同的: 父进程里id的值为子进程的PID,其值>0;子进程里id值固定为0 id > 0 父进程 id == 0 子进程 id < 0 fork()失败 分流 利用父子进程中fork()返回值的不同，可以用if...else...进行分流，让父子进程执行不同的代码 fork()的过程进程调用fork，当控制转移到内核中的fork代码后，内核做 分配新的内存块和内核数据结构给子进程 将父进程部分数据结构内容拷贝至子进程 添加子进程到系统进程列表当中 fork返回，开始调度器调度 当一个进程调用fork之后，就有一对二进制代码相同的父子进程。而且它们都运行到相同的地方。但每个进程都可以独立地继续运行代码,并按代码分流至不同的代码段 但这两个进程谁先执行 ...

操作系统平台:Linux服务器系统: CentOS 7 概念抽象程序程序 = 代码 + 数据 程序是储存在硬盘上的可执行文件 进程将程序加载到内存后，就在内存中程序的就是进程。也就是说一个正在运行的程序就能叫做进程 结构关系如下 如图，操作系统为了管理内存中的进程,使用了PCB结构体来描述进程,通过管理PCB来管理进程,依然是先描述再组织 PCB:进程控制块的数据结构(process control block) 所以实际上:进程=PCB+代码和数据 对于代码和数据没什么好说的，接下来主要讨论PCB task_structLinux平台下的PCB叫做task_struct task_struct内容分类: 标示符: 描述本进程的唯一标示符，用来区别其他进程。 状态: 任务状态，退出代码，退出信号等。 优先级: 相对于其他进程的优先级。 程序计数器: 程序中即将被执行的下一条指令的地址。 内存指针: 包括程序代码和进程相关数据的指针，还有和其他进程共享的内存块的指针 上下文数据: 进程执行时处理器的寄存器中的数据。 I／O状态信息: 包括显示的I/ ...