ITeye博客

专注互联网后端技术

woodding2008 · 共 85 篇文章

[置顶] Linux目录贴

Linux进程管理 Linux进程调度 Linux中断和中断处理 Linux内核同步 Linux内核数据结构 Linux内存管理 Linux页高速缓存和页回写 Linux页表

2016-12-16 01:28 · 操作系统 · 评论(0)

[置顶] TCP目录贴

IP头部结构 IP分片 TCP/IP协议封装与Demultiplexing IP 差错控制 运输层协议 TCP头部结构 TCP状态转换 TCP中的窗口 TCP拥塞控制 TCP的计数器 TCP差错控制 TCP编号系统 TCP选项 TCP流量控制

2016-12-03 00:19 · TCP · 操作系统 · 评论(0)

[置顶] Zookeeper 目录贴

Zookeeper Session机制 Zookeeper 磁盘IO高问题 Zookeeper 测试

2016-11-06 23:59 · Zookeeper · 评论(0)

[置顶] Storm目录贴

目前我在Strom平台这些方面踩过坑,简单总结一下。 Storm平台监控[上] Storm平台监控[下] 监控Storm Worker的系统资源情况 Storm1.0.x新功能调研 Storm任务常见问题总结 Storm 反压机制 Storm消息可靠处理 Storm TickTuple 意外停止 Storm Worker进程挂起导致漂移 Storm worker进程发生死锁 Storm worker端口冲突 Storm心跳风暴导致Zookeeper IO问题 Storm Spout emit 问题 异常导致 storm worker 重启 Storm Worker网络连接泄漏 Storm常用…

2016-10-02 02:35 · Storm · 评论(1)

攻防战

爱奇艺建成全球领先流量防刷系统 维护公平公正内容生态 腾讯基于用户画像大数据的电商防刷架构 继爱奇艺、优酷土豆之后,腾讯终对刷量痛下狠手 视频刷量软件

2017-03-04 22:38 · 架构模式 · 评论(0)

修改/dev/shm空间大小

/dev/shm默认情况下为物理内存大小的50%,遇到空间紧张时可以扩大。 vim /etc/fstab # # /etc/fstab # Created by anaconda on Wed Dec 21 20:56:58 2016 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # UUID=57ceaac5-c1a8-411b-b9c5…

2017-02-24 04:11 · 操作系统 · 评论(0)

丛林法则:华尔街大鳄的“狠”秘诀

时机未到前充分忍耐 伟大的成功者都能充分地看到自身的不足--至少是当下尚不成熟的方面,然后耐心地去改进,潜心积蓄实力,等待着未来的机会,而不会急于冒进。要想克服赢的渴望与输的恐惧,耐心地等待机会和遵守严酷的规则,才是最好的办法。这就是我在美国看到的那些华尔街大鳄的成功之道。他们每个人都是狠角色,不会倚仗财富去豪掷亿万砸出机会,而是选择对自己狠一些,他们擅长压制内心的欲望,善于机智地运用市场形势的变化来为自己博取良机。 当遇到这种情况时,很多人首先想到的就是抱怨: "公司不重视我,领导也不正眼瞧我,他们都对我有想法...." "上司在故意压制我,他就是不给我机会,不让我升职......" "我…

2017-02-03 23:00 · 职场 · 评论(0)

狠关键:怎样才能对自己狠一点

我赢了因为我敢于进场! 人生中遇到的每一件事情,做出的每一次尝试,都有撞到南墙甚至输得一塌糊涂的风险,就看你是不是有勇气来承受暂时的失败。如果你抚摸着满是伤痛的胳膊,告诉自己只要再试几次,坚硬的墙壁就会被你装穿,你的诚意必定能打动命运,如果你贪图舒适或者惧怕受伤,转身寻求他途,你一定会很容易地被困难击倒,陷入无法摆脱的“困境”。 很多人突破了自我之后才发现:有些墙壁并不存在,有些困境也只是我们自己内心的想象。就算他们存在,也并不可怕,他们可能一撞就破,丝毫经不起挑战,正是人们自己的怯懦,才让他们凭空坚固了几百上千倍。 我们做事情常常会半途而废,究其原因,往往不是因为事情本身的难度太大,而是我…

2017-02-02 23:02 · 职场 · 评论(0)

Java重排序

重排序是指编译器和处理为了优化程序性能而对指令序列进行重新排序的一种手段。 数据依赖 如果两个操作访问同一个变量,且这两个操作中有一个为写操作,此时这两个操作之间就存在数据依赖性。数据依赖分为下列3中类型。 名称 代码示例 说明 写后读 a=1;b=a; 写一个变量之后,再读这个位置 写后写 a=1;a=2; 写一个变量之后,再写这个变量 读后写 a=b;b=1; 读一个变量之后,再写这个变量 上面的3中情况,只要重排序两个操作的执行顺序,程序的执行结果就会被改变。编译器和处理器在重新排序时,会遵守数据依赖性,编译器和处理器不会改变存在数据依赖关系的两个操作的执行顺序。数据依赖仅针对处理器中…

2017-01-19 00:55 · 并发编程 · 评论(0)

Java内存模型

Java线程之间的通信对程序员完全透明,内存可见性问题很容易困扰Java程序员。 Java内存模型 并发编程模型的两个关键问题,线程之间如何通信及线程之间如何同步,通信是指线程之间使用什么机制来交换信息。在命令式编程中,线程之间的通信机制由两种:共享内存和消息传递。 在共享内存的并发模型里,线程之间共享程序的公开状态,通过写-读内存中的公共状态进行隐式通信。在消息传递的并发模型里,线程之间没有公共状态,线程之间必须通过发送消息来显示进行通信。 Java的并发采用的是共享内存模型,Java线程之间的通信总是隐式进行,整个通信过程对程序员完全透明。如果编写多线程程序的Java程序员不理解隐式进行…

2017-01-16 23:17 · 并发编程 · 评论(0)

Java并发机制的底层实现原理

Java代码在编译后会变成Java字节码,字节码被类加载器加载到JVM执行字节码,最终需要转化为汇编指令在CPU上执行,Java中所使用的并发机制依赖于JVM的实现和CPU指令。 volatile的应用 在多线程并发编程中synchronized和volatile都扮演着重要的角色,volatile是轻量级synchronized,它在多处理开发中保证了共享变量的“可见性”。可见性的意思是当一个线程修改一个共享变量时,另外一个线程能读到这个修改的值。如果volatile变量修饰符的使用恰当的话,它比synchronized的使用和执行成本更低,因为它不会引起线程上下文的切换和调度。 Java…

2017-01-15 22:04 · 并发编程 · 评论(0)

并发编程的挑战

并发编程的目的是为了让程序运行得更快,但是,并不是启动更多的线程就能让程序最大限度地并发执行。在并发编程时,如果希望通过多线程执行任务让程序运行得更快,会面临非常多的挑战,比如:上下文的切换问题、死锁问题、以及受限制于硬件和软件资源限制问题。 上下文切换 即使单核处理器也支持多线程执行代码,CPU通过给每个线程分配CPU时间片来实现这个机制。时间片是CPU分配给各个线程的时间,因为时间片非常短,所以CPU通过不停切换线程执行,让我们感觉多个线程是同时执行的,时间片一般是几十毫秒。 CPU通过时间片分配算法来循环执行任务,当前任务执行一个时间片后会切换到下一个任务。但是,在切换前会保存上一个任…

2017-01-10 22:37 · 并发编程 · 评论(0)

2016年书架整理

书架上的书有很多,有的只看了目录,有的只看了很少的内容,为了避免成为目录党,整理一下2016年已经看过的书以及下一阶段要看的书,目的是督促自己要把看书计划落实下来,同时简单回顾一下看书过程中的收获。 第一部分是2016年已经看过的书: <<Java7并发编程与实战手册>> 这是一本书的内容非常偏重于练习,学习之前更好的选择是先看并发相关的理论部分,理论先行。推荐:<<Linux内核设计与实现(原书第3版)>>中的线程调度以及并发章节,<<Java并发编程的艺术>> <<TCP/IP协议族(第4版)>> 偏重理论学习,了解很多经典问题的处理方式,比如拥塞控制在网络层面是如何处理的,结合实时流计…

2017-01-01 00:22 · TCP · 操作系统 · 并发编程 · Storm · Redis · Zookeeper · 评论(1)

Linux页表

虽然应用程序操作的对象是映射到物理内存之上的虚拟内存,但是处理器直接操作的却是物理内存。所以当应用程序访问一个虚拟地址时,首先必须将虚拟地址转化成物理地址,然后处理器才能解析地址访问请求。地址的转换工作需要通过查询页表才能完成,地址转换需要将虚拟地址分段,使每段虚拟地址都作为一个索引指向页表,而页表项则指向下一级别的页表或指向最终的物理页面。 Linux中使用三级页表完成地址转换。利用多级页表能够节约地址转换需要占用的存放空间。如果利用三级页表转换地址,即使是64位机器,占用的空间也很有限。但是如果使用静态数组实现页表,那么即便在32位机器上,改数组也将占用巨大的存放空间。Linux对所有的…

2016-12-15 01:32 · 操作系统 · 评论(0)

Linux页高速缓存和页回写

页高速缓存(cache)是Linux内核实现磁盘缓存。它主要用来减少对磁盘I/O操作。是通过把磁盘中的数据缓存到 物理内存中,把对磁盘的访问变为对物理内存的访问。 磁盘高速缓存有两个重要因素:第一,访问磁盘的速度要远低于访问内存的速度,若从处理器L1和L2高速缓存访问则速度更快。第二,数据一旦被访问,就很有可能短时间内再次访问。正是由于基于访问内存比磁盘快的多,所以磁盘的内存缓存将给系统存储性能带来质的飞越。 缓存手段 页高速缓存是由内存中的物理页面组成的,其内容UI应磁盘上的物理块。页高速缓存大小能动态调整--它可以通过占用空闲内存以扩张大小,也可以自我收缩以缓解内存使用压力。我们称正被缓…

2016-12-14 00:26 · 操作系统 · 评论(0)