多媒体编程原理

• 多媒体处理基础知识
• Android多媒体框架
• Android多媒体编程
• Media框架

硬件加速

• 不同厂商的多媒体加速硬件特点
• OpenCore
• StageFright
• Gstreamer

输入输出

• Camera
• HDMI
• 显示处理
• 音频处理

多媒体应用极限编程

• 万能播放器之ffmpeg
• 万能播放器之VLC
• 音频处理

交互特性

• Online
• 文字语音互换
• 图像处理
• AR

• 多媒体技术
• 音视频编解码原理
• 已有的多媒体框架
• 开源多媒体框架的结构分析
• 音频输出处理
• 视频输出处理
• 图形加速，OpenGL框架

• Android处理多媒体的不同子框架
• Media层次简要介绍
• Camera
• AudioFlinger
• SurfaceFlinger
• OpenGL ES
• Media的后处理

• MediaPlayer
• AudioTrack
• Camera调用的不同方法
• 基于Service的音频播放器
• P2P多媒体编程
• 2D游戏
• 线程化视频播放器
• 3D游戏

• Framework里的Media框架层构造
• OpenMAX框架
• Media子框架的设计与实现
• Media子框架内交互
• Media框架的拓展
• Media开发过程里的测试

• 多媒体加速的基本原理
• Neon指令级加速
• Qualc
• TI
• ? Samsung
• Marvell
• MTK

• OpenCore的结构性特点
• OpenCore软件框架
• OpenCore实现分析
• 拓展OpenCore的多媒体格式处理能力
• OpenCore的硬件解码加速
• OpenCore的硬件编码加速
• OpenCore的优缺点

• StageFright与OpenCore的异同
• StageFright的结构
• 拓展StageFright的媒体处理能力
• 在StageFright里加入新的Codec
• 实现StageFright的硬件加速
• OMX Codec
• OpenMAX IL

• Gstreamer简介
• Gstreamer框架结构
• 在Android里使用Gstreamer的缺点
• 在Android使用Gstreamer
• Gstreamer的硬件加速

• 拓展OpenCore的格式支持，实现OpenCore的一种硬件加速插件
• 拓展OpenCore的格式支持，实现StageFright的一种硬件加速插件

• Camera的基本原理
• V4L2驱动框架
• Android里的Camera框架
• Camera HAL的结构
• Overlay HAL
• Camera HAL的实现
• 3D Camera支持
• 4.0里加入的Camera拓展

• HDMI原理
• HDMI的V4L2支持
• Android的HDMI支持框架
• Android 2.3里的HDMI支持实例
• Mirror与Video plane
• HDMI的检测与自适应
• Android 4.0的HDMI支持

• Android显示处理的基本框架
• 显示处理层次
• Linux内核的Framebuffer驱动框架
• SurfaceFlinger
• Gralloc HAL
• Hardware Composer HAL
• OpenGL ES与EGL
• GPU驱动
• GPU驱动的Hack

• linux里的音频处理概况
• Android的音频处理框架
• AudioFlinger
• AudioManager
• 不同的Audio HAL实现

• Android多媒体处理的缺陷
• Ffmpeg简介
• 在Android里编译FFmpeg
• 实现FFmpeg的JNI
• FFMPEG的图像处理加速
• FFMPEG的硬件加速

• VLC简介
• VLC的架构
• Libvlc编程
• VLC的JNI实现
• 实现VLC播放器

• Android里的音频处理缺陷
• HIFI数字化
• 音频后处理原理
• Android里的音频的EQ支持
• Android里的多声道支持
• Audio的多声道Mixing
• 使用PulseAudio

• 实现FFMPEG的Android多版本支持播放器
• 实现VLC的多版本支持播放器
• 移植Android里的PulseAudio

• O-auth
• JSON
• 基于JSON的WebService API
• SmarterAdapter
• 支持不同视频网站的在线播放
• DLNA网络协议
• Android的DLNA支持
• 基于Android的Remote Control

• TTS与Speech Recognizer原理
• 构建基本的TTS引擎
• Nuance语音引擎基本构架
• 基于Nuance语音引擎开发语音命令控制
• 山寨化Siri

• 图像处理基本原理与相关技术
• 图像的基本处理，放大缩小、旋转、变形
• 图像的高级处理，图像识别、滤镜
• OpenCV简介
• 基于OpenCV的特殊应用
• Face Detection
• Vide Editor

• Argmented Reality简介
• AR的系统构成
• 基于AR的虚拟双向交互
• Vuforia编程
• 使用ARToolKit
• 实践：实现简易Android下的DLNA客户端