已经演示了如何将 feed MediaCodec with Surface input与CameraPreview一样,但是在提交给MediaCodec之前是否有实用的方法来缓冲此输入?

在我的experiments中,galaxy Nexus在CameraToMpegTest.java中使用直接同步编码方法产生音频/视频流时遇到了令人无法接受的打嗝

当使用带有byte []或ByteBuffer输入的MediaCodec时,我们可以将未编码的数据提交给ExecutorService或类似的队列进行处理,以确保不会丢弃任何帧,即使设备的cpu使用率超出了我们应用程序的控制范围.但是,由于要求执行color format conversion between Android’s Camera and MediaCodec,这种方法对于高分辨率的直播视频来说是不现实的.

思考:

>有没有办法将使用EGL14.eglCopyBuffers(EGLDisplay d,EGLSurface s,NativePixmapType p)创建的NativepixmapType提供给MediaCodec?
>来自Android的任何人都可以评论相机和MediaCodec之间是否协调ByteBuffer格式是否在路线图上?

解决方法

你根本不想复制数据.为大量数据分配存储和复制大量数据可能需要足够长的时间来终止帧速率.这通常会排除byte []和ByteBuffer []解决方案,即使您不必进行U / V平面交换.

通过系统移动数据的最有效方法是使用Surface.诀窍是Surface不是缓冲区,它是queue of buffers的接口.缓冲区通过引用传递;当你解锁CanvasAndPost()时,你实际上是将当前缓冲区放在消费者的队列中,这通常是在一个不同的过程中.

没有用于创建新缓冲区并将其添加到队列使用的集合或从队列中提取缓冲区的公共机制,因此您无法在侧面实现DIY缓冲方案.没有公共接口可以更改池中的缓冲区数量.

了解导致打嗝的原因是很有用的.用于分析此类问题的Android工具是systrace,可在Android 4.1(docs,example,bigflake example)中找到.如果您可以确定cpu负载的来源,或者确定它不是cpu而是某些代码变得混乱,那么您可能会有一个解决方案比向Surface添加更多缓冲区容易得多.

android – 缓冲SurfaceCodec的Surface输入的更多相关文章

  1. 如何直接从Android Surface访问EGL图像以用于MediaCodec视频解码器?

    )而无需进行格式转换,但目前还没有类似的机制.我不知道比你描述的更好的方法.更新:我的办公室伙伴提出了一个建议:使用着色器将缓冲区渲染为两个纹理,一个用于Y,另一个用于CbCr.这样可以保持GLES中的所有操作,而不会扩展到完整的RGB.在内部,它会将MediaCodec输出转换为RGB并通过它进行两次研磨,但这可能比将其复制到用户空间并在cpu上自行完成更便宜.

  2. android – Camera2 ImageReader冻结重复捕获请求

    我正在尝试使用camera2API从相机捕获图像数据.我主要使用的是从androidCapture2RAW示例中获取的代码.在完全停止之前,只有少数图像通过.我尝试使用不同大小的RAW_SENSOR和JPEG格式捕获相同的结果.我究竟做错了什么?解决方法固定它.ImageReader生成的图像需要关闭,否则会很快填满内存.

  3. MediaCodec如何在Android框架内找到编解码器?

    我试图了解MediaCodec如何用于硬件解码.我在android内部的知识非常有限.这是我的发现:有一个xml文件代表android系统中的编解码器细节.这意味着,如果我们使用MediaCodec从JavaApplication创建编解码器应该在xml文件的帮助下找出相应的编码器.我在做什么?

  4. android – 在Surface View中动画和旋转图像

    我想在SurfaceView上制作动画动画.理想情况下,我想在动画结束后收到通知.例如:我可能有一辆朝北的汽车.如果我想动画它以使其面向南方持续500ms,我该怎么办呢?如果这最终成为你的问题,你无法解决问题,让我知道,我会发布我是如何做到的.(我不知道这是否是最有效的方法,但只要位图小于300×300左右,它就能顺利运行.也许如果有人知道更好的方法,他们可以告诉我们!

  5. android – 解码音频文件并重新编码为所需的PCM格式:44,100 kHz,2个通道,16位

    解决方法根据我们在评论中的对话,这个答案涉及使用OpenSL将音频数据解码到PCM.不幸的是,我无法使用MediaCodec类提供类似的答案.首先,设置一个AndroidNDK项目(使用Eclipse:右键单击项目,Android工具–>添加本机支持…

  6. android – 使用MediaCodec编码之前为Grafika的“连续捕获”活动裁剪视频

    解决方法看看“相机纹理”活动.请注意,它允许您以各种方式操作图像,特别是“缩放”.“缩放”是通过修改纹理坐标来完成的.ScaledDrawable2D班这样做;rectScale()调用改变了“缩放”,而不是缩放矩形本身.纹理坐标的范围从0.0到1.0(含),getTexCoordArray()方法修改它们以跨越纹理的子集.要剪切帧,您需要按比例修改纹理坐标.例如,如果输入视频是纵向720×1280,并且您想要720×720,则可以更改此坐标:对此:然后在正方形而不是矩形上渲染它.

  7. android – 调用MediaCodec.configure()时出现非法状态异常

    奇怪的是它只发生在某些设备上.欢迎大家提出意见!

  8. android – 如何获得具有有效Surface的SurfaceHolder(EGL.eglCreateWindowSurface需要)?

    我尝试用EGL初始化GLES(因为我想从主线程中绘制)而不是使用渲染器和从onDrawFrame内部绘图).我收到错误:“确保SurfaceView或相关的SurfaceHolder具有有效的Surface”.显然mEgl.eglCreateWindowSurface失败,因为surfaceHolder没有有效的表面.如何获得具有有效Surface的SurfaceHolder?我的Activity

  9. 如何将H.264 NAL设备提供给Android MediaCodec进行解码?

    我应该在发送NAL单元之前剥离0x000x000x01序列吗?我是否需要忽略/删除某些NAL单元类型?

  10. android – 使用MediaCodec截断视频

    我用AndroidMediaCodec库来转码视频文件(主要是改变分辨率Samplecodehere)我想要实现的另一件事是截断视频–仅开始15秒.逻辑是检查videoExtractor.getSampleTime()是否大于15秒,我只是将EOS写入解码器缓冲区.但我得到一个异常引起:android.media.MediaCodec$CodecException:Error0xfffffff3这

随机推荐

  1. bluetooth-lowenergy – Altbeacon库无法在Android 5.0上运行

    昨天我在Nexus4上获得了Android5.0的更新,并且altbeacon库停止了检测信标.似乎在监视和测距时,didEnterRegion和didRangeBeaconsInRegion都没有被调用.即使RadiusNetworks的Locate应用程序现在表现不同,一旦检测到信标的值,它们就不再得到更新,并且通常看起来好像信标超出了范围.我注意到的一点是,现在在logcat中出现以下行“B

  2. android – react-native动态更改响应者

    我正在使用react-native进行Android开发.我有一个视图,如果用户长按,我想显示一个可以拖动的动画视图.我可以使用PanResponder实现这一点,它工作正常.但我想要做的是当用户长按时,用户应该能够继续相同的触摸/按下并拖动新显示的Animated.View.如果您熟悉Google云端硬盘应用,则它具有类似的功能.当用户长按列表中的任何项目时,它会显示可拖动的项目.用户可以直接拖

  3. android – 是否有可能通过使用与最初使用的证书不同的证书对其进行签名来发布更新的应用程序

    是否可以通过使用与最初使用的证书不同的证书进行签名来发布Android应用程序的更新?我知道当我们尝试将这样的构建上传到市场时,它通常会给出错误消息.但有没有任何出路,比如将其标记为主要版本,指定市场中的某个地方?解决方法不,你不能这样做.证书是一种工具,可确保您是首次上传应用程序的人.所以总是备份密钥库!

  4. 如何检测Android中是否存在麦克风?

    ..所以我想在让用户访问语音输入功能之前检测麦克风是否存在.如何检测设备上是否有麦克风.谢谢.解决方法AndroidAPI参考:hasSystemFeature

  5. Android – 调用GONE然后VISIBLE使视图显示在错误的位置

    我有两个视图,A和B,视图A在视图B上方.当我以编程方式将视图A设置为GONE时,它将消失,并且它正下方的视图将转到视图A的位置.但是,当我再次将相同的视图设置为VISIBLE时,它会在视图B上显示.我不希望这样.我希望视图B回到原来的位置,这是我认为会发生的事情.我怎样才能做到这一点?编辑–代码}这里是XML:解决方法您可以尝试将两个视图放在RelativeLayout中并相对于彼此设置它们的位置.

  6. android – 获得一首歌的流派

    我如何阅读与歌曲相关的流派?我可以读这首歌,但是如何抓住这首歌的流派,它存放在哪里?解决方法检查此代码:

  7. android – 使用textShadow折叠工具栏

    我有一个折叠工具栏的问题,在展开状态我想在文本下面有一个模糊的阴影,我使用这段代码:用:我可以更改textColor,它可以工作,但阴影不起作用.我为阴影尝试了很多不同的值.是否可以为折叠文本投射阴影?

  8. android – 重用arm共享库

    我已经建立了armarm共享库.我有兴趣重用一个函数.我想调用该函数并获得返回值.有可能做这样的事吗?我没有任何头文件.我试过这个Android.mk,我把libtest.so放在/jni和/libs/armeabi,/lib/armeabi中.此时我的cpp文件编译,但现在是什么?我从objdump知道它的名字编辑:我试图用这个android.mk从hello-jni示例中添加prebuild库:它工作,但libtest.so相同的代码显示以下错误(启动时)libtest.so存在于libhello-j

  9. android – 为NumberPicker捕获键盘’Done’

    我有一个AlertDialog只有一些文本,一个NumberPicker,一个OK和一个取消.(我知道,这个对话框还没有做它应该保留暂停和恢复状态的事情.)我想在软键盘或其他IME上执行“完成”操作来关闭对话框,就像按下了“OK”一样,因为只有一个小部件可以编辑.看起来处理IME“Done”的最佳方法通常是在TextView上使用setonEditorActionListener.但我没有任何Te

  10. android – 想要在调用WebChromeClient#onCreateWindow时知道目标URL

    当我点击一个带有target=“_blank”属性的超链接时,会调用WebChromeClient#onCreateWindow,但我找不到新的窗口将打开的新方法?主页url是我唯一能知道的东西?我想根据目标网址更改应用行为.任何帮助表示赞赏,谢谢!

返回
顶部