java17+javaFX17+openCV4.5.5 实现远程桌面功能 最全完整版

admin管理员组

文章数量:1794759

java17+javaFX17+openCV4.5.5 实现远程桌面功能 最全完整版

初学JAVA时做过一个远程桌面的功能，但是性能比较差，经过多年摸鱼，经验慢慢丰富，但也懒得改动之前学习用的代码了。 碰巧前阵有个同学做毕业论文时问起我有没有这个程序，但我当初的代码早没了，想着网上搬个文章给他对付一下吧，搜了半天，结果实在找不到合适的。凭借记忆把当年的程序完成，据说00后开发都用java17，我就用这个做新手教程吧。

---

1.0：开发环境准备（有2台在局域网或外网(前提可以映射端口)的电脑更好）

系统：windows 64位 (推荐windows 10 X64 20H2)

内存：4G或以上

CPU：双核或以上

显卡：GT1030或以上级别

显示器分辨率：1080P或以上，系统画面缩放最好调整为100%

文章内所有官方无法下载或下载困难的资源合集（永久有效）：

pan.baidu/s/1os7ZIqvewosnooeWHRSpYQpan.baidu/s/1os7ZIqvewosnooeWHRSpYQ 提取码：8888 

---

1.1：下载openJDK17(会的同学跳过)

JDK 17.0.1 GA Releasejdk.java/17/

下载后解压到合适的目录，我选择的是D:\\jdk-17.0.1，然后加上环境变量

---

1.2：下载openJFX17(会的同学跳过)

JavaFX - Gluongluonhq/products/javafx/

下载后解压到合适的目录，我选择的是D:\\javafx-sdk-17.0.1

---

1.3：下载maven(会的同学跳过)

Maven – Download Apache Mavenmaven.apache/download.cgi

下载后解压到合适的位置，我选择的是D:\\Program Files\\apache-maven-3.8.4，打开根目录中的conf文件夹，找到setting.xml，编辑它

<localRepository>D:/repo</localRepository>

我把本地仓库设置为D盘的repo文件夹

<mirror> <id>aliyun-maven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <url>maven.aliyun/nexus/content/groups/public</url> </mirror>

用阿里的仓库

---

1.4：下载Eclipse 2021-12(会的同学跳过)

Eclipse downloads - Select a mirror | The Eclipse Foundationwww.eclipse/downloads/download.php?file=/technology/epp/downloads/release/2021-12/R/eclipse-jee-2021-12-R-win32-x86_64.zip

下载速度慢的同学可以用这个镜像，速度不错，解压到合适位置，我选择的是D:\\Program Files\\eclipse

解压好后先不急打开eclipse，先打开eclipse目录，找到eclipse.ini文件，编辑它(允许eclipse访问jdk中的类)

--add-modules=ALL-SYSTEM --add-exports=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-exports=jdk.unsupported/sun.misc=ALL-UNNAMED

---

1.5：下载lombok插件(会的同学跳过)

Downloadprojectlombok/download

 直接下载，我把它放到了D盘根目录，然后运行cmd

 

 选择你解压的eclipse路径，点击安装就可以了

---

1.6：打开eclipse，修改配置，增加efxclipse插件(可选)

打开首选项，修改好字符集

配置maven，就可以了

download.eclipse/efxclipse/updates-released/3.7.0/site/

 不停的下一步直到安装完成就可以了(可选)

---

1.7：下载springboot-javafx-support 2.1.8插件

这是个好东西，好像是一个叫Felix Roske的大佬写的(具体我也不知道)，可惜多年没更新，目前官方最新版是2.1.7(未发版，发版的是2.1.6)，只支持JDK1.8。我找到源码重新用JAVA17编译后，分析问题，魔改了下(后面我会说具体改了哪几个地方)，就能用了。

百度网盘 请输入提取码pan.baidu/s/1os7ZIqvewosnooeWHRSpYQ提取码：8888 

下载后复制到maven根目录的bin文件夹下，以管理员运行cmd，添加到本地maven仓库

mvn install:install-file -Dfile=springboot-javafx-support-2.1.8.jar -DgroupId=de.roskenet -DartifactId=springboot-javafx-support -Dversion=2.1.8 -Dpackaging=jar

---

1.8：下载javafx scene builder(可选)JavaFX Scene Builder 1.x Archivewww.oracle/java/technologies/javafxscenebuilder-1x-archive-downloads.html

这是个可选的UI拖拽控件。

---

 1.9：下载openCV4.5.5(我这边只提供需要的dll和jar，需要完整版的可以在官网下载)

 pan.baidu/s/1os7ZIqvewosnooeWHRSpYQpan.baidu/s/1os7ZIqvewosnooeWHRSpYQ 提取码：8888 

下载后复制opencv-4.5.5.jar到maven根目录的bin文件夹下，以管理员运行cmd，添加到本地maven仓库(这边就不截图了，参考上面的图)

mvn install:install-file -Dfile=opencv-4.5.5.jar -DgroupId=org.opencv -DartifactId=opencv -Dversion=4.5.5 -Dpackaging=jar

将opencv_java455.dll复制到jdk根目录的bin文件夹下

---

 1.10：下载工程源码

 pan.baidu/s/1os7ZIqvewosnooeWHRSpYQpan.baidu/s/1os7ZIqvewosnooeWHRSpYQ 提取码：8888 

 下载好后，把文件夹解压到eclipse的工作空间

如果项目出现红色感叹号，按如下方式操作：

按照此法导入(一个服务端，一个客户端)，至此所有需要下载的东西都下完了。

---

 2.0：在本地运行

i) 打包服务端、客户端

clean install

把打包后的文件复制到合适的地方，我把它放到了D:\\remote

客户端也按照上面的方法打包，然后复制到同一个目录

---

ii) 生成JRE17、javaFX17运行环境

以管理员身份运行cmd，输入如下命令：

jlink --output jre17 --add-modules java.base,java.logging,java.desktop,java.management,java.naming,java.security.jgss,java.instrument,java.scripting,jdk.unsupported

会发现D:\\remote下生成了指定模块的JRE

 

把opencv_java455.dll复制到jre17根目录的bin目录下

把javafx-sdk-17.0.1文件夹也复制进来

 

 进入javafx-sdk-17.0.1的bin目录中，把jfxwebkit.dll文件删除，没用到这个包，太占地方了

---

iii) 编写启动脚本

 新建一个run_server.bat的文件，编辑它，输入如下内容，保存

jre17\\bin\\java.exe -jar --add-opens java.base/java.lang=ALL-UNNAMED --add-opens java.desktop/java.awt=ALL-UNNAMED --add-opens java.desktop/sun.awt.windows=ALL-UNNAMED -Djava.awt.headless=false RemoteServer-0.0.1-SNAPSHOT.jar

 再新建一个run_client.bat的文件，编辑它，输入如下内容，保存

 

jre17\\bin\\java.exe -jar --module-path="javafx-sdk-17.0.1\\lib" --add-modules=javafx.base,javafx.fxml,javafx.controls,javafx.graphics -Djava.awt.headless=false RemoteClient-0.0.1-SNAPSHOT.jar

---

 双击run_server.bat，启动服务端，看到如下界面，说明启动成功

 

把快速编辑模式关闭，防止界面输出时阻塞程序

---

 双击run_client.bat，启动客户端，同样的办法，关闭快速编辑模式，你也可以右键时直接设置默认值，默认开启cmd时关闭快速编辑模式(很重要)

点左上角的开启，剩下的就不说了

因为我客户端和服务端使用了不同的电脑，所以画面是正常的，你们服务端和客户端在一台电脑运行时，看到的画面应该是这样的：

注意：任务栏上有客户端右键退出按钮，直接关闭窗口默认隐藏到任务栏

 

---

 2.1 在局域网的2台电脑(一台被控、一台控制)运行

找到服务端启动类，点击运行配置

 复制如下启动参数(让程序启动时能够访问jdk的类，也可以把这部分直接配置在eclipse目录中的eclipse.ini文件中)

--add-opens java.base/java.lang=ALL-UNNAMED --add-opens java.desktop/java.awt=ALL-UNNAMED --add-opens java.desktop/sun.awt.windows=ALL-UNNAMED -Djava.awt.headless=false 

同理，找到客户端的启动类，复制如下参数(添加javaFX 运行时需要的模块)

--module-path="D:\\javafx-sdk-17.0.1\\lib" --add-modules=javafx.base,javafx.fxml,javafx.controls,javafx.graphics -Djava.awt.headless=false

注意：这里的--module-path，我配置的javaFX sdk是在D盘根目录，具体根据自己的实际情况调整。

---

修改服务端的端口，默认是8080，也可以自己自定义。如果修改了，就按照之前的方式重新打包，替换原来的RemoteServer-0.0.1-SNAPSHOT.jar文件

---

修改服务端的内网IP和端口。修改后，就按照之前的方式重新打包，替换原来的RemoteClient-0.0.1-SNAPSHOT.jar文件

---

修改好重新打包，替换完成以后的目录。现在服务端和客户端都依赖同一个环境运行，我们需要进行分离（其中jre17是服务端和客户端都需要的，javafx-sdk-17.0.1只有客户端需要）

---

创建2个文件夹remote_server和remote_client

---

 按照如下方式把文件剪切、复制过去

现在服务端和客户端运行环境就分开了

---

把服务端进行简单打包(至于封装成安装包，不属于本文重点，就不讲了)，服务端打包后只有43MB，并不大，把它复制到被控电脑（因为已经包含jre了，不需要安装jdk和其他环境），解压到任意目录，运行其中的run_server.bat

然后运行控制端的客户端run_client.bat，就可以了

---

2.3 在外网的2台电脑(一台被控、一台控制)上运行（懂的可以尝试）

首先被控电脑的端口需要映射到外网端口，然后配置跟局域网中的方法一样，客户端连接的IP需要换成外网IP和映射的外网端口即可（也可以在路由器开启DMZ主机(有安全隐患)，并且路由WAN口地址属于三大运营商的外网IP，如果分配的是运营商虚拟内网IP，电信可以打客服电话要求修改，其他运营商据我所知不行）。

注意：外网控制需要配置好权限管理，推荐使用JWT。代码不修改直接在外网运行，没有任何安全保障。

---

3.0 服务端关键代码简单介绍

3.0.1 获取屏幕图像(根据不同的屏幕分辨率和电脑性能，效率在20-40ms之间)

Field peerf = robot.getClass().getDeclaredField("peer");//获取robot的peerf对象 peerf.setAccessible(true); peer = peerf.get(robot); getPixelsMtehod = peer.getClass().getDeclaredMethod("getRGBPixels", Rectangle.class);//得到这个获取像素数组的方法 getPixelsMtehod.setAccessible(true); pixels = (int[]) getPixelsMtehod.invoke(peer, rect);//获取像素数组

为啥要这样？ 你不会直接调用Robot类的createScreenCapture方法获取图片吧?让我们看下源码，源码的操作很秀，简单来说是先获取像素数组，再把他转成图片，但是我这里其实只需要获取像素数组，再转成png二进制的数据就可以了，你给我转图片来回倒腾，性能直接爆炸。源码如下：(用这个方法来回倒腾，性能最少浪费100ms以上，并且CPU占用率也会报警)，我其实只需要源码中的pixels = peer.getRGBPixels(screenRect);这一行代码就够了。

问：为啥不用DXGI，效率比JAVA源码这个还要高啊（DXGI效率大约在3-8ms）

答：我在资料夹中提供了DXGI的JAVA调用封装，并且放了一个简单的word文档，感兴趣自己看，需要win8以上电脑才能用。

pan.baidu/s/1os7ZIqvewosnooeWHRSpYQpan.baidu/s/1os7ZIqvewosnooeWHRSpYQ 提取码：8888 

看看源码都干了什么：

private synchronized BufferedImage[] createCompatibleImage(Rectangle screenRect, boolean isHiDPI) { checkScreenCaptureAllowed(); checkValidRect(screenRect); BufferedImage lowResolutionImage; BufferedImage highResolutionImage; DataBufferInt buffer; WritableRaster raster; BufferedImage[] imageArray; if (screenCapCM == null) { /* * Fix for 4285201 * Create a DirectColorModel equivalent to the default RGB ColorModel, * except with no Alpha component. */ screenCapCM = new DirectColorModel(24, /* red mask */ 0x00FF0000, /* green mask */ 0x0000FF00, /* blue mask */ 0x000000FF); } int[] bandmasks = new int[3]; bandmasks[0] = screenCapCM.getRedMask(); bandmasks[1] = screenCapCM.getGreenMask(); bandmasks[2] = screenCapCM.getBlueMask(); // need to sync the toolkit prior to grabbing the pixels since in some // cases rendering to the screen may be delayed Toolkit.getDefaultToolkit().sync(); GraphicsConfiguration gc = GraphicsEnvironment .getLocalGraphicsEnvironment() .getDefaultScreenDevice(). getDefaultConfiguration(); gc = SunGraphicsEnvironment.getGraphicsConfigurationAtPoint( gc, screenRect.getCenterX(), screenRect.getCenterY()); AffineTransform tx = gc.getDefaultTransform(); double uiScaleX = tx.getScaleX(); double uiScaleY = tx.getScaleY(); int[] pixels; if (uiScaleX == 1 && uiScaleY == 1) { pixels = peer.getRGBPixels(screenRect); buffer = new DataBufferInt(pixels, pixels.length); bandmasks[0] = screenCapCM.getRedMask(); bandmasks[1] = screenCapCM.getGreenMask(); bandmasks[2] = screenCapCM.getBlueMask(); raster = Raster.createPackedRaster(buffer, screenRect.width, screenRect.height, screenRect.width, bandmasks, null); SunWritableRaster.makeTrackable(buffer); highResolutionImage = new BufferedImage(screenCapCM, raster, false, null); imageArray = new BufferedImage[1]; imageArray[0] = highResolutionImage; } else { Rectangle scaledRect; if (peer.useAbsoluteCoordinates()) { scaledRect = toDeviceSpaceAbs(gc, screenRect.x, screenRect.y, screenRect.width, screenRect.height); } else { scaledRect = toDeviceSpace(gc, screenRect.x, screenRect.y, screenRect.width, screenRect.height); } // HighResolutionImage pixels = peer.getRGBPixels(scaledRect); buffer = new DataBufferInt(pixels, pixels.length); raster = Raster.createPackedRaster(buffer, scaledRect.width, scaledRect.height, scaledRect.width, bandmasks, null); SunWritableRaster.makeTrackable(buffer); highResolutionImage = new BufferedImage(screenCapCM, raster, false, null); // LowResolutionImage lowResolutionImage = new BufferedImage(screenRect.width, screenRect.height, highResolutionImage.getType()); Graphics2D g = lowResolutionImage.createGraphics(); g.setRenderingHint(RenderingHints.KEY_INTERPOLATION, RenderingHints.VALUE_INTERPOLATION_BILINEAR); g.setRenderingHint(RenderingHints.KEY_RENDERING, RenderingHints.VALUE_RENDER_QUALITY); g.setRenderingHint(RenderingHints.KEY_ANTIALIASING, RenderingHints.VALUE_ANTIALIAS_ON); g.drawImage(highResolutionImage, 0, 0, screenRect.width, screenRect.height, 0, 0, scaledRect.width, scaledRect.height, null); g.dispose(); if(!isHiDPI) { imageArray = new BufferedImage[1]; imageArray[0] = lowResolutionImage; } else { imageArray = new BufferedImage[2]; imageArray[0] = lowResolutionImage; imageArray[1] = highResolutionImage; } } return imageArray; }

获取到了像素数组后，需要转为二进制数据，下面是高效率的方法(2-5ms)：

private byte[] intToByte(int[] pixels) { if (pixels == null) return null; ByteBuffer byteBuffer = ByteBuffer.allocate(pixels.length * 4); byteBuffer.order(ByteOrder.LITTLE_ENDIAN); IntBuffer intBuffer = byteBuffer.asIntBuffer(); intBuffer.put(pixels); return byteBuffer.array(); }

将二进制的bmp格式图片数据转为png格式二进制数据，下面是通过openCV进行的高效率转换方法(20-35ms)：

private byte[] imgPixelByteToPng(byte[] data) { Mat screen = new Mat(rect.height, rect.width, CvType.CV_8UC4); screen.put(0, 0, data); MatOfByte mb = new MatOfByte(); Imgcodecs.imencode(".png", screen, mb); return mb.toArray(); }

帧间压缩(这和真正的帧间压缩差了十万八千里，我也想不到别的名称，姑且这么叫吧)——直接把2个图片的二进制数据进行比较，把不变的标记为-127，如果本身这个像素位置就是-127，那就改为-126(肉眼看不出来)，每次只需要传输变化的图片(5-15ms)，不需要每次都传原图。调用openCV，使用png压缩后，每帧的体积很小

private byte[] compare(byte data1[], byte data2[]) { byte[] data = new byte[data1.length]; for (int i = 0; i < data.length; i++) { if (data2[i] == -127) data[i] = -126; else if (data1[i] == data2[i]) data[i] = -127; else data[i] = data2[i]; } return data; } 3.1客户端关键代码简单介绍

把从服务端接收的二进制png格式数据转为二进制bmp格式数据(20-35ms)

private byte[] pngToPixelByte(byte[] zlib) { Mat mat = Imgcodecs.imdecode(new MatOfByte(zlib), Imgcodecs.IMREAD_UNCHANGED); byte[] d = new byte[sp.getHeight() * sp.getWidth() * 4]; mat.get(0, 0, d); return d; }

帧还原(与上一帧比较，将改变的像素位置替换)(5-15ms)

private byte[] decode(byte src[], byte comp[]) throws Exception { byte[] data = new byte[src.length]; for (int i = 0; i < data.length; i++) { if (comp[i] == -127) data[i] = src[i]; else data[i] = comp[i]; } return data; }

将二进制像素数据转为int[]型，下面是高效率的方法(2-5ms)：

private int[] byteToInt(byte[] data) { if (data == null) return null; ByteBuffer byteBuffer = ByteBuffer.wrap(data); byteBuffer.order(ByteOrder.LITTLE_ENDIAN); int[] pixels = new int[data.length / 4]; byteBuffer.asIntBuffer().get(pixels); return pixels; }

将像素数组设置到javaFX的页面元素,通过WritableImage对象获得PixelWriter，执行setPixels方法直接绘制像素，下面是高效率方法(1-2ms)

private void setView() throws Exception { int[] pixels = byteToInt(data); Platform.runLater(() -> { pw.setPixels(0, 0, sp.getWidth(), sp.getHeight(), PixelFormat.getIntArgbPreInstance(), pixels, 0, sp.getWidth()); }); }

---

3.2 多线程优化

客户端接收到服务端数据后，需要解码一段时间，这时候不能让服务端干等着，解码需要运行于单独的线程，效率比较高

配置一下线程池

@Bean @Override public Executor getAsyncExecutor() { ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor(); executor.setCorePoolSize(1); executor.setMaxPoolSize(1); executor.setQueueCapacity(1000); executor.initialize(); return executor; } @Override public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() { return null; }

把数据计算这块单独放一个线程

@Override public void fill(ViewThread thread, byte[] zlib, boolean isFirst) { try { if (isFirst) { thread.setData(thread.pngToPixelByte(zlib)); } else { byte[] mod = thread.pngToPixelByte(zlib); thread.setData(thread.decode(thread.getData(), mod)); } thread.setView(); } catch (Exception e) { e.printStackTrace(); } }

控制线程队列数量，保证画面实时性

while (((ThreadPoolTaskExecutor) executor).getThreadPoolExecutor().getQueue().size() >= 1) { sleep(5); } fillService.fill(this, zlib, false);

---

3.3 springboot-javafx-support 插件代码修改部分

主要动了这个类：AbstractJavaFxApplicationSupport，修改了springboot初始化顺序，原来是先初始化javaFX应用程序，再初始化springboot启动，调整为相反顺序。

添加一个spirng上下文

protected static ConfigurableApplicationContext cac;

springboot启动后，将这个对象赋值给AbstractJavaFxApplicationSupport

System.loadLibrary(Core.NATIVE_LIBRARY_NAME); cac = SpringApplication.run(RemoteClientApplication.class, args); launch(RemoteClientApplication.class, LoginView.class, args);

修改javaFX初始化方法

@Override public void init() throws Exception { // Load in JavaFx Thread and reused by Completable Future, but should no be a // big deal. defaultIcons.addAll(loadDefaultIcons()); CompletableFuture.supplyAsync(() -> null).whenComplete((ctx, throwable) -> { Platform.runLater(() -> { loadIcons(cac); launchApplicationView(cac); }); }).thenAcceptBothAsync(splashIsShowing, (ctx, closeSplash) -> { loadData(); Platform.runLater(closeSplash); }); }

展示欢迎屏幕时增加一个加载抽象方法

public abstract void loadData();

整个客户端启动类代码修改后变为，这样改造，用到JAVA20应该都没问题

@SpringBootApplication(scanBasePackages = { "com.toten" }) public class RemoteClientApplication extends AbstractJavaFxApplicationSupport { public static void main(String[] args) { System.loadLibrary(Core.NATIVE_LIBRARY_NAME); cac = SpringApplication.run(RemoteClientApplication.class, args); launch(RemoteClientApplication.class, LoginView.class, args); } @Override public void loadData() { try { Thread.sleep(1000); } catch (InterruptedException e) { e.printStackTrace(); } } @Override public void start(Stage stage) throws Exception { StageUtil.STAGE = stage; stage.setResizable(false); super.start(stage); } }

---

有几个同学给我发微信说不会用DXGI插件，囧囧囧，好吧，我打包了一个DXGI获取屏幕的版本，测试下来可将CPU占用降低到10%以下，服务端编码效率提升45%。提升不错，就是本来几乎原汁原味的JAVA已经慢慢变味了(下一步不会让我搞rtmp流吧，😅)

老地方自己下载：

通过指针获取屏幕像素数组，其他地方不变，DXGI的C++代码就不介绍了：

@Override public byte[] getScreen(boolean isFirst) { if (isFirst) tempData = null; if (!isInit) { dxgi.init(); dataSize = rect.width * rect.height * 4; imagePointer = new Memory(dataSize); isInit = true; } dxgi.getImg(imagePointer); byte[] data = imagePointer.getByteArray(0, dataSize); byte[] compData = data; if (tempData != null) compData = compare(tempData, data); tempData = data; byte[] res = imgPixelByteToPng(compData); return res; }

---

测试下来性能还算凑合，毕竟保留了99%的java代码，执行效率堪忧，跟DXGI和HEVC实现的肯定不是一个量级，哪位大佬有好的方案也可以留言让我学习下。 该下班了，基本就这些了，水平有限，凑合看看吧。

本文标签： 完整版最全远程桌面功能