返回发烧友论坛
发 帖  

[文章]【AI文字识别】jack_606 Codelab记录帖

jack_606
2021-04-14 15:46:06
阅读量0
HDD
0
1
`目标：鸿蒙上实现AI文字识别
1.核心MainAbilitySlice类文件如下：
  1. public class MainAbilitySlice extends AbilitySlice {
  2.     private static final int LIST_CONTAINER_ID_SHOW = ResourceTable.Id_picture_list_show;
  3.     private static final int LIST_CONTAINER_ID_MATCH = ResourceTable.Id_picture_list_match;
  4.     private static final int NEG_ONE = -1;
  5.     private static final int ZERO = 0;
  6.     private static final int ONE = 1;
  7.     private static final int TWO = 2;
  8.     private Context slice;
  9.     private EventRunner runner;
  10.     private MyEventHandle myEventHandle;
  11.     private int[] pictureLists = new int[]{ResourceTable.Media_icon_1, ResourceTable.Media_icon_2};
  12.     private Component selectComponent;
  13.     private int selectPosition;
  14.     private Button button;
  15.     private TextField textField;
  16.     private Map<Integer, String> imageInfos;
  17.     private int[] matchPictures;

  19.     @Override
  20.     public void onStart(Intent intent) {
  21.         super.onStart(intent);
  22.         super.setUIContent(ResourceTable.Layout_ability_main);

  24.         slice = MainAbilitySlice.this;

  26.         // 展示图片列表
  27.         setSelectPicture(pictureLists, LIST_CONTAINER_ID_SHOW);

  29.         // 所有图片通用文字识别
  30.         wordRecognition();

  32.         // 设置需要分词的语句
  33.         Component componentText = findComponentById(ResourceTable.Id_word_seg_text);
  34.         if (componentText instanceof TextField) {
  35.             textField = (TextField) componentText;
  36.         }

  38.         // 点击按钮进行文字识别
  39.         Component componentSearch = findComponentById(ResourceTable.Id_button_search);
  40.         if (componentSearch instanceof Button) {
  41.             button = (Button) componentSearch;
  42.             button.setClickedListener(listener -> wordSegment());
  43.         }
  44.     }

  46.     @Override
  47.     public void onActive() {
  48.         super.onActive();
  49.     }

  51.     @Override
  52.     public void onForeground(Intent intent) {
  53.         super.onForeground(intent);
  54.     }

  56.     // 设置图片选择区域
  57.     private void setSelectPicture(int[] pictures, int id) {
  58.         // 获取图片
  59.         PictureProvider newsTypeAdapter = new PictureProvider(pictures, this);

  61.         Component componentById = findComponentById(id);
  62.         if (componentById instanceof ListContainer) {
  63.             ListContainer listContainer = (ListContainer) componentById;
  64.             listContainer.setItemProvider(newsTypeAdapter);
  65.         }
  66.     }

  68.     // 通用文字识别
  69.     private void wordRecognition() {
  70.         initHandler();
  71.         WordRecognition wordRecognition = new WordRecognition();
  72.         wordRecognition.setParams(slice, pictureLists, myEventHandle);
  73.         wordRecognition.sendResult(null);
  74.     }

  76.     // 分词
  77.     private void wordSegment() {
  78.         // 组装关键词，作为分词对象
  79.         String requestData = "{"text":" + textField.getText() + ","type":0}";
  80.         initHandler();
  81.         new WordSegment().wordSegment(slice, requestData, myEventHandle);
  82.     }

  84.     // 匹配图片
  85.     private void matchImage(List<String> list) {
  86.         Set<Integer> matchSets = new HashSet<>();
  87.         for (String str: list) {
  88.             for (Integer key : imageInfos.keySet()) {
  89.                 if (imageInfos.get(key).indexOf(str) != NEG_ONE) {
  90.                     matchSets.add(key);
  91.                 }
  92.             }
  93.         }
  94.         // 获得匹配的图片
  95.         matchPictures = new int[matchSets.size()];
  96.         int i = 0;
  97.         for (int match: matchSets) {
  98.             matchPictures[i] = match;
  99.             i++;
  100.         }
  101.         // 展示图片
  102.         setSelectPicture(matchPictures, LIST_CONTAINER_ID_MATCH);
  103.     }

  105.     private void initHandler() {
  106.         runner = EventRunner.getMainEventRunner();
  107.         if (runner == null) {
  108.             return;
  109.         }
  110.         myEventHandle = new MyEventHandle(runner);
  111.     }

  113.     public class MyEventHandle extends EventHandler {
  114.         MyEventHandle(EventRunner runner) throws IllegalArgumentException {
  115.             super(runner);
  116.         }

  118.         @Override
  119.         protected void processEvent(InnerEvent event) {
  120.             super.processEvent(event);
  121.             int eventId = event.eventId;
  122.             if (eventId == ONE) {
  123.                 // 通用文字识别
  124.                 if (event.object instanceof Map) {
  125.                     imageInfos = (Map) event.object;
  126.                 }
  127.             }
  128.             if (eventId == TWO) {
  129.                 // 分词
  130.                 if (event.object instanceof List) {
  131.                     List<String> lists = (List) event.object;
  132.                     if ((lists.size() > ZERO) && (!"no keywords".equals(lists.get(ZERO)))) {
  133.                         // 根据输入关键词 匹配图片
  134.                         matchImage(lists);
  135.                     }
  136.                 }
  137.             }
  138.         }
  139.     }
  140. }
复制代码
2.PictureProvider.class文件
  1. public class PictureProvider extends BaseItemProvider {
  2.     private int[] pictureLists;
  3.     private Context context;

  5.     /**
  6.      *  picture provider
  7.      *
  8.      * [url=home.php?mod=space&uid=3142012]@param[/url] pictureLists pictureLists
  9.      * @param context context
  10.      */
  11.     public PictureProvider(int[] pictureLists, Context context) {
  12.         this.pictureLists = pictureLists;
  13.         this.context = context;
  14.     }

  16.     @Override
  17.     public int getCount() {
  18.         return pictureLists == null ? 0 : pictureLists.length;
  19.     }

  21.     @Override
  22.     public Object getItem(int position) {
  23.         return Optional.of(this.pictureLists[position]);
  24.     }

  26.     @Override
  27.     public long getItemId(int position) {
  28.         return position;
  29.     }

  31.     @Override
  32.     public Component getComponent(int var1, Component var2, ComponentContainer var3) {
  33.         ViewHolder viewHolder = null;
  34.         Component component = var2;
  35.         if (component == null) {
  36.             component = LayoutScatter.getInstance(context).parse(ResourceTable.Layout_item_image_layout,

  38.                 null, false);
  39.             viewHolder = new ViewHolder();
  40.             Component componentImage = component.findComponentById(ResourceTable.Id_select_picture_list);
  41.             if (componentImage instanceof Image) {
  42.                 viewHolder.image = (Image) componentImage;
  43.             }
  44.             component.setTag(viewHolder);
  45.         } else {
  46.             if (component.getTag() instanceof ViewHolder) {
  47.                 viewHolder = (ViewHolder) component.getTag();
  48.             }
  49.         }
  50.         if (viewHolder != null) {
  51.             viewHolder.image.setPixelMap(pictureLists[var1]);
  52.         }
  53.         return component;
  54.     }

  56.     private static class ViewHolder {
  57.         Image image;
  58.     }
  59. }
复制代码
3.WordRecognition类文件和WordSegment类文件
  1. public class WordRecognition {
  2.     private static final boolean IS_ASYNC = false;
  3.     private static final int IS_ASYNC_CODE = 700;
  4.     private Context slice;
  5.     private ITextDetector textDetector;
  6.     private PixelMap pixelMap;
  7.     private MainAbilitySlice.MyEventHandle handle;

  9.     private int[] pictureLists;
  10.     private int mediaId;
  11.     private Map maps = new HashMap<>();
  12.     private int index;
  13.     private int result;

  15.     public void setParams(Context context, int[] pictureIds, MainAbilitySlice.MyEventHandle myEventHandle) {
  16.         slice = context;
  17.         pictureLists = pictureIds;
  18.         handle = myEventHandle;
  19.     }

  21.     public void wordRecognition(Context context, int resId, MainAbilitySlice.MyEventHandle myEventHandle) {
  22.         mediaId = resId;
  23.         // 实例化ITextDetector接口
  24.         textDetector = VisionManager.getTextDetector(context);

  26.         // 实例化VisionImage对象image，并传入待检测图片pixelMap
  27.         pixelMap = getPixelMap(resId);
  28.         VisionImage image = VisionImage.fromPixelMap(pixelMap);

  30.         // 定义VisionCallback<Text>回调，异步模式下用到
  31.         VisionCallback<Text> visionCallback = getVisionCallback();

  33.         // 定义ConnectionCallback回调，实现连接能力引擎成功与否后的操作
  34.         ConnectionCallback connectionCallback = getConnectionCallback(image, visionCallback);

  36.         // 建立与能力引擎的连接
  37.         VisionManager.init(context, connectionCallback);
  38.     }

  40.     private VisionCallback getVisionCallback() {
  41.         return new VisionCallback<Text>() {
  42.             @Override
  43.             public void onResult(Text text) {
  44.                 sendResult(text.getValue());
  45.             }

  47.             @Override
  48.             public void onError(int i) {
  49.             }

  51.             @Override
  52.             public void onProcessing(float v) {
  53.             }
  54.         };
  55.     }

  57.     private ConnectionCallback getConnectionCallback(VisionImage image, VisionCallback<Text> visionCallback) {
  58.         return new ConnectionCallback() {
  59.             @Override
  60.             public void onServiceConnect() {
  61.                 // 实例化Text对象text
  62.                 Text text = new Text();

  64.                 // 通过TextConfiguration配置textDetector()方法的运行参数
  65.                 TextConfiguration.Builder builder = new TextConfiguration.Builder();
  66.                 builder.setProcessMode(VisionConfiguration.MODE_IN);
  67.                 builder.setDetectType(TextDetectType.TYPE_TEXT_DETECT_FOCUS_SHOOT);
  68.                 builder.setLanguage(TextConfiguration.AUTO);
  69.                 TextConfiguration config = builder.build();
  70.                 textDetector.setVisionConfiguration(config);
  71.                 // 调用ITextDetector的detect()方法
  72.                 if (!IS_ASYNC) {
  73.                     int result2 = textDetector.detect(image, text, null); // 同步
  74.                     sendResult(text.getValue());
  75.                 } else {
  76.                     int result2 = textDetector.detect(image, null, visionCallback); // 异步
  77.                 }
  78.             }

  80.             @Override
  81.             public void onServiceDisconnect() {
  82.                 // 释放
  83.                 if ((!IS_ASYNC && (result == 0)) || (IS_ASYNC && (result == IS_ASYNC_CODE))) {
  84.                     textDetector.release();
  85.                 }
  86.                 if (pixelMap != null) {
  87.                     pixelMap.release();
  88.                     pixelMap = null;
  89.                 }
  90.                 VisionManager.destroy();
  91.             }
  92.         };
  93.     }

  95.     public void sendResult(String value) {
  96.         if (textDetector != null) {
  97.             textDetector.release();
  98.         }
  99.         if (pixelMap != null) {
  100.             pixelMap.release();
  101.             pixelMap = null;
  102.             VisionManager.destroy();
  103.         }
  104.         if (value != null) {
  105.             maps.put(mediaId, value);
  106.         }
  107.         if ((maps != null) && (maps.size() == pictureLists.length)) {
  108.             InnerEvent event = InnerEvent.get(1, 0, maps);
  109.             handle.sendEvent(event);
  110.         } else {
  111.             wordRecognition(slice, pictureLists[index], handle);
  112.             index++;
  113.         }
  114.     }

  116.     // 获取图片
  117.     private PixelMap getPixelMap(int resId) {
  118.         ResourceManager manager = slice.getResourceManager();

  120.         byte[] datas = new byte[0];
  121.         try {
  122.             Resource resource = manager.getResource(resId);
  123.             datas = readBytes(resource);
  124.             resource.close();
  125.         } catch (IOException | NotExistException e) {
  126.             LogUtil.error("get pixelmap failed, read resource bytes failed, ", e.getLocalizedMessage());
  127.         }

  129.         ImageSource.SourceOptions srcOpts = new ImageSource.SourceOptions();
  130.         srcOpts.formatHint = "image/jpg";
  131.         ImageSource imageSource;
  132.         imageSource = ImageSource.create(datas, srcOpts);
  133.         ImageSource.DecodingOptions decodingOpts = new ImageSource.DecodingOptions();
  134.         decodingOpts.desiredSize = new Size(0, 0);
  135.         decodingOpts.desiredRegion = new Rect(0, 0, 0, 0);
  136.         decodingOpts.desiredPixelFormat = PixelFormat.ARGB_8888;
  137.         pixelMap = imageSource.createPixelmap(decodingOpts);
  138.         return pixelMap;
  139.     }

  141.     private static byte[] readBytes(Resource resource) {
  142.         final int bufferSize = 1024;
  143.         final int ioEnd = -1;

  145.         ByteArrayOutputStream output = new ByteArrayOutputStream();
  146.         byte[] buffers = new byte[bufferSize];
  147.         byte[] results = new byte[0];
  148.         while (true) {
  149.             try {
  150.                 int readLen = resource.read(buffers, 0, bufferSize);
  151.                 if (readLen == ioEnd) {
  152.                     results = output.toByteArray();
  153.                     break;
  154.                 }
  155.                 output.write(buffers, 0, readLen);
  156.             } catch (IOException e) {
  157.                 LogUtil.error("OrcAbilitySlice.getPixelMap", "read resource failed ");
  158.                 break;
  159.             } finally {
  160.                 try {
  161.                     output.close();
  162.                 } catch (IOException e) {
  163.                     LogUtil.error("OrcAbilitySlice.getPixelMap", "close output failed");
  164.                 }
  165.             }
  166.         }
  167.         return results;
  168.     }
  169. }
复制代码
  1. public class WordSegment {
  2.     private static final boolean IS_ASYNC = true;
  3.     private static final String WORDS = "words";
  4.     private static final int ZERO = 0;
  5.     private static final int TWO = 2;
  6.     private static final int STEP = 8;
  7.     private Context slice;
  8.     private MainAbilitySlice.MyEventHandle handle;


  11.     public void wordSegment(Context context, String requestData, MainAbilitySlice.MyEventHandle myEventHandle) {
  12.         slice = context;
  13.         handle = myEventHandle;

  15.         // 使用NluClient静态类进行初始化，通过异步方式获取服务的连接。
  16.         NluClient.getInstance().init(context, new OnResultListener<Integer>() {
  17.             @Override
  18.             public void onResult(Integer resultCode) {
  19.                 if (!IS_ASYNC) {
  20.                     // 同步
  21.                     ResponseResult responseResult = NluClient.getInstance().getWordSegment(requestData,
  22.                         NluRequestType.REQUEST_TYPE_LOCAL);
  23.                     sendResult(responseResult.getResponseResult());
  24.                     release();
  25.                 } else {
  26.                     // 异步
  27.                     wordSegmentAsync(requestData);
  28.                 }
  29.             }
  30.         }, true);
  31.     }

  33.     private void wordSegmentAsync(String requestData) {
  34.         ResponseResult responseResult = NluClient.getInstance().getWordSegment(requestData,
  35.             NluRequestType.REQUEST_TYPE_LOCAL, new OnResultListener<ResponseResult>() {
  36.                 @Override
  37.                 public void onResult(ResponseResult asyncResult) {
  38.                     sendResult(asyncResult.getResponseResult());
  39.                     release();
  40.                 }
  41.             });
  42.     }

  44.     private void sendResult(String result) {
  45.         List lists = null; // 分词识别结果
  46.         // 将result中分词结果转换成list
  47.         if (result.contains(""message":"success"")) {
  48.             String words = result.substring(result.indexOf(WORDS) + STEP,
  49.                 result.lastIndexOf("]")).replaceAll(""", "");
  50.             if ((words == null) || ("".equals(words))) {
  51.                 lists = new ArrayList(1);
  52.                 lists.add("no keywords"); // 未识别到分词结果，返回"no keywords"
  53.             } else {
  54.                 lists = Arrays.asList(words.split(","));
  55.             }
  56.         }

  58.         InnerEvent event = InnerEvent.get(TWO, ZERO, lists);
  59.         handle.sendEvent(event);
  60.     }

  62.     private void release() {
  63.         NluClient.getInstance().destroy(slice);
  64.     }
  65. }
复制代码
4.ability_main.xml布局文件
  1. <?xml version="1.0" encoding="utf-8"?>
  2. <DirectionalLayout
  3.     xmlns:ohos="http://schemas.huawei.com/res/ohos"
  4.     ohos:height="match_parent"
  5.     ohos:width="match_parent"
  6.     ohos:orientation="vertical"
  7.     ohos:background_element="$graphic:background_ability_page"
  8.     >

  10.     <ListContainer
  11.         ohos:id="$+id:picture_list_show"
  12.         ohos:height="200vp"
  13.         ohos:width="match_parent"
  14.         ohos:orientation="horizontal"
  15.         ohos:left_margin="5vp"
  16.         ohos:right_margin="5vp"
  17.         />

  19.     <Text
  20.         ohos:id="$+id:word_seg_title"
  21.         ohos:height="match_content"
  22.         ohos:width="match_content"
  23.         ohos:background_element="$graphic:background_ability_main"
  24.         ohos:left_margin="5vp"
  25.         ohos:text="请输入关键词："
  26.         ohos:text_size="25fp"
  27.         ohos:top_margin="10vp"
  28.         />

  30.     <TextField
  31.         ohos:id="$+id:word_seg_text"
  32.         ohos:height="match_content"
  33.         ohos:width="match_parent"
  34.         ohos:background_element="$graphic:background_ability_main"
  35.         ohos:hint="Enter a statement."
  36.         ohos:left_padding="5vp"
  37.         ohos:right_padding="5vp"
  38.         ohos:text_alignment="vertical_center"
  39.         ohos:text_size="20fp"
  40.         ohos:top_margin="5vp"/>

  42.     <Button
  43.         ohos:id="$+id:button_search"
  44.         ohos:width="match_content"
  45.         ohos:height="match_content"
  46.         ohos:text_size="20fp"
  47.         ohos:text="开始通用文字识别"
  48.         ohos:layout_alignment="horizontal_center"
  49.         ohos:top_margin="10vp"
  50.         ohos:top_padding="1vp"
  51.         ohos:bottom_padding="1vp"
  52.         ohos:right_padding="20vp"
  53.         ohos:left_padding="20vp"
  54.         ohos:text_color="white"
  55.         ohos:background_element="$graphic:button_element"
  56.         ohos:center_in_parent="true"
  57.         ohos:align_parent_bottom="true"
  58.         ohos:bottom_margin="5vp"/>

  60.     <Text
  61.         ohos:id="$+id:picture_list_result"
  62.         ohos:height="match_content"
  63.         ohos:width="match_content"
  64.         ohos:background_element="$graphic:background_ability_main"
  65.         ohos:layout_alignment="horizontal_center"
  66.         ohos:text="搜索结果"
  67.         ohos:text_size="20fp"
  68.         ohos:top_margin="5vp"
  69.         />

  71.     <ListContainer
  72.         ohos:id="$+id:picture_list_match"
  73.         ohos:height="200vp"
  74.         ohos:width="match_parent"
  75.         ohos:orientation="horizontal"
  76.         ohos:left_margin="5vp"
  77.         ohos:right_margin="5vp"
  78.         />
  79. </DirectionalLayout>
复制代码
5.Build代码运行显示效果如下：

`
screenshot_20210414153956331.png
举报

回帖

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容图片侵权或者其他问题，请联系本站作侵删。 侵权投诉
链接复制成功，分享给好友