完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>
嗨,
我有一个pandas数据帧,并希望将函数应用于该数据帧中的每一列。 像这样: np.array([strokes2img(x)for x in df ['drawing']。values]) 现在,数据帧有超过3M条目,它的计算成本非常高,可以在多核CPU上高效执行。 我想使用多处理。 来自多处理导入池 导入多处理 multiprocessing.cpu_count()#Prints out 24 现在我做的时候: imgs = pool.map(strokes2img,df ['drawing']。values),我收到一个错误。 没有多处理,我得到一个内存错误。 多处理如何工作以及如何同时使用24个核心? 以上来自于谷歌翻译 以下为原文 Hi, I have a pandas dataframe and want to apply a function to each and every column in that dataframe. Like this: np.array([strokes2img(x) for x in df['drawing'].values]) Now dataframe has more than 3M entries, it is really computationally expensive and can be efficiently carried out on multi cores of CPUs. I wanted to use multiprocessing. from multiprocessing import Pool import multiprocessing multiprocessing.cpu_count() #Prints out 24 Now when i do: imgs = pool.map(strokes2img,df['drawing'].values), i get an error. Without multiprocessing, i get a memory error. How can multiprocessing work and how can i use 24 cores at the same time for this ? |
|
相关推荐
8个回答
|
|
当我使用游泳池时,
游泳池=游泳池(16) imgs = pool.map(strokes2img,df ['drawing']。values) 我的内核崩溃了。 请帮忙。 以上来自于谷歌翻译 以下为原文 When i use Pool, pool = Pool(16) imgs = pool.map(strokes2img,df['drawing'].values) My kernel crashes. Please help. |
|
|
|
60user36 发表于 2018-10-16 10:17 嗨Prajjwal,感谢您与我们联系:)您能否提供以下提到的细节。 使用multiprocessing2时获得的错误的屏幕截图。 由于在没有多处理的情况下出现内存错误,请使用qsub命令提交作业脚本。 (请参阅https://communities.intel.com/docs/DOC-112293)如果问题仍然存在,请分享数据和使用的脚本,以便我们可以从我们的end.Regards,Deepthi Raj尝试。 以上来自于谷歌翻译 以下为原文 Hi Prajjwal, Thanks for reaching out to us :) Could you please provide the below mentioned details as well. 1. The screenshot of the error that you are getting while using multiprocessing 2. Since you are getting a memory error without multiprocessing, kindly submit the job script using qsub command. (Please refer https://communities.intel.com/docs/DOC-112293 ) If the issue still persists, kindly share the data and the script used so that we can try it from our end. Regards, Deepthi Raj. |
|
|
|
jerry1978 发表于 2018-10-16 10:34 当我使用多处理时,我的内核崩溃了。 数据集:快,抽! 涂鸦识别挑战| Kaggle 如何使用Pool在jupyter笔记本上使用多处理? 或者还有其他更好的方法吗? 以上来自于谷歌翻译 以下为原文 When i use multiprocessing, my kernel crashes. Dataset: Quick, Draw! Doodle Recognition Challenge | Kaggle How can i use multiprocessing on jupyter notebook using Pool? or is there any other better way ? |
|
|
|
这是笔记本 cnn_image.ipynb - Google云端硬盘 以上来自于谷歌翻译 以下为原文 This is the notebook cnn_image.ipynb - Google Drive |
|
|
|
当我使用qsub -I运行它时,我得到这个:
PBS:工作被杀:vmem 104711974912超过限制98784247808 以上来自于谷歌翻译 以下为原文 When i run it using qsub -I, i get this: PBS: job killed: vmem 104711974912 exceeded limit 98784247808 |
|
|
|
嗨Prajjwal,我们尝试重新创建您的问题。 问题是,对于如此繁重的工作负载,最好使用SSH终端而不是Jupyter notebook.Hence,在脚本中提交你的python命令如下:vi script给命令-python .pyqsub脚本这应该解决你的问题。 您可以使用qstat检查作业的状态。 检查相应的.e和.o文件.Regards,Deepthi Raj。 以上来自于谷歌翻译 以下为原文 Hi Prajjwal, We tried re-creating your issue. The problem is that, for such heavy workloads, it is better to use the SSH terminal rather than the Jupyter notebook. Hence, submit your python command inside a script as follows: vi script Give the command - python qsub script This should solve your issue. You can use qstat for checking the status of your job. Check the corresponding .e and .o files. Regards, Deepthi Raj. |
|
|
|
60user36 发表于 2018-10-16 11:24 嗨Prajjwal,如果解决方案有帮助,请告诉我们.Regards,Deepthi Raj。 以上来自于谷歌翻译 以下为原文 Hi Prajjwal, Could you please let us know if the solution helped. Regards, Deepthi Raj. |
|
|
|
嗨Prajjwal,希望解决方案有所帮助。 我们正在结案。 如果您遇到任何其他问题,请提出新的帖子。注意,Deepthi Raj。 以上来自于谷歌翻译 以下为原文 Hi Prajjwal, Hope the solution helped. We are closing this case. Please raise a new thread in case you face any other issues. Regards, Deepthi Raj. |
|
|
|
只有小组成员才能发言,加入小组>>
521浏览 0评论
小黑屋| 手机版| Archiver| 电子发烧友 ( 湘ICP备2023018690号 )
GMT+8, 2024-12-27 02:57 , Processed in 0.877107 second(s), Total 92, Slave 76 queries .
Powered by 电子发烧友网
© 2015 bbs.elecfans.com
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
电子发烧友 (电路图) 湘公网安备 43011202000918 号 电信与信息服务业务经营许可证:合字B2-20210191 工商网监 湘ICP备2023018690号