Jieba | 我爱自然语言处理python将怎么将jieba分词结果写入文本，各种编码问题啊_百度知道
python将怎么将jieba分词结果写入文本，各种编码问题啊
答题抽奖
首次认真答题后
即可获得3次抽奖机会，100%中奖。
采纳数：11
获赞数：32
擅长：暂未定制
jieba分词返回的是一个可迭代的generator，其中的元素是unicode的。可以用list(jieba.cut(text))，把返回的结果变成list。不太明白你说的写入文本是什么意思？编码问题是python无处不在的问题，用decode和encode转化一下就行了
采纳数：79
获赞数：368
能不能解释下“jieba分词”啊
zcyxxlnjyb
zcyxxlnjyb
获赞数：63
很抱歉，这个问题我不会。
来自：求助得到的回答
来自电脑网络类芝麻团
采纳数：334
获赞数：917
参与团队：
jieba分词得出的结果既不是string,也不是list.具体是什么类型的我也不记得了。如果把得出的结果转换成list就好办了。列如：import jiebas = '一些乱七八糟的字符串‘s= list(jieba.cut(s,cut_all=False))for i in s:
#就能写入文本了。
本回答被提问者和网友采纳
1条折叠回答
为你推荐：
其他类似问题
您可能关注的内容
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。新闻-python利用jieba分词出现乱码问题，求指教
作者：用户
浏览：1163 次
python利用jieba分词出现乱码问题，求指教用一段新闻作分词，先用正则表达式去除标点符号re.sub(r''pos_news[0])其中pos_news[0]是一段新闻。print之后是去除标点
利用jieba分词出现乱码问题，求指教
用一段新闻作分词，先用正则表达式去除标点符号re.sub(r''pos_news[0])其中pos_news[0]是一段新闻。print 之后是去除标点的一段新闻。print "" "".join(jieba.cut(re.sub(r''pos_news[0])))打出来乱码：涵 閬 涓 婁簡 杩 欎 唤 鐙 壒 鐨 勭 ょ 墿 濞 绀 句 氬 悇 鐣 鍟 璧 蜂 簡 搴 鐑 堢 殑 鍙 但是如果直接print "" "".join(jieba.cut(pos_news[0])) 是正常的分词后的新闻“ 我 经常 和 孩子 们 说 ， 要 记住 每 一个 帮助 过 我们 的 人 ， 日后 有 能力 了 要 记得 报答 人家 ！ ” 走访 结束 后 ， 赵继 （ 化名 ） 母亲 的话 依然 在 e 租宝 志愿者 的 耳畔 回绕 。不知道为什么我去除标点后分词就是乱码。。。NLP小白求指教！
先要看看你的编码是什么，你需要对应的解码，decode等。
解决方案二：
【云栖快讯】Apache旗下顶级开源盛会 HBasecon Asia 2018将于8月17日在京举行，现场仅600席，免费赠票领取入口&&
弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率
40+云计算产品，6个月免费体验
稳定可靠、可弹性伸缩的在线数据库服务，全球最受欢迎的开源数据库之一
云服务器9.9元/月，大学必备jieba分词（R vs. python） - 简书
jieba分词（R vs. python）
自然语言处理（Natural Language Processing）
自然语言处理（NLP）是机器学习重要分支之一，主要应用于篇章理解、文本摘要、情感分析、知识图谱、文本翻译等领域。而NLP应用首先是对文本进行分词，当前中文分词器有Ansj、paoding、盘古分词等多种，而最基础的分词器应该属于jieba分词器（比较见下图）。下面将分别应用R和python对jieba分词器在中文分词、词性标注和关键词提取领域的应用进行比较。
一、jiaba中文分词R实现通过函数worker()来初始化分词引擎，使用segment()进行分词。有四种分词模式:最大概率法（MP）、隐马尔科夫模型（HMM）、混合模型（Mix）及索引模型（query）,默认为混合模型。具体可查看help(worker).#install.packages('jiebaR')library(jiebaR)mixseg &- worker()segment( "这是一段测试文本" , mixseg ) #或者用以下操作mixseg['这是一段测试文本']mixseg &= "这是一段测试文本"python实现python中需安装jieba库，运用jieba.cut实现分词。cut_all参数为分词类型，默认为精确模式。import jiebaseg_list = jieba.cut(u"这是一段测试文本",cut_all = False)print("Full mode: "+ ",".join(seg_list))
#默认精确模式无论是R还是python都为utf—8编码。二、词性标注R实现可以使用&=.tagger 或者tag 来进行分词和词性标注，词性标注使用混合模型模型分词，标注采用和 ictclas 兼容的标记法。words = "我爱北京天安门"tagger = worker("tag") #开启词性标注启发器tagger &= words
"北京" "天安门"python实现#词性标注import jieba.posseg as psegwords = pseg.cut("我爱北京天安门")for word,flag in words:
print('%s, %s' %(word,flag))三、关键词提取R实现R关键词提取使用逆向文件频率（IDF）文本语料库,通过worker参数“keywords”开启关键词提取启发器，topn参数为关键词的个数。keys = worker("keywords",topn = 5, idf = IDFPATH)keys &= "会议邀请到美国密歇根大学(University of Michigan, Ann Arbor）环境健康科学系副教授奚传武博士作题为“Multibarrier approach for safe drinking waterin the US : Why it failed in Flint”的学术讲座，介绍美国密歇根Flint市饮用水污染事故的发生发展和处置等方面内容。讲座后各相关单位同志与奚传武教授就生活饮用水在线监测系统、美国水污染事件的处置方式、生活饮用水老旧管网改造、如何有效减少消毒副产物以及美国涉水产品和二次供水单位的监管模式等问题进行了探讨和交流。本次交流会是我市生活饮用水卫生管理工作洽商机制运行以来的又一次新尝试，也为我市卫生计生综合监督部门探索生活饮用水卫生安全管理模式及突发水污染事件的应对措施开拓了眼界和思路。"#结果：#
"生活"python实现python实现关键词提取可运用TF-IDF方法和TextRank方法。allowPOS参数为限定范围词性类型。#关键词提取import jieba.analysecontent = u'会议邀请到美国密歇根大学(University of Michigan, Ann Arbor）环境健康科学系副教授奚传武博士作题为“Multibarrier approach for safe drinking waterin the US : Why it failed in Flint”的学术讲座，介绍美国密歇根Flint市饮用水污染事故的发生发展和处置等方面内容。讲座后各相关单位同志与奚传武教授就生活饮用水在线监测系统、美国水污染事件的处置方式、生活饮用水老旧管网改造、如何有效减少消毒副产物以及美国涉水产品和二次供水单位的监管模式等问题进行了探讨和交流。本次交流会是我市生活饮用水卫生管理工作洽商机制运行以来的又一次新尝试，也为我市卫生计生综合监督部门探索生活饮用水卫生安全管理模式及突发水污染事件的应对措施开拓了眼界和思路。'#基于TF-IDFkeywords = jieba.analyse.extract_tags(content,topK = 5,withWeight = True,allowPOS = ('n','nr','ns'))for item in keywords:
print item[0],item[1]
#基于TF-IDF结果# 饮用水 0.# Flint 0.# 卫生 0.# 水污染 0.# 生活 0.#基于TextRankkeywords = jieba.analyse.textrank(content,topK = 5,withWeight = True,allowPOS = ('n','nr','ns'))for item in keywords:
print item[0],item[1]
#基于TextRank结果：# 饮用水 1.0# 美国 0.# 奚传武 0.# 单位 0.# 讲座 0.写在文后自然语言处理（NLP）在数据分析领域有其特殊的应用，在R中除了jiebaR包，中文分词Rwordseg包也非常常用。一般的文本挖掘步骤包括：文本获取（主要用网络爬取）——文本处理（分词、词性标注、删除停用词等）——文本分析（主题模型、情感分析）——分析可视化（词云、知识图谱等）。本文是自然语言处理的第一篇，后续将分别总结下应用深度学习Word2vec进行词嵌入以及主题模型、情感分析的常用NLP方法。参考资料Introduction · jiebaR 中文分词知乎：【文本分析】利用jiebaR进行中文分词雪晴数据网：全栈数据工程师养成攻略搜狗实验室，词性标注应用【R文本挖掘】中文分词Rwordseg
jieba “结巴”中文分词：做最好的 Python 中文分词组件&Jieba& (Chinese for &to stutter&) Chinese text segmentation: built to be the best Python Chinese word s...
常用概念： 自然语言处理（NLP） 数据挖掘 推荐算法 用户画像 知识图谱 信息检索 文本分类 常用技术： 词级别：分词(Seg)，词性标注(POS)，命名实体识别（NER），未登录词识别，词向量（word2vec），词义消歧 句子级别：情感分析，关系提取，意图识别，依存句...
Python 兵器谱 曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后，第一个作品课程图谱也是选择了Python系的Flask框架，渐渐的将自己的绝...
关键词：windows平台下jieba安装、三种模式比较、自定义词典、停用词语料、词频统计、词云生成 jieba简介 Jieba是一个中文分词组件，可用于中文句子/词性分割、词性标注、未登录词识别，支持用户词典等功能。能较好实现中文分词，同时支持繁体分词。 windows平...
Python 网页爬虫、 文本处理科学、计算机器学习、 数据挖掘兵器谱 1.本文介绍几种Python网页爬虫工具集？ 2.Python文本处理工具包有哪些？ 3.“Milk是Python的一个机器学习工具箱，它有什么作用？ 曾经因为NLTK的缘故开始学习Python，之后渐...
不可否认的是，在如今这样一个沟通成本极低的年代，各种社交软件的发达，多多少少我们的私生活都会展现在众人面前。 常常我们在朋友圈或微博上发几张高档餐厅的照片会引来朋友们的点赞和留言，无外乎都是夸赞之词，或是发了几张新买的衣服，包包都会有人来留言说羡慕，你会发现要让朋友羡慕其实...
3月3日，驾考科目一，为获得满分我努力刷题，最后却没能如愿，只因为一些无关轻重的事情坏了自己的情绪，导致功亏一篑！ 进入机房前，每个人都领到一响号码，原本我以为这个号码就是考试电脑号，谁知进去后，身份验证过后又重新分配了一个号码，因此产生了纠纷，和工作人员闹的不愉快！此后考...
敬爱的马克吐温先生：
当您收到这封漂洋过海来到您手中的信时，请千万不要惊讶。虽然您与我素未谋面，但我已将您看作我最敬爱的朋友，没有之一。今年暑期，我细细品读了您的短篇小说集，它写得可真是不错，什么《百万英镑》啦，《竞选州长》啦，《我怎样编辑农业报》啦...
这是我之前学习手绘POP的练习案例，和大家分享一下，现在看起来还是觉得很有意思，这也是一个很小众的兴趣爱好，不过呢，在画画的时候真的感觉很惬意。
提Unity3D项目优化则必提DrawCall，这自然没错，但也有很不好影响。因为这会给人一个错误的认识：所谓的优化就是把DrawCall弄的比较低就对了。 对优化有这种第一印象的人不在少数，drawcall的确是一个很重要的指标，但绝非全部。为了让各位和匹夫能达成尽...下次自动登录
现在的位置:
& 综合 & 正文
Python 中文分词工具 ——结巴分词的使用方法总结
结巴分词工具的安装及基本用法，昨天的博客中已经有所描述。今天要说的内容与实际应用更贴近——从文本中读取中文信息，利用结巴分词工具进行分词及词性标注。
示例代码如下：
#coding=utf-8
import jieba
import jieba.posseg as pseg
import time
t1=time.time()
f=open("t_with_splitter.txt","r") #读取文本
string=f.read().decode("utf-8")
words = pseg.cut(string) #进行分词
#记录最终结果的变量
for w in words:
result+= str(w.word)+"/"+str(w.flag) #加词性标注
f=open("t_with_POS_tag.txt","w")
#将结果保存到另一个文档中
f.write(result)
t2=time.time()
print("分词及词性标注完成，耗时："+str(t2-t1)+"秒。") #反馈结果
【上篇】【下篇】