亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Correcting Measurement Error in Regression Models with Variables Constructed from Aggregated Output of Data Mining Models

回归分析 回归 统计 数据挖掘 计算机科学 计量经济学 变量模型中的错误 观测误差 数学
作者
Mengke Qiao,Ke‐Wei Huang
出处
期刊:Management Information Systems Quarterly [MIS Quarterly]
卷期号:49 (1): 29-60 被引量:1
标识
DOI:10.25300/misq/2024/18026
摘要

The burgeoning interest in data mining has catalyzed a proliferation of innovative techniques in extracting useful information from unstructured data sources, such as text and images in social sciences. One typical research design involves a two-stage process. In the first stage, researchers apply the classification algorithm to predict an individual-level categorical variable. In the second stage, researchers aggregate the predicted values to construct a group-level variable for further regression analysis. For example, text classification has been applied to classify whether a review is positive or negative. The predicted review sentiment is aggregated at the product level as a focal independent variable in a regression model to examine the impact of the average review sentiment on product sales. Since the first-stage classification will inevitably have errors, the aggregated variable may suffer from a measurement error in the regression analysis. Our study attempts to systematically investigate the theoretical properties of the estimation bias and introduce solutions rooted in theory to mitigate the issue of measurement error. We propose one exact solution and two approximated solutions based on the central limit theorem (CLT) and the law of large numbers (LLN), respectively. Our theoretical analysis and experimentation confirm that the consistency of regression estimators can be recovered across all examined scenarios and the approximated solutions offer a significantly reduced computational complexity compared to the exact solution. We also provide heuristic guidelines to choose one of three solutions.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
sugar发布了新的文献求助10
2秒前
科目三的应助被sugar采纳,获得10
9秒前
18秒前
FIGGIEKIO发布了新的文献求助10
25秒前
30秒前
科研通AI65的应助被冰凌采纳,获得10
31秒前
大模型的应助被甜甜的小土豆采纳,获得10
32秒前
39秒前
41秒前
可爱的函函的应助被专注凌柏采纳,获得10
41秒前
黄志伟完成签到,获得积分20
42秒前
黄志伟发布了新的文献求助10
45秒前
万能图书馆的应助被冰凌采纳,获得10
47秒前
超帅的半莲完成签到,获得积分10
50秒前
52秒前
Caiyuping完成签到 ,获得积分10
54秒前
星辰大海的应助被花痴的文涛采纳,获得10
55秒前
魔幻芷巧发布了新的文献求助10
56秒前
ay完成签到 ,获得积分10
56秒前
科研通AI6.3的应助被冰凌采纳,获得10
57秒前
58秒前
smsk完成签到,获得积分20
58秒前
1分钟前
wanci的应助被科研通管家采纳,获得10
1分钟前
执着的秋柳完成签到,获得积分10
1分钟前
Orange的应助被科研通管家采纳,获得10
1分钟前
gAle完成签到 ,获得积分10
1分钟前
1分钟前
1分钟前
1分钟前
1分钟前
1分钟前
1分钟前
1分钟前
iuiu666完成签到 ,获得积分10
1分钟前
1分钟前
hudaojiadecaigou完成签到 ,获得积分10
1分钟前
1分钟前
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8195028
求助须知:如何正确求助?哪些是违规求助? 9580770
关于积分的说明 21872653
捐赠科研通 7794788
什么是DOI,文献DOI怎么找? 3437886
关于科研通互助平台的介绍 2561176
邀请新用户注册赠送积分活动 2484562